Ученые создали алгоритм, который превращает текст в жестовую речь

N+1Hi-Tech

Нейросеть перевела текст в жестовую речь

Григорий Копиев

Ben Saunders et al. / arXiv.org, 2020

Британские разработчики создали нейросетевой алгоритм, который превращает текст в видео с человеком, произносящим тот же текст на жестовом языке. Во время обучения алгоритм проверяет качество своей работы после синтеза видео, что позволило добиться гораздо лучшего результата, чем у предыдущих подобных методов, в том числе по качеству отрисовки кистей рук. Статья об алгоритме опубликована на arXiv.org.

Люди с полной или частичной потерей слуха общаются между собой на жестовом языке. Но подавляющее большинство мероприятий или контента предназначено для слышащих людей. В электронном виде эта проблема решается при помощи субтитров, но при проведении мероприятий или, например, трансляции прямого эфира, приходится использовать сурдоперевод с обычного языка на жестовый. Исследователи не первый год пытаются автоматизировать этот процесс. Изначально они пытались сделать это с помощью анимированных 3D-аватаров, но этот подход давал низкие результаты. В последнее время исследователи переключились на нейросетевой синтез, но до недавнего времени им не удавалось качественно отрисовывать важные детали, в том числе кисти рук.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Робоголубь с настоящими перьями в крыльях и хвосте научился летать по-птичьи Робоголубь с настоящими перьями в крыльях и хвосте научился летать по-птичьи

Робоголубь управляет полетом за счет изменения формы крыльев и поворотов хвоста

N+1
Почему мясо нельзя с хлебом, а кофе с молоком, или Что мешает усвоению питательных веществ? Почему мясо нельзя с хлебом, а кофе с молоком, или Что мешает усвоению питательных веществ?

Как избежать дефицитных состояний будущей маме?

9 месяцев
Информационная безопасность: десять основных видов хакерских атак Информационная безопасность: десять основных видов хакерских атак

Отрывок из книги Антона Евгеньева «Ценность ваших решений»

Forbes
Суворов и многовекторность Суворов и многовекторность

Изучаем, почему фигура Александра Суворова остается политически знаковой

Огонёк
Важная деталь делового стиля: как правильно стирать галстуки, чтобы они выглядели великолепно Важная деталь делового стиля: как правильно стирать галстуки, чтобы они выглядели великолепно

Советы деловым людям: как правильно стирать галстуки

ТехИнсайдер
Что такое нейроэстетика, или как наш мозг воспринимает искусство Что такое нейроэстетика, или как наш мозг воспринимает искусство

Оказывается, художники – те же исследователи

GQ
Microsoft патентует систему для оценки продуктивности совещаний на основе языка тела и мимики Microsoft патентует систему для оценки продуктивности совещаний на основе языка тела и мимики

Технология, предназначенная для оценки эффективности совещаний

Inc.
Естественные роды после кесарева невозможны и другие мифы о родах и беременности Естественные роды после кесарева невозможны и другие мифы о родах и беременности

Вокруг родов и беременности давно сложилась своя мифология

Cosmopolitan
5 самых эпичных рукотворных объектов для экстремальных видов спорта 5 самых эпичных рукотворных объектов для экстремальных видов спорта

Быстрее, выше, глубже!

Maxim
Самый распространенный сленг из компьютерных игр, и как его использовать в реальной жизни Самый распространенный сленг из компьютерных игр, и как его использовать в реальной жизни

Если тебе надоело скрывать от коллег, что считаешь их орками

Maxim
«Люблю переодевать людей» «Люблю переодевать людей»

О карантинных мерах, модном процессе и новом new look после кризиса и пандемии

OK!
Как писать и как не писать сообщения тому, с кем хочешь встречаться Как писать и как не писать сообщения тому, с кем хочешь встречаться

Универсальные советы по переписке, которые гарантируют успешное начало отношений

Maxim
В поисках множества балансов: история автомобилей XX века В поисках множества балансов: история автомобилей XX века

Начало XX века — прорыв в промышленном автомобилестроении

Популярная механика
Кто я?! Кто я?!

Никита Ефремов рассказал о бережном отношении к себе и своему делу

OK!
Вокруг да около Лувра: обзор новой книги о главном музее Парижа Вокруг да около Лувра: обзор новой книги о главном музее Парижа

Новая биография самого известного музея в мире

Forbes
Как сложились судьбы главных манекенщиц СССР: нищета, суицид и одиночество Как сложились судьбы главных манекенщиц СССР: нищета, суицид и одиночество

Как сложилась судьба первых моделей СССР — от Збарской до Мироновой

Cosmopolitan
Вопросы создателю. Вариатор. На что он способен и как избежать проблем? Вопросы создателю. Вариатор. На что он способен и как избежать проблем?

Как построить взаимоотношения с вариатором?

4x4 Club
Кто инициировал путь «из варяг в греки»? Кто инициировал путь «из варяг в греки»?

Путь «из варяг в греки» стал главным для формирования древнерусского государства

Культура.РФ
«Не считаю себя селебрити» «Не считаю себя селебрити»

Евгений Цыганов может отмечать премьеры едва ли не каждый день

Огонёк
8 типичных ошибок при выборе белья, которые ты хоть раз совершала 8 типичных ошибок при выборе белья, которые ты хоть раз совершала

Нижнее белье нужно подбирать с умом

Cosmopolitan
Как открыть свой бизнес: 9 главных шагов для желающих начать свое дело Как открыть свой бизнес: 9 главных шагов для желающих начать свое дело

Подробный гайд для начинающих предпринимателей

Playboy
Смена власти в гареме заставила самок гелад созреть быстрее Смена власти в гареме заставила самок гелад созреть быстрее

Влияют ли самцы на скорость созревание самок в дикой среде?

N+1
Стесняюсь спросить: что такое пищевая непереносимость и так ли она страшна? Стесняюсь спросить: что такое пищевая непереносимость и так ли она страшна?

Как выстраивать рацион при пищевой непереносимости?

Esquire
Мало, мало, мало огня Мало, мало, мало огня

Год, когда непостижимость божественного замысла включилась на максимум

Tatler
5 самых смертоносных бриллиантов в истории 5 самых смертоносных бриллиантов в истории

Ты и раньше обходил ювелирные магазины стороной, а теперь будешь их избегать!

Maxim
«Милые люди Олимпиад не выигрывают» «Милые люди Олимпиад не выигрывают»

Фехтование как материал для блокбастера

Огонёк
Что посмотреть и попробовать в Костроме. Гид «РБК Стиль» Что посмотреть и попробовать в Костроме. Гид «РБК Стиль»

Рассказываем, что посмотреть в Костроме, где остановиться и пообедать

РБК
Маленький человек 2.0 Маленький человек 2.0

«Человек из Подольска» — кафкианская история с фальшивым хеппи-эндом

Weekend
«ИИ может злиться и скучать»: Давид Ян о доме с эмоциональным ИИ и сервисе Yva, предсказывающем увольнения сотрудников «ИИ может злиться и скучать»: Давид Ян о доме с эмоциональным ИИ и сервисе Yva, предсказывающем увольнения сотрудников

Давид Ян рассказывает о системе для анализа поведения сотрудников Yva

VC.RU
Дизайнер костюмов сериала «Корона» о том, как создавались образы королевской семьи Дизайнер костюмов сериала «Корона» о том, как создавались образы королевской семьи

Художник по костюмам Эми Робертс — почему иногда хочется послать все к черту

GQ
Открыть в приложении