Ученые создали алгоритм, который превращает текст в жестовую речь

N+1Hi-Tech

Нейросеть перевела текст в жестовую речь

Григорий Копиев

Ben Saunders et al. / arXiv.org, 2020

Британские разработчики создали нейросетевой алгоритм, который превращает текст в видео с человеком, произносящим тот же текст на жестовом языке. Во время обучения алгоритм проверяет качество своей работы после синтеза видео, что позволило добиться гораздо лучшего результата, чем у предыдущих подобных методов, в том числе по качеству отрисовки кистей рук. Статья об алгоритме опубликована на arXiv.org.

Люди с полной или частичной потерей слуха общаются между собой на жестовом языке. Но подавляющее большинство мероприятий или контента предназначено для слышащих людей. В электронном виде эта проблема решается при помощи субтитров, но при проведении мероприятий или, например, трансляции прямого эфира, приходится использовать сурдоперевод с обычного языка на жестовый. Исследователи не первый год пытаются автоматизировать этот процесс. Изначально они пытались сделать это с помощью анимированных 3D-аватаров, но этот подход давал низкие результаты. В последнее время исследователи переключились на нейросетевой синтез, но до недавнего времени им не удавалось качественно отрисовывать важные детали, в том числе кисти рук.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Мухи распространили украденные у муравьев семена мирмекохорных растений Мухи распространили украденные у муравьев семена мирмекохорных растений

Как двукрылые насекомые распространяют семена

N+1
Скука как путь к новым идеям Скука как путь к новым идеям

Скука ассоциируется у нас с чем-то неприятным, негативным, а зря

Psychologies
Почему нельзя сдавать пауэрбанк в багаж Почему нельзя сдавать пауэрбанк в багаж

Что может случиться, если сдать power bank в багаж самолета?

CHIP
Porsche Cayenne E-hybrid. Прости, Рудольф! Porsche Cayenne E-hybrid. Прости, Рудольф!

Porsche Cayenne E-hybrid легко узнать в потоке

4x4 Club
Ученые предсказали точную дату конца Вселенной— и он случится раньше, чем предполагалось Ученые предсказали точную дату конца Вселенной— и он случится раньше, чем предполагалось

Ученые впервые назвали точную дату конца Вселенной

Inc.
Королева как мишень: 7 самых известных покушений на британских монархов Королева как мишень: 7 самых известных покушений на британских монархов

Как британские правители могли погибнуть, но удача оказалась на их стороне

Cosmopolitan
8 поразительных фактов о «Фердинанде» — самой грозной самоходке Второй мировой 8 поразительных фактов о «Фердинанде» — самой грозной самоходке Второй мировой

Пробить этого гиганта в лоб не мог никто

Maxim
Сенат предложил урезать бюджет программы NASA по высадке людей на Луну Сенат предложил урезать бюджет программы NASA по высадке людей на Луну

Программа «Артемида» будет финансироваться меньше

N+1
Краткая история кнопки Turbo на древних компьютерах Краткая история кнопки Turbo на древних компьютерах

Даже в компьютерном деле плохо, когда слишком быстро!

Maxim
Путешествие в Рождество Путешествие в Рождество

Подмосковный дом, которому позавидовал бы и сам Дед Мороз

AD
Чужие среди чужих. Истории жителей карабахских деревень, которые отошли Азербайджану Чужие среди чужих. Истории жителей карабахских деревень, которые отошли Азербайджану

Истории людей, чьи дома за одну ночь оказались в другой стране

СНОБ
Много топоров, бритва, щипчики для волос: быт британцев бронзового века Много топоров, бритва, щипчики для волос: быт британцев бронзового века

Обзор археологических находок из Хаверингского клада

N+1
«Вьетнам. История трагедии. 1945–1975» «Вьетнам. История трагедии. 1945–1975»

Отрывок из книги «Вьетнам. История трагедии. 1945–1975» Макса Хейстингса

N+1
Правила жизни Виктора Сухорукова Правила жизни Виктора Сухорукова

Правила жизни актера Виктора Сухорукова

Esquire
Как не поссориться на праздниках: 10 советов для всей семьи Как не поссориться на праздниках: 10 советов для всей семьи

Как провести праздничные дни без стресса

Домашний Очаг
Игры на Андроид с сюжетом: топ-7 Игры на Андроид с сюжетом: топ-7

Топ игр для Андроид с сюжетом, среди которых также бесплатные приложения

CHIP
Няня для ребенка: как найти хорошую помощницу? Няня для ребенка: как найти хорошую помощницу?

Советы для тех, кто планирует нанимать няню для помощи с ребенком

9 месяцев
Бхима Юнусов Бхима Юнусов

28-летний композитор олицетворяет собой понятие «междисциплинарность»

Собака.ru
Это мой бренд: Олеся Шиповская Это мой бренд: Олеся Шиповская

Костюмы бренда Lesyanebo Олеси Шиповской носят Джиджи Хадид и Наталья Водянова

Glamour
От наркотиков к признанию: крутые рэперы, которые начали путь с криминала От наркотиков к признанию: крутые рэперы, которые начали путь с криминала

Рэперы, сумевшие выбраться из нищеты и криминальных гетто в большой шоу-бизнес

Cosmopolitan
«Красота архитектуры мозга завораживала меня»: первая женщина-президент MIT — о начале своей карьеры в науке «Красота архитектуры мозга завораживала меня»: первая женщина-президент MIT — о начале своей карьеры в науке

Отрывок из книги Сьюзан Хокфилд, посвященный ее становлению как учёной

Forbes
Как беречь почки зимой: даосская система «пяти элементов» Как беречь почки зимой: даосская система «пяти элементов»

Зима — особенное время заботы о своём организме

Psychologies
30 способов перезапустить свое тело 30 способов перезапустить свое тело

Полное руководство по тому, как выжать максимум из человеческого организма

kiozk originals
Все течет, ничто не остается на месте Все течет, ничто не остается на месте

Как найти свое место в этой жизни? Как узнать, куда плыть?

Psychologies
5 типов «кошатников» по версии экологов 5 типов «кошатников» по версии экологов

Считаете ли вы, что ваш «усатый-полосатый питомец» — животное домашнее?

Psychologies
Стиль принцессы Дианы — «королевы людских сердец», виртуозно владевшей языком моды Стиль принцессы Дианы — «королевы людских сердец», виртуозно владевшей языком моды

Ее называли «королевой людских сердец» и просто «народной принцессой»

Esquire
Поимка «тихого убийцы» Поимка «тихого убийцы»

Нобелевская премия 2020 года присуждена за открытие вируса гепатита C

Наука и жизнь
Ядовитые косматые хомяки оказались моногамными Ядовитые косматые хомяки оказались моногамными

Зоологам впервые удалось понаблюдать за социальной жизнью этих грызунов

N+1

Накануне своего 80-летия сэр Патрик Стюарт рассказывает о своей жизни и карьере

Playboy
Идеальный цвет лица: 20 классных лайфхаков от визажистов Идеальный цвет лица: 20 классных лайфхаков от визажистов

Учимся создавать идеальный тон лица у ведущих визажистов

Cosmopolitan
Открыть в приложении