Ученые создали алгоритм, который превращает текст в жестовую речь

N+1Hi-Tech

Нейросеть перевела текст в жестовую речь

Григорий Копиев

Ben Saunders et al. / arXiv.org, 2020

Британские разработчики создали нейросетевой алгоритм, который превращает текст в видео с человеком, произносящим тот же текст на жестовом языке. Во время обучения алгоритм проверяет качество своей работы после синтеза видео, что позволило добиться гораздо лучшего результата, чем у предыдущих подобных методов, в том числе по качеству отрисовки кистей рук. Статья об алгоритме опубликована на arXiv.org.

Люди с полной или частичной потерей слуха общаются между собой на жестовом языке. Но подавляющее большинство мероприятий или контента предназначено для слышащих людей. В электронном виде эта проблема решается при помощи субтитров, но при проведении мероприятий или, например, трансляции прямого эфира, приходится использовать сурдоперевод с обычного языка на жестовый. Исследователи не первый год пытаются автоматизировать этот процесс. Изначально они пытались сделать это с помощью анимированных 3D-аватаров, но этот подход давал низкие результаты. В последнее время исследователи переключились на нейросетевой синтез, но до недавнего времени им не удавалось качественно отрисовывать важные детали, в том числе кисти рук.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Ложные вампиры обнялись и поделились друг с другом пищей Ложные вампиры обнялись и поделились друг с другом пищей

Социальное поведение ложныех вампиров оказалось неожиданно сложным

N+1
Как сделать девушке приятно, не залезая к ней в постель, да еще и заработать Как сделать девушке приятно, не залезая к ней в постель, да еще и заработать

Умеешь починить розетку и прибить к холодильнику полку?

Maxim
Ученые превратили растительные отходы в топливо для самолетов Ученые превратили растительные отходы в топливо для самолетов

Технологию производства авиатоплива из биомассы создали в РГУ нефти и газа

ТехИнсайдер
Считавшегося вымершим мадагаскарского хамелеона переоткрыли спустя сто лет Считавшегося вымершим мадагаскарского хамелеона переоткрыли спустя сто лет

Ученые нашли около двадцати особей считавшихся вымершими хамелеонов в саду

N+1
Опасно ли прятаться в машине от грозы: это объяснение поймет даже школьник Опасно ли прятаться в машине от грозы: это объяснение поймет даже школьник

Если гроза застала вас в пути, чем станет машина – спасением или смертью?

ТехИнсайдер
Дежурный по стране. Памяти Михаила Жванецкого — великого советского сатирика Дежурный по стране. Памяти Михаила Жванецкого — великого советского сатирика

Михаил Жванецкий — великий комедийный артист

Esquire
Тебя обманули: 7 признаков некачественного окрашивания – объясняет колорист Тебя обманули: 7 признаков некачественного окрашивания – объясняет колорист

Как определить, что колорист сделал свою работу некачественно: 7 главных ошибок

Cosmopolitan
40-летние у нас и за рубежом: сравниваем звезд-одногодок 40-летние у нас и за рубежом: сравниваем звезд-одногодок

Как выглядят российские и зарубежные звезды, которым исполнилось 40 лет

Cosmopolitan
Дыхательная гимнастика Стрельниковой: упражнения, эффективность, отзывы Дыхательная гимнастика Стрельниковой: упражнения, эффективность, отзывы

Разбираемся, что такое дыхательная гимнастика Стрельниковой и кому она полезна

РБК
Весомый аргумент Весомый аргумент

TRX обращает вес тела в его силу

GQ
Справедливость для IT-миллиардера: что ждет Кремниевую долину после победы Байдена Справедливость для IT-миллиардера: что ждет Кремниевую долину после победы Байдена

Джо Байден планирует повысить налоги для обеспеченных американцев

Forbes
Монстры в небе: 8 самых больших самолетов в мире Монстры в небе: 8 самых больших самолетов в мире

Двухэтажные тяжеловесы с размахом крыльев длиннее футбольного поля

Популярная механика
Корабль, рожденный в «цифре» Корабль, рожденный в «цифре»

Модель имперского звездного разрушителя из кубиков LEGO весит почти 20 кг

Популярная механика
6 самых смачных забастовок в истории 6 самых смачных забастовок в истории

Самые интересные и необычные забастовки в истории

Maxim
Кто живет у нас внутри: что такое женская микрофлора и как о ней заботиться Кто живет у нас внутри: что такое женская микрофлора и как о ней заботиться

Наше влагалище, как и кишечник, является домом для миллиардов бактерий

Cosmopolitan
Кто инициировал путь «из варяг в греки»? Кто инициировал путь «из варяг в греки»?

Путь «из варяг в греки» стал главным для формирования древнерусского государства

Культура.РФ
Миллионер из трущоб: почему Марадона такой великий и наглый Миллионер из трущоб: почему Марадона такой великий и наглый

Отрывок из книги «Игра народная. Русские писатели о футболе»

Forbes
Личная эффективность по-настоящему Личная эффективность по-настоящему

Как победить стресс и начать жить с удовольствием

СНОБ
Муж принцессы Дианы поступил отвратительно по отношению к ней и младшему сыну Муж принцессы Дианы поступил отвратительно по отношению к ней и младшему сыну

Диана Спенсер страдала в браке со старшим сыном Елизаветы II

Cosmopolitan
Путь нутрициолога или как питание может изменить жизнь Путь нутрициолога или как питание может изменить жизнь

Расспрашиваем Нату Гончар о нюансах профессии нутрициолога и правильном питании

Cosmopolitan
Элементарно Элементарно

Эта калифорнийская резиденция стала подлинным гимном естественности

SALON-Interior
«Человек из Подольска» — кафкианская история о маленьком человеке, которого обвиняют в бездарном проживании жизни «Человек из Подольска» — кафкианская история о маленьком человеке, которого обвиняют в бездарном проживании жизни

«Человек из Подольска» — одновременно смешная и страшная трагикомедия

Esquire
Как Coca-Cola, Netflix и другие гиганты занимаются благотворительностью: главные тренды КСО в мире и России Как Coca-Cola, Netflix и другие гиганты занимаются благотворительностью: главные тренды КСО в мире и России

Самые популярные форматы взаимодействия бизнеса и НКО на Западе и в России

Forbes
Дебют дебютов: в чем секрет популярности сериала «Ход королевы» Дебют дебютов: в чем секрет популярности сериала «Ход королевы»

Почему мы все неожиданно заинтересовались шахматами после сериала «Ход королевы»

РБК
Значимые следы: как любители грубых ботинок меняли историю Значимые следы: как любители грубых ботинок меняли историю

Рассказываем о шести главных бунтарях в истории ХХ и XXI веков

Esquire
«Если вы такие умные, почему такие бедные»: математик Эдвард Торп обыграл казино и заработал $800 млн на Уолл-стрит «Если вы такие умные, почему такие бедные»: математик Эдвард Торп обыграл казино и заработал $800 млн на Уолл-стрит

История математика, которому наука помогла зарабатывать деньги

VC.RU
«Дружелюбная мышь» оказалась древнейшим социальным млекопитающим «Дружелюбная мышь» оказалась древнейшим социальным млекопитающим

Вид Filikomys primaevus вел социальный образ жизни еще во времена динозавров

N+1
Вибратор и еще 6 предметов, которыми люди пользуются не по назначению Вибратор и еще 6 предметов, которыми люди пользуются не по назначению

Некоторые вещи изобретались не с той целью, с какой мы используем их сейчас

Maxim
Про мэтчи и баны: топ-7 болезненных вопросов об онлайн-знакомствах главе «Мамбы» Про мэтчи и баны: топ-7 болезненных вопросов об онлайн-знакомствах главе «Мамбы»

Разбираем все причины, по которым мы ненавидим сайты и приложения для знакомств

Playboy
Платные трассы, «Платон» и самокаты. Чем запомнился Минтранс Дитриха Платные трассы, «Платон» и самокаты. Чем запомнился Минтранс Дитриха

Отмена +20 км/ч, ПДД для самокатов и другие нововведения Евгения Дитриха

РБК
Открыть в приложении