Ученые создали алгоритм, который превращает текст в жестовую речь

N+1Hi-Tech

Нейросеть перевела текст в жестовую речь

Григорий Копиев

Ben Saunders et al. / arXiv.org, 2020

Британские разработчики создали нейросетевой алгоритм, который превращает текст в видео с человеком, произносящим тот же текст на жестовом языке. Во время обучения алгоритм проверяет качество своей работы после синтеза видео, что позволило добиться гораздо лучшего результата, чем у предыдущих подобных методов, в том числе по качеству отрисовки кистей рук. Статья об алгоритме опубликована на arXiv.org.

Люди с полной или частичной потерей слуха общаются между собой на жестовом языке. Но подавляющее большинство мероприятий или контента предназначено для слышащих людей. В электронном виде эта проблема решается при помощи субтитров, но при проведении мероприятий или, например, трансляции прямого эфира, приходится использовать сурдоперевод с обычного языка на жестовый. Исследователи не первый год пытаются автоматизировать этот процесс. Изначально они пытались сделать это с помощью анимированных 3D-аватаров, но этот подход давал низкие результаты. В последнее время исследователи переключились на нейросетевой синтез, но до недавнего времени им не удавалось качественно отрисовывать важные детали, в том числе кисти рук.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Дети и шимпанзе отказались от вознаграждения ради видео с социальными взаимодействиями Дети и шимпанзе отказались от вознаграждения ради видео с социальными взаимодействиями

Дети и взрослые шимпанзе проявляют особый интерес к социальным взаимодействиям

N+1
35 лет ОС Windows: история голубого экрана смерти 35 лет ОС Windows: история голубого экрана смерти

Откуда взялся тот самый голубой экран смерти, который никто не любит

Maxim
Какие ценности есть у ИИ? Ученые изучили Claude и рассказали интересные факты! Какие ценности есть у ИИ? Ученые изучили Claude и рассказали интересные факты!

Как ИИ выражает свои «принципы» в диалогах с людьми

ТехИнсайдер
Величайший арт-директор Esquire Джордж Лоис: от big idea к большому стилю Величайший арт-директор Esquire Джордж Лоис: от big idea к большому стилю

Самые знаменитые обложки Джорджа Лоиса и его влияние на мировую культуру

Esquire
Тревожное исследование: ChatGPT убивает наше критическое мышление Тревожное исследование: ChatGPT убивает наше критическое мышление

Чем чрезмерное использование нейросетей крайне вредно для нашего мозга

ТехИнсайдер
Новые технологии Renault. Вариаторы Новые технологии Renault. Вариаторы

На что способен новый вариатор Renault?

4x4 Club
Как хоронили героя: в прокат вышел скандальный фильм Алексея Учителя «Цой» Как хоронили героя: в прокат вышел скандальный фильм Алексея Учителя «Цой»

Вокруг фильма Алексея Учителя «Цой» развернулся скандал

Forbes
23 классические шутки Марка Твена 23 классические шутки Марка Твена

Вспоминаем великие цитаты Марка Твена

Maxim
Игорь Пальчицкий. Дотянуться до звезды Игорь Пальчицкий. Дотянуться до звезды

Двадцатого ноября Майе Плисецкой исполнилось бы девяносто пять лет

Караван историй
12 вещей, которые использовали вместо денег 12 вещей, которые использовали вместо денег

Во времена натурального обмена в роли денег выступали совершенно разные объекты

Maxim
Спасаемся от хандры: оттенки осени в элементах декора Спасаемся от хандры: оттенки осени в элементах декора

Дизайнерские решения, которые помогут справиться с осенней грустью

Psychologies
Завезенных в Австралию ос назвали угрозой безопасности авиаперелетов Завезенных в Австралию ос назвали угрозой безопасности авиаперелетов

Гнезда насекомых могут привести к катастрофе

N+1
«Hello World. Как быть человеком в эпоху машин» «Hello World. Как быть человеком в эпоху машин»

Отрывок из книги Ханна Фрай о том, какой властью наделены алгоритмы

N+1
Фильм «Еще по одной» – страшно увлекательная ода алкоголизму с Мадсом Миккельсеном Фильм «Еще по одной» – страшно увлекательная ода алкоголизму с Мадсом Миккельсеном

Мрачноватый юмор и фирменный датский пессимизм в фильме «Еще по одной»

GQ
Пластичность мозга Пластичность мозга

Потрясающие факты о том, как мысли способны менять структуру и функции мозга

kiozk originals
Дождь не помеха: 6 веселых игр для детей осенью Дождь не помеха: 6 веселых игр для детей осенью

Осадки — не повод прекращать веселиться, и наши дети знают это лучше всех

Seasons of life
Полутьма египетская Полутьма египетская

«Паранормальные явления» — очень симпатичный арабском хоррор-сериал Netflix

Weekend
285 сценариев хаоса: как Дональд Трамп пытается остаться в Белом доме 285 сценариев хаоса: как Дональд Трамп пытается остаться в Белом доме

Какими способами Дональд Трамп пытается оспорить результаты выборов

Forbes
У протеста — женское лицо. Портреты белорусских женщин — в фотопроекте Юлии Шабловской и эссе писателя Евгения Бабушкина о тайной женской силе У протеста — женское лицо. Портреты белорусских женщин — в фотопроекте Юлии Шабловской и эссе писателя Евгения Бабушкина о тайной женской силе

Эссе о тайной женской силы Белоруссии и фотографии протестующих женщин

Esquire
«Я здесь, нищий и застрявший в этой дыре»: почему люди, которые позже расцветают, чаще добиваются успеха «Я здесь, нищий и застрявший в этой дыре»: почему люди, которые позже расцветают, чаще добиваются успеха

Когда и кому возраст играет на руку

Forbes
Холодный расчет Холодный расчет

Как скорректировать рацион в холода, чтобы не набрать вес?

Лиза
Вот так встреча Вот так встреча

Долгие новогодние каникулы дают шанс поупражняться в искусстве принимать гостей

AD
Остров, туфельки и Tesla: на что Леонардо ДиКаприо тратит свои бешеные гонорары Остров, туфельки и Tesla: на что Леонардо ДиКаприо тратит свои бешеные гонорары

Как Леонардо ДиКаприо распоряжается своими деньгами?

Cosmopolitan
Котлета от Тимати: сколько можно заработать на франшизе Black Star Burger Котлета от Тимати: сколько можно заработать на франшизе Black Star Burger

Как сейчас работает Black Star Burger и можно ли заработать на этой франшизе?

Forbes
«Игры гормонов» «Игры гормонов»

Отрывок из книги Марти Хейзелтон «Игры гормонов»

N+1
Купить нельзя планировать: как пережить «черную пятницу» и не разориться Купить нельзя планировать: как пережить «черную пятницу» и не разориться

Как противостоять соблазну купить очередную вещь, которая окажется ненужной?

Psychologies
«Если ты играл с императором рояля, разве трудно сыграть с императрицей Японии?» «Если ты играл с императором рояля, разве трудно сыграть с императрицей Японии?»

Юрий Башмет – о первом концерте со Святославом Рихтером

GQ
Режиссер 2020 года: Эдуард Оганесян Режиссер 2020 года: Эдуард Оганесян

Эдуард Оганесян до и после «Чик»

GQ
Если бюджет ограничен: на какую одежду стоит тратить деньги, а на какую нет Если бюджет ограничен: на какую одежду стоит тратить деньги, а на какую нет

Как составить модную смету и понять, можешь ли ты позволить себе шопинг мечты

Cosmopolitan
Распад заряженного B-мезона не вписался в Стандартную модель Распад заряженного B-мезона не вписался в Стандартную модель

Подобные аномалии могут оказаться ключом к Новой физике

N+1
Открыть в приложении