Ученые создали алгоритм, который превращает текст в жестовую речь

N+1Hi-Tech

Нейросеть перевела текст в жестовую речь

Григорий Копиев

Ben Saunders et al. / arXiv.org, 2020

Британские разработчики создали нейросетевой алгоритм, который превращает текст в видео с человеком, произносящим тот же текст на жестовом языке. Во время обучения алгоритм проверяет качество своей работы после синтеза видео, что позволило добиться гораздо лучшего результата, чем у предыдущих подобных методов, в том числе по качеству отрисовки кистей рук. Статья об алгоритме опубликована на arXiv.org.

Люди с полной или частичной потерей слуха общаются между собой на жестовом языке. Но подавляющее большинство мероприятий или контента предназначено для слышащих людей. В электронном виде эта проблема решается при помощи субтитров, но при проведении мероприятий или, например, трансляции прямого эфира, приходится использовать сурдоперевод с обычного языка на жестовый. Исследователи не первый год пытаются автоматизировать этот процесс. Изначально они пытались сделать это с помощью анимированных 3D-аватаров, но этот подход давал низкие результаты. В последнее время исследователи переключились на нейросетевой синтез, но до недавнего времени им не удавалось качественно отрисовывать важные детали, в том числе кисти рук.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Посчитаны риски 175 возможных последствий для здоровья при приеме агонистов ГПП-1 Посчитаны риски 175 возможных последствий для здоровья при приеме агонистов ГПП-1

175 последствий для здоровья при терапии агонистами ГПП-1

N+1
Что такое нейроэстетика, или как наш мозг воспринимает искусство Что такое нейроэстетика, или как наш мозг воспринимает искусство

Оказывается, художники – те же исследователи

GQ
Как Мэй Хабиб заработала $285 млн на ИИ-агентах, способных заменить 90% работников Как Мэй Хабиб заработала $285 млн на ИИ-агентах, способных заменить 90% работников

Как Мэй Хабиб создает ПО на базе ИИ, которое берет на себя рутинные задачи

Forbes
7 секретов счастливой жизни от автора «Секс в большом городе» 7 секретов счастливой жизни от автора «Секс в большом городе»

Кэндес Бушнелл делится правилами своего успеха

Cosmopolitan
Это не лень, а депрессия: 5 сигналов, что тебе нужна помощь Это не лень, а депрессия: 5 сигналов, что тебе нужна помощь

Как отличить депрессию от усталости или лени

VOICE
Чем занимаются специалисты института Pantone и зачем они выбирают главный цвет года Чем занимаются специалисты института Pantone и зачем они выбирают главный цвет года

Институту Pantone принадлежат все цвета и оттенки, которые вы когда-либо видели

GQ
Рассказ о жизни в карабахских бомбоубежищах Рассказ о жизни в карабахских бомбоубежищах

Рассказ из подземелья Нагорного Карабаха записала Армина Багдасарян

СНОБ
Типично псковские дали Типично псковские дали

Едем на длинные выходные в Псковскую область

Seasons of life
Феминитивы и культ языковой вертикали Феминитивы и культ языковой вертикали

Как не стыдиться феминитивов, откуда они берутся и как с ними уживаться

СНОБ
Афина или Афродита: какая ты богиня по знаку зодиака? Афина или Афродита: какая ты богиня по знаку зодиака?

Все женщины как женщины, а я - богиня!

Cosmopolitan
История трагической любви настоящих Красавицы и Чудовища История трагической любви настоящих Красавицы и Чудовища

Во Франции жила настоящие Красавица и Чудовища

Cosmopolitan
Медитации для любви: Ясс Джалю — о практике счастья в паре Медитации для любви: Ясс Джалю — о практике счастья в паре

Ясс Джалю рассказывает о том, как разобраться в отношениях с собой и с партнером

РБК
Как помочь подростку найти дело жизни? Как помочь подростку найти дело жизни?

Как поставить себя на место подростка и помочь ему выбрать профессию

Psychologies
Триумф 57 мм Триумф 57 мм

Новое слово в разработке российских бронемашин

Популярная механика
От костюма до портупеи: одеться как герои фильмов Мартина Скорсезе От костюма до портупеи: одеться как герои фильмов Мартина Скорсезе

Безупречная визуальная эстетика — вот за что мы любим фильмы Мартина Скорсезе

Esquire
10 вопросов к Уиллему Дефо 10 вопросов к Уиллему Дефо

Уиллем Дефо – главный характерный актер Голливуда и культовая фигура

Playboy
Вибратор и еще 6 предметов, которыми люди пользуются не по назначению Вибратор и еще 6 предметов, которыми люди пользуются не по назначению

Некоторые вещи изобретались не с той целью, с какой мы используем их сейчас

Maxim
«Услуги концентрации»: как заработать на том, что учишь людей работать «Услуги концентрации»: как заработать на том, что учишь людей работать

Как Молли Сонстенг учит людей концентрации и максимально продуктивной работе

Forbes
Как стать профессиональным фотографом: 7 шагов к крутой карьере Как стать профессиональным фотографом: 7 шагов к крутой карьере

Подборка советов для желающих освоить ремесло профессионального фотографа

Playboy
5 неочевидных книг Стивена Кинга, которые вам стоит прочесть 5 неочевидных книг Стивена Кинга, которые вам стоит прочесть

Наслаждайтесь удивительным миром Стивена Кинга!

Популярная механика
Пример для подражания: Наталья Петушкова Пример для подражания: Наталья Петушкова

Руководитель центра разработки в компании НСПК берет инициативу в свои руки

Cosmopolitan
Древнейший хамелеон из бирманского янтаря оказался амфибией Древнейший хамелеон из бирманского янтаря оказался амфибией

Эти древние амфибии могли стрелять языком в добычу

N+1
Опасен ли вейп: исследования ученых Опасен ли вейп: исследования ученых

Рост популярности вейпа — тенденция, несущая реальные риски для здоровья

РБК
Вареная кукуруза: польза и вред «царицы полей» Вареная кукуруза: польза и вред «царицы полей»

Полезные свойства, пищевая ценность и противопоказания кукурузы

Playboy
Рождение супердержавы Рождение супердержавы

Всего за сто лет Литва стала крупнейшим государством Европы

Дилетант
«Есть в России национальный продукт, называется шаурма»: как основатель «Додо Пицца» планирует завоевать рынок донеров и кофе «Есть в России национальный продукт, называется шаурма»: как основатель «Додо Пицца» планирует завоевать рынок донеров и кофе

Основатель «Додо Пицца» о том, как он будет бороться с плохой репутацией шаурмы

Forbes
Все невротики — перфекционисты: так ли это на самом деле? Все невротики — перфекционисты: так ли это на самом деле?

Как понять, перфекционист вы или нет?

Psychologies
Сделать бизнес на одном товаре и продавать его 60 лет: история универсальной смазки WD-40 Сделать бизнес на одном товаре и продавать его 60 лет: история универсальной смазки WD-40

WD-40 создавали смазку для космических ракет, а её формула хранится в секрете

VC.RU
Как выглядели первые гидрокостюмы (пугающие фото) Как выглядели первые гидрокостюмы (пугающие фото)

Удивительные архивные фотографии первых гидрокостюмов

Maxim
Даже лучший алгоритм может навредить человеку Даже лучший алгоритм может навредить человеку

Олег Бяхов — об этичных трендах и общении с искусственным интеллектом

РБК
Открыть в приложении