Ученые создали алгоритм, который превращает текст в жестовую речь

N+1Hi-Tech

Нейросеть перевела текст в жестовую речь

Григорий Копиев

Ben Saunders et al. / arXiv.org, 2020

Британские разработчики создали нейросетевой алгоритм, который превращает текст в видео с человеком, произносящим тот же текст на жестовом языке. Во время обучения алгоритм проверяет качество своей работы после синтеза видео, что позволило добиться гораздо лучшего результата, чем у предыдущих подобных методов, в том числе по качеству отрисовки кистей рук. Статья об алгоритме опубликована на arXiv.org.

Люди с полной или частичной потерей слуха общаются между собой на жестовом языке. Но подавляющее большинство мероприятий или контента предназначено для слышащих людей. В электронном виде эта проблема решается при помощи субтитров, но при проведении мероприятий или, например, трансляции прямого эфира, приходится использовать сурдоперевод с обычного языка на жестовый. Исследователи не первый год пытаются автоматизировать этот процесс. Изначально они пытались сделать это с помощью анимированных 3D-аватаров, но этот подход давал низкие результаты. В последнее время исследователи переключились на нейросетевой синтез, но до недавнего времени им не удавалось качественно отрисовывать важные детали, в том числе кисти рук.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Почему мы помним. Как раскрыть способность памяти удерживать важное» «Почему мы помним. Как раскрыть способность памяти удерживать важное»

Как гиппокамп участвует в работе памяти

N+1
Обзор беспроводных наушников Philips TAPH805BK: музыка без лишнего шума Обзор беспроводных наушников Philips TAPH805BK: музыка без лишнего шума

Тестируем полноразмерные Bluetooth-наушники от Philips

CHIP
Как обработать фото, будто вы сделали его на пленку? Сохраните этот простой метод! Как обработать фото, будто вы сделали его на пленку? Сохраните этот простой метод!

Как сделать цифровые снимки похожими на пленку: инструкция

ТехИнсайдер
Большая Засечная черта. Часть 1 Большая Засечная черта. Часть 1

История одного из крупнейших фортификационных сооружений Российского государства

Культура.РФ
6 признаков глупого человека 6 признаков глупого человека

Как понять, кого нужно избегать? Да и нужно ли на самом деле?

Psychologies
Как живут красавицы 90-х: Ирина Салтыкова, Элен Ролле, Дженни Гарт и другие Как живут красавицы 90-х: Ирина Салтыкова, Элен Ролле, Дженни Гарт и другие

Чем героини культовых сериалов и бывшие певицы заняты сейчас?

Cosmopolitan
Нет цензурных слов. Почему Россия бьется за свободу слова, а ей не верят Нет цензурных слов. Почему Россия бьется за свободу слова, а ей не верят

Власти жалуются на цензуру свободного общества

СНОБ
Измена: как переписать сценарий предков и не повторять их ошибок Измена: как переписать сценарий предков и не повторять их ошибок

Как родительская история может влиять на супружескую измену?

Psychologies
Как пробежать марафон. Инструкция Как пробежать марафон. Инструкция

Бывший спецназовец рассказывает, что делать, если вы захотели пробежать марафон

РБК
Специальная номинация Man of The City by Johnnie: Илья Красильщик Специальная номинация Man of The City by Johnnie: Илья Красильщик

«Яндекс.Лавка» Ильи Красильщика стала ключевым продуктом нашего времени

GQ
Как расположить к себе собеседника — метод агентов ФБР Как расположить к себе собеседника — метод агентов ФБР

Как применить науку ведения переговоров в повседневной жизни?

Inc.
Живая история: отрывок из книги автора Esquire Егора Сенникова «Они отвалились» о социалистическом проекте в Восточной Европе Живая история: отрывок из книги автора Esquire Егора Сенникова «Они отвалились» о социалистическом проекте в Восточной Европе

Как 30 лет назад закончился социалистический проект в Восточной Европе

Esquire
9 версий о том, кем был Человек в железной маске 9 версий о том, кем был Человек в железной маске

19 ноября в Бастилии скончался один из самых загадочных заключенных в истории

Maxim
«Черкизово». Наследники. Алтай «Черкизово». Наследники. Алтай

Почему Игорь Бабаев отдал весь свой бизнес сыновьям

Forbes
Как одна исповедь изничтожила акциониста Павленского. И почему для гражданского общества это пшик Как одна исповедь изничтожила акциониста Павленского. И почему для гражданского общества это пшик

Бывшая жена Павленского выпустила книгу о своих отношениях с художником

СНОБ
Марго Робби Марго Робби

Ни одна из голливудских актрис не будоражит наши чувства так, как Марго Робби

Playboy
«В нашей жизни всё спонтанно» «В нашей жизни всё спонтанно»

Блогеры Ольга и Максим Нечаевы: о воспитании дочери и курсе «Голые деньги»

OK!
Первый концлагерь, первый теракт и еще 6 адских исторических первенцев Первый концлагерь, первый теракт и еще 6 адских исторических первенцев

Они были первыми. Но лучше бы их не было!

Maxim
Что такое нейроэстетика, или как наш мозг воспринимает искусство Что такое нейроэстетика, или как наш мозг воспринимает искусство

Оказывается, художники – те же исследователи

GQ
Его звали «тюремный Гудини» Его звали «тюремный Гудини»

В середине XX века похождения Альфи Хайндса не сходили с первых полос газет

Maxim
Почему Россия проиграла президентские выборы в Молдавии Почему Россия проиграла президентские выборы в Молдавии

Россия потерпела очередное за 2020 год поражение на постсоветском пространстве

СНОБ
Блеф, ложь и венчур: как инвесторы и стартаперы обманывают друг друга Блеф, ложь и венчур: как инвесторы и стартаперы обманывают друг друга

В венчурном бизнесе недостаточно просто говорить правду

Inc.
Максим Федоров: искусственный интеллект в десяти вопросах и ответах Максим Федоров: искусственный интеллект в десяти вопросах и ответах

Профессор Сколтеха — об искусственном интеллекте и реальности сюжетов фантастики

РБК
Систему предсказания цвета глаз и волос по ДНК уточнили Систему предсказания цвета глаз и волос по ДНК уточнили

Генетики создали панель SNP маркеров для помощи криминалистам и палеогенетикам

Наука и жизнь
В доме с историей В доме с историей

Квартира в историческом «доме Депре», восстановленном по программе реновации

SALON-Interior
По течению реки По течению реки

Небольшой домик на берегу Волги в соответствии с философией ваби‑саби

AD
Все цвета радости: на автомобилях какого цвета меньше видна грязь Все цвета радости: на автомобилях какого цвета меньше видна грязь

Нет ничего прекраснее чистого автомобиля, играющего бликами на кузовных панелях

Maxim
Предков индейцев пуэбло уличили в топлении льда для выживания во время засух Предков индейцев пуэбло уличили в топлении льда для выживания во время засух

Необычный источник воды помог коренным американцам выжить в засушливом климате

N+1
От костюма до портупеи: одеться как герои фильмов Мартина Скорсезе От костюма до портупеи: одеться как герои фильмов Мартина Скорсезе

Безупречная визуальная эстетика — вот за что мы любим фильмы Мартина Скорсезе

Esquire
12 приложений для развития soft skills 12 приложений для развития soft skills

Прокачайте soft skills с помощью этих приложений, и успех не заставит себя ждать

СНОБ
Открыть в приложении