Алгоритм научили считывать сокращения мышц во время беззвучной речи

N+1Hi-Tech

Электроды на лице и шее позволили нейросети озвучить беззвучную речь

Григорий Копиев

David Gaddy, Dan Klein / EMNLP 2020

Американские исследователи создали прототип системы, которая считывает беззвучную речь при помощи электродов на лице и шее и превращает ее в слышимую речь с помощью нейросети. Потенциально это позволяет создать Bluetooth-гарнитуру, позволяющую разговаривать по телефону, не издавая звуков, или искусственный голосовой аппарат для людей с травмами гортани. Авторы представили разработку на конференции EMNLP 2020 и получили награду за лучшую статью.

При чтении мы обычно не просто видим слова и понимаем их суть, но и проговариваем их про себя, не издавая при этом никаких звуков. Этот процесс называется субвокализацией. Особенность субвокализации заключается в том, что, хотя мы и не произносим слова вслух, мозг все равно заставляет мышцы голосового тракта двигаться, пускай и намного меньше, чем при обычной вокализованной речи. Инженеры довольно давно научились использовать эти сокращения мыщц и считывать их с помощью различных методов, в основном при помощи электромиографии, которая регистрирует электрическую активность мышц.

В основном нейромышечные интерфейсы для распознавания субковализации используют для превращения беззвучной речи в текст. Дэвид Гэдди (David Gaddy) и Дэн Кляйн (Dan Klein) из Калифорнийского университета в Беркли создали алгоритм для превращения беззвучной речи в слышимую. Ранее другие исследователи уже решали эту задачу: на человеке закрепляли электроды и он произносил текст, а параллельно с этим исследователи записывали звук и электрическую активность. Затем они обучали алгоритм на парах звук-электрическая активность, что позволяло восстановить первое из второго. Этот подход изначально закладывает в результаты неточность, потому что электрическая активность мышц голосового аппарата при слышимой и неслышимой речи похожа, но не идентична.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Кухня Древнего мира» «Кухня Древнего мира»

О сырах, которые в Древнем Риме считались скромной пищей

N+1
Если тебе кажется, что ты сходишь с ума, — это газлайтинг: как ему противостоять Если тебе кажется, что ты сходишь с ума, — это газлайтинг: как ему противостоять

Разбираемся в природе газлайтинга и способах борьбы с ним

Cosmopolitan
Почему беспроводные наушники быстро разряжаются Почему беспроводные наушники быстро разряжаются

Причины, по которым беспроводные наушники быстро разряжаются

CHIP
Детское время Детское время

Снимаем с повестки вопрос, чем занять детей на каникулах — и себя за компанию

Glamour
Древнему жителю Китаю ампутировали ногу в наказание Древнему жителю Китаю ампутировали ногу в наказание

Ампутацию считают древнейшей хирургической операцией

N+1
5 самых страшных космических происшествий 5 самых страшных космических происшествий

Космос осваивают силами лучших ученых, но катастрофы все равно случаются

Maxim
Гадкий утенок превращается в CEO: как любимые детские сказки влияют на наш жизненный путь Гадкий утенок превращается в CEO: как любимые детские сказки влияют на наш жизненный путь

Главы из книги Марины Мелии «Хочу — могу — надо. Узнай себя и действуй!»

Forbes
Измена: как переписать сценарий предков и не повторять их ошибок Измена: как переписать сценарий предков и не повторять их ошибок

Как родительская история может влиять на супружескую измену?

Psychologies
Прорицатель или симулянт: 6 сугубо научных фактов о Нострадамусе, которых вы могли не знать Прорицатель или симулянт: 6 сугубо научных фактов о Нострадамусе, которых вы могли не знать

Кем же был Нострадамус — образованным шарлатаном или все-таки истинным пророком?

Популярная механика
Без побочных эффектов Без побочных эффектов

Почему антибиотики перестают помогать, как снизить их вред, чем запить таблетку?

Добрые советы
8 типичных ошибок при выборе белья, которые ты хоть раз совершала 8 типичных ошибок при выборе белья, которые ты хоть раз совершала

Нижнее белье нужно подбирать с умом

Cosmopolitan
«Шутить над собой не означает освобождения от себя» «Шутить над собой не означает освобождения от себя»

Как читать трагического поэта XX века Пауля Целана

Weekend
Посланник дьявола? 7 Посланник дьявола? 7

Моргенштерн – «Антигерой нашего времени»

Cosmopolitan
8 ложных убеждений, которые мешают вашему психическому здоровью 8 ложных убеждений, которые мешают вашему психическому здоровью

Думая об этом, можно навредить самому себе

Psychologies
Платье-миди: главные опасности модели и с чем ее носить, чтобы выглядеть стильно Платье-миди: главные опасности модели и с чем ее носить, чтобы выглядеть стильно

Собираем стильные образы с платьем-миди в главной роли

Cosmopolitan
9 художников, которым проблемы со здоровьем не помешали добиться успеха 9 художников, которым проблемы со здоровьем не помешали добиться успеха

Художники, которых жуткие заболевания не остановили на творческом пути

GQ
Елки-палки: как стартап по высадке леса Maraquia получил похвалу Путина, потерял инвесторов и теперь судится с основателем Елки-палки: как стартап по высадке леса Maraquia получил похвалу Путина, потерял инвесторов и теперь судится с основателем

Что скрывается за красивым фасадом стартапа Maraquia («Маракуйя»)

Forbes
Мадрид: от рассвета до заката Мадрид: от рассвета до заката

Давай отправимся в гастрономический марафон по испанской столице

Лиза
Беззащитные перед космосом: десятиметровый астероид прошел над Землей незамеченным ниже МКС Беззащитные перед космосом: десятиметровый астероид прошел над Землей незамеченным ниже МКС

Астероид 2020 VT4 подошел к Земле ближе, чем Международная космическая станция

Forbes
Стиль принцессы Дианы — «королевы людских сердец», виртуозно владевшей языком моды Стиль принцессы Дианы — «королевы людских сердец», виртуозно владевшей языком моды

Ее называли «королевой людских сердец» и просто «народной принцессой»

Esquire
Маленькая война: как владельцы детских садов из Балашихи борются с поэтом Резником за права на два слова из его песни Маленькая война: как владельцы детских садов из Балашихи борются с поэтом Резником за права на два слова из его песни

Конфликт между поэтом Ильей Резником и владельцами детских садов из Балашихи

Forbes
«Волге» — 64 года. Раскрываем все секреты культовой модели «Волге» — 64 года. Раскрываем все секреты культовой модели

Китайский двойник, особая версия для спецслужб и другие тайны Волги

РБК
Только спокойствие! Только спокойствие!

Что такое синдром навязчивых состояний, как он проявляется и как его вылечить?

Лиза
«Еда для радости. Записки диетолога» «Еда для радости. Записки диетолога»

Отрывок из книги, посвященной тому, как получать от еды и пользу, и удовольствие

N+1
Топ-10 горных вершин мира: покорителям высот Топ-10 горных вершин мира: покорителям высот

Подробный гайд для будущих покорителей вершин

Популярная механика
Первый сексуальный опыт: отрывок из сборника «Ее тело и другие» Кармен Марии Мачадо Первый сексуальный опыт: отрывок из сборника «Ее тело и другие» Кармен Марии Мачадо

Отрывок из книги Кармен Марии Мачадо о женской телесности и сексуальности

Esquire
Самец складчатомордого листоноса приспустил маску на время спаривания Самец складчатомордого листоноса приспустил маску на время спаривания

Зоологи впервые описали брачное поведение складчатомордых листоносов

N+1
Самый лучший компьютер, которого ни у кого не было: краткая история NeXT Самый лучший компьютер, которого ни у кого не было: краткая история NeXT

Как выглядел прадед iOS

Maxim
«Столкнулся с возражением? Давай, убей его»: почему авторитет, основанный на власти, больше не работает «Столкнулся с возражением? Давай, убей его»: почему авторитет, основанный на власти, больше не работает

Отрывок из книги Джослин Дэвис «Искусство мягкого влияния»

Forbes
Греко-болгарская схизма: парад церковных суверенитетов Греко-болгарская схизма: парад церковных суверенитетов

Как появилась национальная церковь на Балканах

Weekend
Открыть в приложении