Алгоритм научили считывать сокращения мышц во время беззвучной речи

N+1Hi-Tech

Электроды на лице и шее позволили нейросети озвучить беззвучную речь

Григорий Копиев

David Gaddy, Dan Klein / EMNLP 2020

Американские исследователи создали прототип системы, которая считывает беззвучную речь при помощи электродов на лице и шее и превращает ее в слышимую речь с помощью нейросети. Потенциально это позволяет создать Bluetooth-гарнитуру, позволяющую разговаривать по телефону, не издавая звуков, или искусственный голосовой аппарат для людей с травмами гортани. Авторы представили разработку на конференции EMNLP 2020 и получили награду за лучшую статью.

При чтении мы обычно не просто видим слова и понимаем их суть, но и проговариваем их про себя, не издавая при этом никаких звуков. Этот процесс называется субвокализацией. Особенность субвокализации заключается в том, что, хотя мы и не произносим слова вслух, мозг все равно заставляет мышцы голосового тракта двигаться, пускай и намного меньше, чем при обычной вокализованной речи. Инженеры довольно давно научились использовать эти сокращения мыщц и считывать их с помощью различных методов, в основном при помощи электромиографии, которая регистрирует электрическую активность мышц.

В основном нейромышечные интерфейсы для распознавания субковализации используют для превращения беззвучной речи в текст. Дэвид Гэдди (David Gaddy) и Дэн Кляйн (Dan Klein) из Калифорнийского университета в Беркли создали алгоритм для превращения беззвучной речи в слышимую. Ранее другие исследователи уже решали эту задачу: на человеке закрепляли электроды и он произносил текст, а параллельно с этим исследователи записывали звук и электрическую активность. Затем они обучали алгоритм на парах звук-электрическая активность, что позволяло восстановить первое из второго. Этот подход изначально закладывает в результаты неточность, потому что электрическая активность мышц голосового аппарата при слышимой и неслышимой речи похожа, но не идентична.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Перезапуск будущего. Как „починить“ нематериальную экономику» «Перезапуск будущего. Как „починить“ нематериальную экономику»

Связь между нематериальной экономикой и усугублением проблемы неравенства

N+1
Как стать профессиональным фотографом: 7 шагов к крутой карьере Как стать профессиональным фотографом: 7 шагов к крутой карьере

Подборка советов для желающих освоить ремесло профессионального фотографа

Playboy
Что получится, если скрестить автомобиль с коптером: концепт первой отечественной летающей машины Что получится, если скрестить автомобиль с коптером: концепт первой отечественной летающей машины

Футуристические идеи о летающем транспорте могут обрести материальную форму

ТехИнсайдер
10 советов, которые помогут вам сформировать здоровое отношение к технологиям 10 советов, которые помогут вам сформировать здоровое отношение к технологиям

Зои Астон укажет путь к разумным взаимоотношениям с экранами ваших устройств

GQ
Целибат сведет в могилу: почему не заниматься сексом смертельно опасно Целибат сведет в могилу: почему не заниматься сексом смертельно опасно

Наука в очередной раз доказала, что секс — это лучшее лекарство

Maxim
Бумажные полотенца и средство для мытья посуды помогли удалить токсичные химикаты с кожи Бумажные полотенца и средство для мытья посуды помогли удалить токсичные химикаты с кожи

Как эффективно удалить токсичные загрязнения с кожи

N+1
Гонка лоялистов: откуда идет волна репрессивного законотворчества Гонка лоялистов: откуда идет волна репрессивного законотворчества

Кто и зачем продвигает репрессивную компанию в законодательстве

Forbes
«В нашей жизни всё спонтанно» «В нашей жизни всё спонтанно»

Блогеры Ольга и Максим Нечаевы: о воспитании дочери и курсе «Голые деньги»

OK!
Общежитие для зумеров: что такое TikTok-дома и кто на них зарабатывает Общежитие для зумеров: что такое TikTok-дома и кто на них зарабатывает

Как 15-секундные ролики о совместном быте зумеров стали новым трендом в сети

Forbes
35 лет ОС Windows: как выглядела самая первая версия ОС 35 лет ОС Windows: как выглядела самая первая версия ОС

Как пользовались Windows до того, как это стало модным

Maxim
Изабель Юппер: «Думаю, феминистская повестка в кино – это очень хорошо» Изабель Юппер: «Думаю, феминистская повестка в кино – это очень хорошо»

Изабель Юппер примерила амплуа главы криминальной империи

Grazia
«Ждем, когда 5G станет реальностью, а не только поводом для хайпа» «Ждем, когда 5G станет реальностью, а не только поводом для хайпа»

Александр Чуб — о том, как в России развивается инфраструктура для сотовой связи

РБК
Начальные навыки пассивно-агрессивного общения в переписке Начальные навыки пассивно-агрессивного общения в переписке

Настало время использовать глубинные навыки в Интернет-общении

Maxim
Алиса Хазанова: «Сегодня опасно даже просто выражать свое мнение» Алиса Хазанова: «Сегодня опасно даже просто выражать свое мнение»

Актриса Алиса Хазанова о кибербуллинге и токсичности соцсетей

GQ
Одна вокруг света. Сколько стоит переправиться через океан Одна вокруг света. Сколько стоит переправиться через океан

97-я серия о кругосветном путешествии москвички Ирины Сидоренко

Forbes
«Титаник» XII века: кораблекрушение, изменившее историю «Титаник» XII века: кораблекрушение, изменившее историю

900 лет назад произошло кораблекрушение «Белого корабля».

Maxim
Иммунные клетки мигрировали из кишечника для защиты мозга Иммунные клетки мигрировали из кишечника для защиты мозга

Исследователи обнаружили в мозге иммунные клетки, которые произошли от кишечных

N+1
Мозг, исцеляющий себя Мозг, исцеляющий себя

Реальные истории людей, которые победили болезни и преобразили свой мозг

kiozk originals
Блеф, ложь и венчур: как инвесторы и стартаперы обманывают друг друга Блеф, ложь и венчур: как инвесторы и стартаперы обманывают друг друга

В венчурном бизнесе недостаточно просто говорить правду

Inc.
Прокачай себя! Тренировка c REBOOT LIVE # 6. Силовая тренировка ABS. Прокачай себя! Тренировка c REBOOT LIVE # 6. Силовая тренировка ABS.

Прощай, пивной живот! Здравствуйте, кубики!

Maxim
«Я таскала Данилу в сумке»: Надежда Бабкина рассказала о воспитании сына «Я таскала Данилу в сумке»: Надежда Бабкина рассказала о воспитании сына

Надежда Бабкина рассказала о непростом воспитании сына Данилы

Cosmopolitan
«Шутить над собой не означает освобождения от себя» «Шутить над собой не означает освобождения от себя»

Как читать трагического поэта XX века Пауля Целана

Weekend
Не только архитектор Не только архитектор

Чем увлекались русские архитекторы прошлых веков, помимо возведения зданий?

Культура.РФ
Пять преступников номер один в мире Пять преступников номер один в мире

Хит-парад злодеев современности

Maxim
Как Coca-Cola, Netflix и другие гиганты занимаются благотворительностью: главные тренды КСО в мире и России Как Coca-Cola, Netflix и другие гиганты занимаются благотворительностью: главные тренды КСО в мире и России

Самые популярные форматы взаимодействия бизнеса и НКО на Западе и в России

Forbes
Правила жизни Армена Джигарханяна Правила жизни Армена Джигарханяна

Правила жизни режиссера и народного артиста СССР Армена Джигарханяна

Esquire
Каково это — пройти Европу пешком за два года Каково это — пройти Европу пешком за два года

Как кровельщик из Железногорска за два года прошел пешком через всю Европу

Esquire
Как одна исповедь изничтожила акциониста Павленского. И почему для гражданского общества это пшик Как одна исповедь изничтожила акциониста Павленского. И почему для гражданского общества это пшик

Бывшая жена Павленского выпустила книгу о своих отношениях с художником

СНОБ
Гибель сына и внука, шесть неудачных браков: печальная судьба Натальи Кустинской Гибель сына и внука, шесть неудачных браков: печальная судьба Натальи Кустинской

Трагическая история советской актрисы Натальи Кустинской

Cosmopolitan
«Люблю переодевать людей» «Люблю переодевать людей»

О карантинных мерах, модном процессе и новом new look после кризиса и пандемии

OK!
Открыть в приложении