Алгоритм научили считывать сокращения мышц во время беззвучной речи

N+1Hi-Tech

Электроды на лице и шее позволили нейросети озвучить беззвучную речь

Григорий Копиев

David Gaddy, Dan Klein / EMNLP 2020

Американские исследователи создали прототип системы, которая считывает беззвучную речь при помощи электродов на лице и шее и превращает ее в слышимую речь с помощью нейросети. Потенциально это позволяет создать Bluetooth-гарнитуру, позволяющую разговаривать по телефону, не издавая звуков, или искусственный голосовой аппарат для людей с травмами гортани. Авторы представили разработку на конференции EMNLP 2020 и получили награду за лучшую статью.

При чтении мы обычно не просто видим слова и понимаем их суть, но и проговариваем их про себя, не издавая при этом никаких звуков. Этот процесс называется субвокализацией. Особенность субвокализации заключается в том, что, хотя мы и не произносим слова вслух, мозг все равно заставляет мышцы голосового тракта двигаться, пускай и намного меньше, чем при обычной вокализованной речи. Инженеры довольно давно научились использовать эти сокращения мыщц и считывать их с помощью различных методов, в основном при помощи электромиографии, которая регистрирует электрическую активность мышц.

В основном нейромышечные интерфейсы для распознавания субковализации используют для превращения беззвучной речи в текст. Дэвид Гэдди (David Gaddy) и Дэн Кляйн (Dan Klein) из Калифорнийского университета в Беркли создали алгоритм для превращения беззвучной речи в слышимую. Ранее другие исследователи уже решали эту задачу: на человеке закрепляли электроды и он произносил текст, а параллельно с этим исследователи записывали звук и электрическую активность. Затем они обучали алгоритм на парах звук-электрическая активность, что позволяло восстановить первое из второго. Этот подход изначально закладывает в результаты неточность, потому что электрическая активность мышц голосового аппарата при слышимой и неслышимой речи похожа, но не идентична.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Песнь клетки: Медицинские исследования и новый человек» «Песнь клетки: Медицинские исследования и новый человек»

Что переносит система циркуляции крови

N+1
Высокохудожественное надувательство Высокохудожественное надувательство

Анна Толстова о выставке Ли Бул и искусстве перенастройки смыслов

Weekend
Old but gold: как и почему растет рынок технологий для пожилых людей Old but gold: как и почему растет рынок технологий для пожилых людей

Продукты и услуги для старшего поколения — глобальный тренд

Forbes
«Александра Трусова. Девочка, победившая гравитацию» – книга о феномене фигурного катания «Александра Трусова. Девочка, победившая гравитацию» – книга о феномене фигурного катания

Книга про падения, четверные прыжки и встречу с Ириной Родниной

GQ
Шаги на чердаке: жуткая история о нераскрытом убийстве в Хинтеркайфеке Шаги на чердаке: жуткая история о нераскрытом убийстве в Хинтеркайфеке

Более 100 лет назад на ферме Андреаса Грубера произошла страшная трагедия

ТехИнсайдер
Судим чужим судом Судим чужим судом

Александр Верещагин, доктор права, о наследии советских судов в новой России

Огонёк
Белые рыцари Amazon: как зарабатывать миллионы на миллиардах Джеффа Безоса Белые рыцари Amazon: как зарабатывать миллионы на миллиардах Джеффа Безоса

Amazon преуспел в развитии предпринимательства больше, чем кто-либо другой

Forbes
«Отыграть назад» с Николь Кидман и Хью Грантом: богатые снова плачут «Отыграть назад» с Николь Кидман и Хью Грантом: богатые снова плачут

«Отыграть назад» — детектив, приправленный классовой ненавистью

Esquire
Рассказ о жизни в карабахских бомбоубежищах Рассказ о жизни в карабахских бомбоубежищах

Рассказ из подземелья Нагорного Карабаха записала Армина Багдасарян

СНОБ
Мечты сбываются Мечты сбываются

Известные люди рассказывают о том, что хорошего случилось с ними в 2020 году

Домашний Очаг
Хилари Дафф, актриса Хилари Дафф, актриса

История актрисы Хилари Дафф — это повесть о взлетах и падениях

Худеем правильно
Шкурный интерес Шкурный интерес

Как правильно выбрать ковер

Добрые советы
Бет: Начало Бет: Начало

«Ход королевы» — сериал об одиночестве и новой суперсиле

Weekend
Именной фонд Именной фонд

Как Таруса запустила по России вторую волну переименований улиц и площадей

Огонёк
По течению реки По течению реки

Небольшой домик на берегу Волги в соответствии с философией ваби‑саби

AD
Отрывок из книги Андерса Хансена «На цифровой игле» Отрывок из книги Андерса Хансена «На цифровой игле»

Почему правило «выживает сильнейший» в большинстве случаев не работает?

СНОБ
Нефертити и Мария-Антуанетта: дизайнер показал, как они выглядели бы сейчас Нефертити и Мария-Антуанетта: дизайнер показал, как они выглядели бы сейчас

Тебе было интересно, как выглядели бы исторические личности, живи они сейчас?

Cosmopolitan
Умер бывший глава купленной Amazon компании Zappos Тони Шей: как он строил свою «империю счастья» Умер бывший глава купленной Amazon компании Zappos Тони Шей: как он строил свою «империю счастья»

История жизни Тони Шея, руководителя крупнейшего в США интернет-магазина обуви

Forbes
Остров, туфельки и Tesla: на что Леонардо ДиКаприо тратит свои бешеные гонорары Остров, туфельки и Tesla: на что Леонардо ДиКаприо тратит свои бешеные гонорары

Как Леонардо ДиКаприо распоряжается своими деньгами?

Cosmopolitan
«В общении рождается энергия» «В общении рождается энергия»

Ольга Сыроватская — об амбициозных планах и любви к жизни

OK!
Самые дорогие сериалы в истории Самые дорогие сериалы в истории

Во сколько обошлось создание Малыша Йоды и андроидов из «Мира Дикого Запада»

GQ
Шон Мендес: «Мне хочется донести до людей, что счастье мое не в статусе, а в музыке» Шон Мендес: «Мне хочется донести до людей, что счастье мое не в статусе, а в музыке»

Шон Мендес рассказал GQ, как перезапустил карьеру и задумался о здоровье психики

GQ
Ингибиторы эндоманнозидазы подавили репликацию вирусов Ингибиторы эндоманнозидазы подавили репликацию вирусов

Эти ингибиторы мешают сборке вирусных частиц

N+1
Дизайнер костюмов сериала «Корона» о том, как создавались образы королевской семьи Дизайнер костюмов сериала «Корона» о том, как создавались образы королевской семьи

Художник по костюмам Эми Робертс — почему иногда хочется послать все к черту

GQ
Катализатор двойного действия превратит отработанное масло в биодизель Катализатор двойного действия превратит отработанное масло в биодизель

Химики научились получать биодизельное топливо из загрязненного масла

N+1
Из тьмы веков, из топи блат Из тьмы веков, из топи блат

Кто жил на землях, на которых в XIII веке возникла литовская держава?

Дилетант
Как планировать свой день: 6 простых шагов к контролю над своим временем Как планировать свой день: 6 простых шагов к контролю над своим временем

Полезные советы, как все успевать и правильно расставлять задачи

Playboy
Функциональный спектрометр-шапочку впервые испытали на шестимесячных младенцах Функциональный спектрометр-шапочку впервые испытали на шестимесячных младенцах

Британские исследователи впервые испытали LUMO на шестимесячных младенцах

N+1
Сделать бизнес на одном товаре и продавать его 60 лет: история универсальной смазки WD-40 Сделать бизнес на одном товаре и продавать его 60 лет: история универсальной смазки WD-40

WD-40 создавали смазку для космических ракет, а её формула хранится в секрете

VC.RU
5 глупых вещей, которые навсегда изменили наш мир 5 глупых вещей, которые навсегда изменили наш мир

Иногда какая-нибудь табуретка может сделать для истории больше, чем президент

Maxim
Открыть в приложении