Алгоритм научили считывать сокращения мышц во время беззвучной речи

N+1Hi-Tech

Электроды на лице и шее позволили нейросети озвучить беззвучную речь

Григорий Копиев

David Gaddy, Dan Klein / EMNLP 2020

Американские исследователи создали прототип системы, которая считывает беззвучную речь при помощи электродов на лице и шее и превращает ее в слышимую речь с помощью нейросети. Потенциально это позволяет создать Bluetooth-гарнитуру, позволяющую разговаривать по телефону, не издавая звуков, или искусственный голосовой аппарат для людей с травмами гортани. Авторы представили разработку на конференции EMNLP 2020 и получили награду за лучшую статью.

При чтении мы обычно не просто видим слова и понимаем их суть, но и проговариваем их про себя, не издавая при этом никаких звуков. Этот процесс называется субвокализацией. Особенность субвокализации заключается в том, что, хотя мы и не произносим слова вслух, мозг все равно заставляет мышцы голосового тракта двигаться, пускай и намного меньше, чем при обычной вокализованной речи. Инженеры довольно давно научились использовать эти сокращения мыщц и считывать их с помощью различных методов, в основном при помощи электромиографии, которая регистрирует электрическую активность мышц.

В основном нейромышечные интерфейсы для распознавания субковализации используют для превращения беззвучной речи в текст. Дэвид Гэдди (David Gaddy) и Дэн Кляйн (Dan Klein) из Калифорнийского университета в Беркли создали алгоритм для превращения беззвучной речи в слышимую. Ранее другие исследователи уже решали эту задачу: на человеке закрепляли электроды и он произносил текст, а параллельно с этим исследователи записывали звук и электрическую активность. Затем они обучали алгоритм на парах звук-электрическая активность, что позволяло восстановить первое из второго. Этот подход изначально закладывает в результаты неточность, потому что электрическая активность мышц голосового аппарата при слышимой и неслышимой речи похожа, но не идентична.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Издательский проект Петра Первого: Илья Копиевский и новые русские книги» «Издательский проект Петра Первого: Илья Копиевский и новые русские книги»

Как был устроен перенос научно-технических знаний на русский язык

N+1
Что делать, если сегодня тебе совсем не хочется работать? 4 способа вернуть трудовой настрой Что делать, если сегодня тебе совсем не хочется работать? 4 способа вернуть трудовой настрой

Давай, у тебя получится справиться и вернуть себе желание работать!

Playboy
Не работает тачпад на ноутбуке: причины и способы решения проблемы Не работает тачпад на ноутбуке: причины и способы решения проблемы

Что делать, если перестал работать тачпад на ноутбуке с Windows

CHIP
За кулисами пуска За кулисами пуска

Старт космической ракеты – зрелище без преувеличения грандиозное

Популярная механика
Используй ложку и телефон: 20 способов доставить себе удовольствие Используй ложку и телефон: 20 способов доставить себе удовольствие

Двадцать разных способов мастурбации на любой вкус и цвет

Cosmopolitan
Как студент Физтеха попал в инвестфонд и получил право распоряжаться миллиардами рублей Как студент Физтеха попал в инвестфонд и получил право распоряжаться миллиардами рублей

История успеха управляющего партнера «ТилТех Капитала» Андрея Кобякова

Forbes
Как советский замполит захватил корабль, чтобы устроить революцию, и добрался до США Как советский замполит захватил корабль, чтобы устроить революцию, и добрался до США

История бунта, который все не так поняли

Weekend
Старый — значит надежный: почему некоторые вещи с годами становятся только красивее и как они стали модными Старый — значит надежный: почему некоторые вещи с годами становятся только красивее и как они стали модными

Рассказываем, как старение вещей из досадной неизбежности превратилось в тренд

Esquire
6 вещей в твоем базовом гардеробе, которые давно пора обновить 6 вещей в твоем базовом гардеробе, которые давно пора обновить

Предлагаем тебе перебрать вещи в шкафу!

Cosmopolitan
Писатели и мода. Часть 2 Писатели и мода. Часть 2

Что Владимир Маяковский считал «самым красивым в человеке»?

Культура.РФ
Коронованная принцесса. Как создавались наряды Дианы для сериала «Корона» Коронованная принцесса. Как создавались наряды Дианы для сериала «Корона»

Анна Баштовая — о том, как создавался образ принцессы Дианы в 4 сезоне «Короны»

Esquire
Профессор Гарвардской школы бизнеса назвал самые большие ошибки компаний, переходящих на удаленку Профессор Гарвардской школы бизнеса назвал самые большие ошибки компаний, переходящих на удаленку

Ошибки, которые совершают компании, которые переходят на удаленку

Inc.
4 парадоксальных способа выйти из тупиковой ситуации 4 парадоксальных способа выйти из тупиковой ситуации

Ловушка, как и решение, чаще всего находятся в нашей голове

Psychologies
Эмбодимент-программа: как можно развивать телесный интеллект Эмбодимент-программа: как можно развивать телесный интеллект

Зачем (и о чем) думать, пробегая марафон или качая бицепсы?

GQ
Голос и здоровье: как они связаны? Голос и здоровье: как они связаны?

По голосу можно диагностировать, что происходит в теле

Psychologies
Иллюзия успеха Иллюзия успеха

Четыре истории о талантливых мастерах пускать пыль в глаза

Популярная механика
Самые лучшие знаки зодиака по мнению астрологов Самые лучшие знаки зодиака по мнению астрологов

Считаем, что родиться под любым знаком, – это прекрасно

Cosmopolitan
7 картин, приносивших несчастья своим владельцам 7 картин, приносивших несчастья своим владельцам

Обладание этими шедеврами смертельно опасно

Maxim

Рассказываем о знаменитостях, чей внешний вид вызывал беспокойство поклонников

Cosmopolitan
Самец складчатомордого листоноса приспустил маску на время спаривания Самец складчатомордого листоноса приспустил маску на время спаривания

Зоологи впервые описали брачное поведение складчатомордых листоносов

N+1
Обещают жару Обещают жару

Почему-то наши маленькие новогодние клятвы редко касаются секса. А зря!

Cosmopolitan
5 возможных причин, почему ты стал бегать в туалет чаще (при том, что пьешь столько же) 5 возможных причин, почему ты стал бегать в туалет чаще (при том, что пьешь столько же)

Часто ходишь в туалет? Возможно, твой мочевой пузырь пытается что-то сказать

Playboy
100 лет красоты: как и почему меняются представления о фигуре 100 лет красоты: как и почему меняются представления о фигуре

Как и почему меняются наши представления о том, что красиво? Экскурс в историю

Cosmopolitan
Остров, туфельки и Tesla: на что Леонардо ДиКаприо тратит свои бешеные гонорары Остров, туфельки и Tesla: на что Леонардо ДиКаприо тратит свои бешеные гонорары

Как Леонардо ДиКаприо распоряжается своими деньгами?

Cosmopolitan
Украла роль, увела мужа, избила и прокляла: как враждовали советские актрисы Украла роль, увела мужа, избила и прокляла: как враждовали советские актрисы

Рассказываем о пяти парах актрис, которые буквально ненавидели друг друга

Cosmopolitan
«В стране террор, люди боятся ехать в офис»: зачем белорусские IT-предприниматели перевозят сотрудников в другие страны и сколько это стоит «В стране террор, люди боятся ехать в офис»: зачем белорусские IT-предприниматели перевозят сотрудников в другие страны и сколько это стоит

Белорусские IT-компании, которые решились на переезд за рубеж

Forbes
О чем говорят наши фантазии О чем говорят наши фантазии

Сегодня стремление быть осознанным распространяется и на сексуальную жизнь

СНОБ
Величайший арт-директор Esquire Джордж Лоис: от big idea к большому стилю Величайший арт-директор Esquire Джордж Лоис: от big idea к большому стилю

Самые знаменитые обложки Джорджа Лоиса и его влияние на мировую культуру

Esquire
Гибель сына и внука, шесть неудачных браков: печальная судьба Натальи Кустинской Гибель сына и внука, шесть неудачных браков: печальная судьба Натальи Кустинской

Трагическая история советской актрисы Натальи Кустинской

Cosmopolitan
20 ошибок при самостоятельном окрашивании волос, которых легко избежать 20 ошибок при самостоятельном окрашивании волос, которых легко избежать

Что греха таить: все мы периодически красим (и портим) волосы дома

Cosmopolitan
Открыть в приложении