Очки с эхолокатором распознают слова с 95% точностью с помощью нейросети

N+1Hi-Tech

Очки с эхолокатором научили читать по губам речь хозяина

Они распознают слова с 95-процентной точностью с помощью нейросети

Андрей Фокин

6b8426fcffb23534e2e1f6b38813703e.jpg
Ruidong Zhang et al. / CHI '23: Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems, 2023

Американские инженеры разработали очки, способные распознавать речь по движению губ пользователя. Для этого в оправу очков встроены два миниатюрных эхолокатора, которые получают информацию о малейших движениях губ и кожи лица, а алгоритм машинного обучения предсказывает произнесенные слова и команды почти с человеческой точностью. Доклад по результатам работы представлен на конференции CHI’23.

Системы распознавания речи на основе мимики человека имеют большой потенциал практического применения. Они могут использоваться не только людьми с нарушениями речи, но и в тех случаях, когда говорить вслух становится невозможно, например, из-за сильного окружающего шума или в социально неприемлемых ситуациях.

Многие существующие технологии распознавания речи по мимике используют в качестве входных данных видеоизображение. Однако для этого необходимо, чтобы перед лицом пользователя постоянно находилась видеокамера, что может быть не всегда удобно и безопасно. Кроме того, в этом случае эффективность распознавания зависит от условий освещения.

Инженеры из Корнельского университета под руководством Чэня Чжана (Cheng Zhang) решили применить вместо видеокамер эхолокацию. Они создали технологию EchoSpeech, которая позволяет бесконтактным образом с помощью ультразвуковых волн отслеживать небольшие движения губ и кожи лица во время шепота. Разработанный прототип устройства представляет собой обычные очки, в нижней части оправы которых

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Гейдельбергский человек из Петралонской пещеры умер не меньше 277 тысяч лет назад Гейдельбергский человек из Петралонской пещеры умер не меньше 277 тысяч лет назад

Как ученые установили датировку древнего черепа из пещеры Петралона

N+1
«Убывающий мир» «Убывающий мир»

Отрывок из книги «Убывающий мир» Алексея Конакова

N+1
Новые гибкие актуаторы позволили колесному роботу трансформироваться в квадрокоптер Новые гибкие актуаторы позволили колесному роботу трансформироваться в квадрокоптер

Инженеры разработали гибкие актуаторы, которые могут плавно деформироваться

N+1
Могут ли собаки обгореть на солнце? Могут ли собаки обгореть на солнце?

Как защитить питомца от солнца и что делать, если собака получила солнечный ожог

ТехИнсайдер
20 легендарных мультфильмов для всех возрастов, которые должен посмотреть каждый хоть раз в жизни 20 легендарных мультфильмов для всех возрастов, которые должен посмотреть каждый хоть раз в жизни

Мультики, которые стоит посмотреть всем вне зависимости от возраста

Правила жизни
Косметический шум: что это такое и почему тебе давно пора от него избавиться Косметический шум: что это такое и почему тебе давно пора от него избавиться

Мы сталкиваемся с косметическим шумом ежедневно

VOICE
Пора вмешаться Пора вмешаться

К каким пластическим хирургам стоит записаться за самым актуальным преображением

Собака.ru
Может ли пупок развязаться? Может ли пупок развязаться?

Зачем человеку пупок и почему все думают, что он может развязаться?

ТехИнсайдер
Поразительные паразиты Поразительные паразиты

Есть в паразитах и своя пугающая красота: они изящно манипулируют хозяевами

ТехИнсайдер
Стройный рацион Стройный рацион

Продукты для похудения. Список, который пригодится на любой диете

Лиза
«Честно признаться, начался ад»: Арсений Бородин рассказал о романе с Настей Ивлеевой «Честно признаться, начался ад»: Арсений Бородин рассказал о романе с Настей Ивлеевой

Певец Арсений Бородин разоткровенничался об отношениях с Настей Ивлеевой

VOICE
Софья Лебедева: «Это и есть самый сок и самая суть — быть собой» Софья Лебедева: «Это и есть самый сок и самая суть — быть собой»

У нас разные бэкграунд, язык и культура, но по сути своей мы все похожи

Караван историй
Узнайте необычные привычки людей с высоким интеллектом! Интересные факты Узнайте необычные привычки людей с высоким интеллектом! Интересные факты

На умственные способности человека влияет множество факторов

ТехИнсайдер
В поисках утраченного: почему мы так мало знаем о греческой поэтессе Сапфо В поисках утраченного: почему мы так мало знаем о греческой поэтессе Сапфо

Отрывок из книги «Каталог утраченных вещей»

Forbes
Алиса Боха Алиса Боха

Как одеть всю страну в оверсайз-худи и сделать коллабы со всеми?

Собака.ru
Принц Чарльз официально стал королем Карлом III: что это значит для нас? Принц Чарльз официально стал королем Карлом III: что это значит для нас?

Почему даже для иностранцев коронация Карла III — важное событие?

Psychologies
Жизнь сов: почему мы любим ночь Жизнь сов: почему мы любим ночь

Чем привлекает нас романтика темного времени суток?

Psychologies
Сергей Горошко. Как полюбить злодеев Сергей Горошко. Как полюбить злодеев

История-шалость от актера Сергея Горошко, который кайфует от чужих эмоций

Maxim
Аккумуляторная независимость Аккумуляторная независимость

TI решил расспросить экспертов о том, какова сейчас ситуация с литием в России

ТехИнсайдер
Что выбор блюд говорит о вашем характере? Что выбор блюд говорит о вашем характере?

Пройдите тест, чтобы узнать, какой вкус преобладает в вашей жизни

Psychologies
Почему гималайская соль считается полезной: правда или миф Почему гималайская соль считается полезной: правда или миф

Стоит ли вам поменять свою соль?

ТехИнсайдер
Топ-6 нейросетей, которые умеют писать тексты Топ-6 нейросетей, которые умеют писать тексты

Рассказываем о лучших нейросетях, с помощью которых можно написать текст

CHIP
«Началось брожение, но работало оно не так, как на Западе» «Началось брожение, но работало оно не так, как на Западе»

Как протестовала советская молодежь, почему в СССР не было студенческих волнений

Weekend
«Убийцы цветочной луны»: Мартин Скорсезе на стороне индейцев и против капитализма «Убийцы цветочной луны»: Мартин Скорсезе на стороне индейцев и против капитализма

Мастер смешивает в истории индейцев вестерн, детектив, триллер и романтику

Forbes
Застольное многоголосье: как традиция грузинского хорового пения возвышает скромную пирушку до шедевра мировой культуры Застольное многоголосье: как традиция грузинского хорового пения возвышает скромную пирушку до шедевра мировой культуры

Запись одной из застольных песен Грузии бороздит просторы Вселенной

Вокруг света
«Сила волчьей стаи» «Сила волчьей стаи»

Реальные истории из жизни диких хищников

N+1
Почему обычно распадаются браки: 4 главные причины — узнайте, как этого не допустить Почему обычно распадаются браки: 4 главные причины — узнайте, как этого не допустить

Причиной разводов чаще всего становятся четыре стандартные проблемы

Psychologies
Штаны из тента для палатки: как джинсы за 150 лет превратились из спецовки в самую популярную одежду в мире Штаны из тента для палатки: как джинсы за 150 лет превратились из спецовки в самую популярную одежду в мире

История брюк, без которых невозможно представить современный гардероб

Вокруг света
«Мне говорили, что снимать таких героев аморально» «Мне говорили, что снимать таких героев аморально»

Алексей Суховей о своем документальном сериале «Сироты»

Weekend
Подвеска евразийки Подвеска евразийки

Как из костяного украшения вытащили ДНК его владелицы

N+1
Открыть в приложении