Очки с эхолокатором распознают слова с 95% точностью с помощью нейросети

N+1Hi-Tech

Очки с эхолокатором научили читать по губам речь хозяина

Они распознают слова с 95-процентной точностью с помощью нейросети

Андрей Фокин

6b8426fcffb23534e2e1f6b38813703e.jpg
Ruidong Zhang et al. / CHI '23: Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems, 2023

Американские инженеры разработали очки, способные распознавать речь по движению губ пользователя. Для этого в оправу очков встроены два миниатюрных эхолокатора, которые получают информацию о малейших движениях губ и кожи лица, а алгоритм машинного обучения предсказывает произнесенные слова и команды почти с человеческой точностью. Доклад по результатам работы представлен на конференции CHI’23.

Системы распознавания речи на основе мимики человека имеют большой потенциал практического применения. Они могут использоваться не только людьми с нарушениями речи, но и в тех случаях, когда говорить вслух становится невозможно, например, из-за сильного окружающего шума или в социально неприемлемых ситуациях.

Многие существующие технологии распознавания речи по мимике используют в качестве входных данных видеоизображение. Однако для этого необходимо, чтобы перед лицом пользователя постоянно находилась видеокамера, что может быть не всегда удобно и безопасно. Кроме того, в этом случае эффективность распознавания зависит от условий освещения.

Инженеры из Корнельского университета под руководством Чэня Чжана (Cheng Zhang) решили применить вместо видеокамер эхолокацию. Они создали технологию EchoSpeech, которая позволяет бесконтактным образом с помощью ультразвуковых волн отслеживать небольшие движения губ и кожи лица во время шепота. Разработанный прототип устройства представляет собой обычные очки, в нижней части оправы которых

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Грудное молоко помешало бактерии вызвать воспаление в кишечнике новорожденного Грудное молоко помешало бактерии вызвать воспаление в кишечнике новорожденного

Как материнское грудное молоко защает ребенка от дисбиоза и воспаления кишечника

N+1
За молоком За молоком

В выходные жена послала меня за молоком в деревню

Вокруг света
Минус вайб Минус вайб

Чем опасно доверять написание кода нейросетям?

N+1
4 недели на исполнение мечты: почему марафоны желаний не работают 4 недели на исполнение мечты: почему марафоны желаний не работают

Почему люди массово верят в чудеса? И почему такие чудеса невозможны?

Psychologies
Интроверты​​​​ Интроверты​​​​

Как использовать особенности своего характера

kiozk originals
Пещерные мурены начали терять зрение по глазу за раз Пещерные мурены начали терять зрение по глазу за раз

У некоторых особей мурен остался только правый глаз

N+1
Как заниматься своими финансами и меньше переживать? Стоит узнать! Как заниматься своими финансами и меньше переживать? Стоит узнать!

Как меньше переживать из-за денег?

ТехИнсайдер
Пять крутых мотоциклетных курток, которые нужны даже тем, у кого нет колес Пять крутых мотоциклетных курток, которые нужны даже тем, у кого нет колес

Легенда о том, что байкеры действуют на девушек гипнотически, иногда работает

Maxim
«Как сказать мужчине, чего мне хочется?»: 3 совета сексолога «Как сказать мужчине, чего мне хочется?»: 3 совета сексолога

Как откровенно разговаривать со своим партнером?

Psychologies
Противоположности притягиваются? Истории любви непохожих друг на друга людей Противоположности притягиваются? Истории любви непохожих друг на друга людей

Действительно ли очень разные люди могут сблизиться и быть вместе?

Psychologies
Народные волнения: что такое геомагнитные бури и как они влияют на нашу жизнь Народные волнения: что такое геомагнитные бури и как они влияют на нашу жизнь

Чем они опасны и как геомагнитные поля влияют на человека

Forbes
Посмотрите на эти удивительные поезда из разных стран! Прокатились бы? Посмотрите на эти удивительные поезда из разных стран! Прокатились бы?

Как путешествуют на поездах жители Германии, Швейцарии, Японии и Австралии

ТехИнсайдер
Деликатная революция Toyota Land Cruiser 300 Деликатная революция Toyota Land Cruiser 300

Инженеры и дизайнеры поменяли во флагманском «Крузере» буквально всё

4x4 Club
Это вам не кино: ученые назвали растение, которое выживет и даст урожай на Марсе Это вам не кино: ученые назвали растение, которое выживет и даст урожай на Марсе

Сценарий выживания, как в фильме «Марсианин», оказался не самым перспективным

Вокруг света
Загуглили! Google Earth помог обнаружить секретные военные лагеря Древнего Рима Загуглили! Google Earth помог обнаружить секретные военные лагеря Древнего Рима

Спомощью спутниковых снимков Google Earth найдены три древнеримских лагеря

ТехИнсайдер
«Честно признаться, начался ад»: Арсений Бородин рассказал о романе с Настей Ивлеевой «Честно признаться, начался ад»: Арсений Бородин рассказал о романе с Настей Ивлеевой

Певец Арсений Бородин разоткровенничался об отношениях с Настей Ивлеевой

VOICE
«Мама пожертвовала собой и привезла меня в Америку»: Мила Йовович опубликовала редкие фото «Мама пожертвовала собой и привезла меня в Америку»: Мила Йовович опубликовала редкие фото

Мила Йовович рассказала, на что решилась ее мать ради будущего дочери

VOICE
Самые вкусные сорта крепкого пива: краткий гид Самые вкусные сорта крепкого пива: краткий гид

Мы предпочитаем смаковать крепкое пиво, наслаждаясь оттенками вкуса

Maxim
На пути к крепкому и здоровому сну: 7 главных причин пробуждений по ночам и как с ними справиться На пути к крепкому и здоровому сну: 7 главных причин пробуждений по ночам и как с ними справиться

Что заставляет нас просыпаться посреди ночи?

ТехИнсайдер
Show must go on Show must go on

У Ивана Чуйкова сбылась главная мечта — у него наконец-то есть свое шоу!

OK!
Эолова яхта Эолова яхта

Этот дизайн-­проект яхты длиной 131 м создан в рамках инициативы Oceanco NXT

Y Magazine
В глубине Тихого океана нашли 4600 неизвестных видов животных. Поразительно! В глубине Тихого океана нашли 4600 неизвестных видов животных. Поразительно!

В зоне Кларион Клиппертон в Тихом океане обнаружено несколько странных существ

ТехИнсайдер
Все чувства в одной тарелке Все чувства в одной тарелке

Почему мы ищем утешение в тарелке и как наладить гармоничные отношения с едой?

Psychologies

Владелец «Гельвеции» — об одной маленькой, но очень активной категории гостей

Правила жизни
В ритме танца В ритме танца

5 простых танцевальных упражнений для подтянутой фигуры

Лиза
Ольга Лапшина: «Обожаю во время работы влюбляться в режиссера» Ольга Лапшина: «Обожаю во время работы влюбляться в режиссера»

Она согласна сыграть даже голос за дверью, если ее зовут друзья...

Караван историй
«Вымогатель живет за мой счет»: Холли Берри выиграла суд за алименты у отца своей дочери «Вымогатель живет за мой счет»: Холли Берри выиграла суд за алименты у отца своей дочери

Холли Берри одержала победу в десятилетней тяжбе с манекенщиком Габриэлем Обри

VOICE
Почему фильм «Убийца “Священный паук”» можно назвать культурным феноменом Почему фильм «Убийца “Священный паук”» можно назвать культурным феноменом

Интересный взгляд эмигранта на родную страну в фильме «Убийца “Священный паук”»

СНОБ
Мелатонин Мелатонин

Мелатонин управляет нашим самочувствием, здоровьем и качеством жизни

Здоровье
Пассажир на гиперзвуке Пассажир на гиперзвуке

Первый в истории самолет, который обещает преодолеть скорость звука на водороде

ТехИнсайдер
Открыть в приложении