Очки с эхолокатором распознают слова с 95% точностью с помощью нейросети

N+1Hi-Tech

Очки с эхолокатором научили читать по губам речь хозяина

Они распознают слова с 95-процентной точностью с помощью нейросети

Андрей Фокин

6b8426fcffb23534e2e1f6b38813703e.jpg
Ruidong Zhang et al. / CHI '23: Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems, 2023

Американские инженеры разработали очки, способные распознавать речь по движению губ пользователя. Для этого в оправу очков встроены два миниатюрных эхолокатора, которые получают информацию о малейших движениях губ и кожи лица, а алгоритм машинного обучения предсказывает произнесенные слова и команды почти с человеческой точностью. Доклад по результатам работы представлен на конференции CHI’23.

Системы распознавания речи на основе мимики человека имеют большой потенциал практического применения. Они могут использоваться не только людьми с нарушениями речи, но и в тех случаях, когда говорить вслух становится невозможно, например, из-за сильного окружающего шума или в социально неприемлемых ситуациях.

Многие существующие технологии распознавания речи по мимике используют в качестве входных данных видеоизображение. Однако для этого необходимо, чтобы перед лицом пользователя постоянно находилась видеокамера, что может быть не всегда удобно и безопасно. Кроме того, в этом случае эффективность распознавания зависит от условий освещения.

Инженеры из Корнельского университета под руководством Чэня Чжана (Cheng Zhang) решили применить вместо видеокамер эхолокацию. Они создали технологию EchoSpeech, которая позволяет бесконтактным образом с помощью ультразвуковых волн отслеживать небольшие движения губ и кожи лица во время шепота. Разработанный прототип устройства представляет собой обычные очки, в нижней части оправы которых

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Оригами-робота научили прижимать ноги и ходить по-крабьи Оригами-робота научили прижимать ноги и ходить по-крабьи

Инженер из Германии разработал четвероногого оригами-робота Fold Walker

N+1
Сплести свою жизнь заново Сплести свою жизнь заново

О сложностях исцеления от длительного травматического опыта

Psychologies
Робопчелу научили садиться по-комарьи Робопчелу научили садиться по-комарьи

Инженеры разработали шасси для миниатюрного орнитоптера RoboBee

N+1
«Это было прекрасное путешествие»: какими были жизнь и карьера Тины Тернер «Это было прекрасное путешествие»: какими были жизнь и карьера Тины Тернер

Когершын Сагиева вспоминает личную историю Тины Тернер

Forbes
Как сахар влияет на клеточное старение и разрушает коллаген: данные исследований Как сахар влияет на клеточное старение и разрушает коллаген: данные исследований

Почему сахар провоцирует воспаления клеток?

ТехИнсайдер
Король на Aston Martin. Какие автомобили любит новый британский монарх Король на Aston Martin. Какие автомобили любит новый британский монарх

Как и его покойная мать Елизавета II, Карл III известен любовью к автомобилям

РБК
Не имей сто рублей, а имей сто друзей и будь здоров: 7 причин, почему дружба так важна Не имей сто рублей, а имей сто друзей и будь здоров: 7 причин, почему дружба так важна

Зачем вообще нужны друзья?

ТехИнсайдер
Анна Рыжова Анна Рыжова

Путь Анны Рыжовой — образец для комиксиста

Правила жизни
Томмазо Спадолини Томмазо Спадолини

Видение мира, в котором мы живем, отражается на наших проектах

Y Magazine
Радиошум земных вышек мобильной связи оказался недоступен для обнаружения с ближайших звезд Радиошум земных вышек мобильной связи оказался недоступен для обнаружения с ближайших звезд

Утечка излучения от вышек мобильной связи на Земле не может быть обнаружена

N+1
$155 млн за драгоценности: как Хайди Хортен побила рекорд Элизабет Тейлор $155 млн за драгоценности: как Хайди Хортен побила рекорд Элизабет Тейлор

Как Хайди Хортен удалось собрать уникальную коллекцию драгоценностей

Forbes
Ультратонкая электронная татуировка помогает выявить проблемы с сердцем и сосудами Ультратонкая электронная татуировка помогает выявить проблемы с сердцем и сосудами

Новые способы диагностики сердечно-сосудистых заболеваний приветствуются всегда

ТехИнсайдер
Ненормированный график и мозоли на теле: как устроен модельный бизнес в Китае Ненормированный график и мозоли на теле: как устроен модельный бизнес в Китае

Труд модели в Китае хорошо оплачивается, но условия работы сильно отличаются

Forbes
Аккумуляторная независимость Аккумуляторная независимость

TI решил расспросить экспертов о том, какова сейчас ситуация с литием в России

ТехИнсайдер
Эрнст Тельман: списан в архив Эрнст Тельман: списан в архив

История немецкого коммуниста Эрнста Тельмана

Дилетант
Отечественные фильмы, получившие самые престижные награды за границей Отечественные фильмы, получившие самые престижные награды за границей

Оскар и Канны были отнюдь не равнодушные к фильмам из СССР

Maxim
Каково это — быть мазохистом: откровения хозяйки секретного места встреч Каково это — быть мазохистом: откровения хозяйки секретного места встреч

Что заставляет людей отправляться в специальные клубы, где над ними издеваются?

Psychologies
Острые психические расстройства: каковы факторы риска Острые психические расстройства: каковы факторы риска

Обстоятельства, которые могут увеличить вероятность психических заболеваний

Psychologies
В неолитической керамике из Италии нашли остатки мака и оливкового масла В неолитической керамике из Италии нашли остатки мака и оливкового масла

Ученые исследовали остатки содержимого в керамических изделиях эпохи неолита

N+1
Три десятилетия московской архитектуры: от капромантизма к будущему Три десятилетия московской архитектуры: от капромантизма к будущему

Разбираемся, что появилось в Москве в эпоху стихийной застройки

РБК
Почему скорпионы светятся в темноте? Почему скорпионы светятся в темноте?

Скорпионы светятся в темноте и при ультрафиолетовом освещении! Зачем?

ТехИнсайдер
Летописная полифония Летописная полифония

Виктория Ломаско: репортажи социальной справедливости

Weekend
Как отбелить белые вещи с помощью подручных средств: 8 рабочих способов Как отбелить белые вещи с помощью подручных средств: 8 рабочих способов

Как придать одежде белоснежный вид без использования отбеливателя

ТехИнсайдер
Саудовская Аравия платит спортсменам миллионы и меняет правила игры Саудовская Аравия платит спортсменам миллионы и меняет правила игры

Щедрые участники рынка футбола могут уничтожать конкуренцию

Forbes
Двойники Двойники

Почему под разными брендами встречаются такие похожие модели

Автопилот
Романтические маршруты Романтические маршруты

Топ-5 мест для путешествия с любимым

Лиза
Пугающие, но притягательные: 10 самых атмосферных заброшенных объектов России Пугающие, но притягательные: 10 самых атмосферных заброшенных объектов России

Подборка атмосферных заброшенных объектов по всей России

Вокруг света
Чемоданное настроение: 10 лайфхаков, чтобы собрать чемодан в поездку за полчаса Чемоданное настроение: 10 лайфхаков, чтобы собрать чемодан в поездку за полчаса

Скоро в отпуск? Как собрать чемоданы, рассказывает дизайнер Виктория Ирбаиева

VOICE
Как открыть свое сердце: советы Илсе Санд Как открыть свое сердце: советы Илсе Санд

Почему мы находим тысячу аргументов, чтобы не сокращать дистанцию?

Psychologies
«Когда началась война, дедушке было 15 лет»: воспоминания о Великой Отечественной войне «Когда началась война, дедушке было 15 лет»: воспоминания о Великой Отечественной войне

Истории старшего поколения — о страшном опыте жизни в период ВОВ

Psychologies
Открыть в приложении