Очки с эхолокатором распознают слова с 95% точностью с помощью нейросети

N+1Hi-Tech

Очки с эхолокатором научили читать по губам речь хозяина

Они распознают слова с 95-процентной точностью с помощью нейросети

Андрей Фокин

6b8426fcffb23534e2e1f6b38813703e.jpg
Ruidong Zhang et al. / CHI '23: Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems, 2023

Американские инженеры разработали очки, способные распознавать речь по движению губ пользователя. Для этого в оправу очков встроены два миниатюрных эхолокатора, которые получают информацию о малейших движениях губ и кожи лица, а алгоритм машинного обучения предсказывает произнесенные слова и команды почти с человеческой точностью. Доклад по результатам работы представлен на конференции CHI’23.

Системы распознавания речи на основе мимики человека имеют большой потенциал практического применения. Они могут использоваться не только людьми с нарушениями речи, но и в тех случаях, когда говорить вслух становится невозможно, например, из-за сильного окружающего шума или в социально неприемлемых ситуациях.

Многие существующие технологии распознавания речи по мимике используют в качестве входных данных видеоизображение. Однако для этого необходимо, чтобы перед лицом пользователя постоянно находилась видеокамера, что может быть не всегда удобно и безопасно. Кроме того, в этом случае эффективность распознавания зависит от условий освещения.

Инженеры из Корнельского университета под руководством Чэня Чжана (Cheng Zhang) решили применить вместо видеокамер эхолокацию. Они создали технологию EchoSpeech, которая позволяет бесконтактным образом с помощью ультразвуковых волн отслеживать небольшие движения губ и кожи лица во время шепота. Разработанный прототип устройства представляет собой обычные очки, в нижней части оправы которых

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Матери шимпанзе научили потомков общению Матери шимпанзе научили потомков общению

Этологи обнаружили, что коммуникация шимпанзе формируется под влиянием матери

N+1
Катя Гущина Катя Гущина

Иллюстратор, комиксист, картограф – все это о Кате Гущиной

Правила жизни
Что такое DDoS-атака и как она работает Что такое DDoS-атака и как она работает

Объясняем, что такое DDoS и как оно работает

ТехИнсайдер
Как успеть похудеть к лету без вреда для здоровья: советы нутрициолога Как успеть похудеть к лету без вреда для здоровья: советы нутрициолога

Какие продукты добавить в рацион, чтобы безопасно похудеть?

Psychologies
Вся правда о холестерине Вся правда о холестерине

Что на самом деле вызывает заболевания сердца и сосудов

kiozk originals
Нейросеть на вашем ПК: как установить и пользоваться Stable Diffusion Нейросеть на вашем ПК: как установить и пользоваться Stable Diffusion

Нейросети могут «жить» не только в интернете, но и на вашем компьютере

CHIP
Не объедки, а остатки Не объедки, а остатки

Почему многих из нас пугает мысль об использовании б/у узлов и деталей машин?

Автопилот
Институт благородных девиц: зачем нужны школы с раздельным обучением Институт благородных девиц: зачем нужны школы с раздельным обучением

Разбираемся во всех «за» и «против» по поводу раздельного обучения в школах

Forbes
Зина Портнова: как 15-летняя партизанка убила сотню немецких офицеров и умерла от страшных пыток так никого и не выдав Зина Портнова: как 15-летняя партизанка убила сотню немецких офицеров и умерла от страшных пыток так никого и не выдав

Как пятнадцатилетняя Зина Портнова оказалась в оккупации, но не сдалась

ТехИнсайдер
«Челюсть отвисает от масштаба»: актриса Софья Лебедева о работе c Netfliх и AppleTV+ «Челюсть отвисает от масштаба»: актриса Софья Лебедева о работе c Netfliх и AppleTV+

Актриса Софья Лебедева — о специфике работы с мировыми продакшенами

Forbes
Что делать, если бросила девушка: 9 советов мужчинам Что делать, если бросила девушка: 9 советов мужчинам

Как справиться, когда любимая уходит и эмоции берут верх?

Psychologies
«Оля хайпилась на разводе, меня хотели заснять с любовницей»: Дмитрий Тарасов рассказал, как ушел от Бузовой «Оля хайпилась на разводе, меня хотели заснять с любовницей»: Дмитрий Тарасов рассказал, как ушел от Бузовой

Дмитрий Тарасов заверил, что не изменял Ольге Бузовой с нынешней супругой

VOICE
BMW с мотором поперек. Тест-драйв Changan CS85 Coupe BMW с мотором поперек. Тест-драйв Changan CS85 Coupe

Первый тест и обзор нового китайского кроссовера Changan CS85 Coupe

РБК
Как была устроена армия Древнего Рима: сплошной стройбат и дедовщина Как была устроена армия Древнего Рима: сплошной стройбат и дедовщина

Как был устроен римский легион?

Maxim
Что выбор блюд говорит о вашем характере? Что выбор блюд говорит о вашем характере?

Пройдите тест, чтобы узнать, какой вкус преобладает в вашей жизни

Psychologies
Скандалистки и пай-девочки: самые красивые дочери легендарных футболистов Скандалистки и пай-девочки: самые красивые дочери легендарных футболистов

Как выглядят дочери легендарных футболистов?

VOICE
Посмотрите на самый большой рынок, которым заведуют женщины! Угадаете, где он находится? Посмотрите на самый большой рынок, которым заведуют женщины! Угадаете, где он находится?

Особенный рынок "Има Кейтель" — на нем работают только женщины

ТехИнсайдер
Иммунолог о вспышке птичьего гриппа в Москве Иммунолог о вспышке птичьего гриппа в Москве

Что за болезнь птичий грипп и опасна ли она для человека

СНОБ
Инженеры научили робомедузу переносить предметы Инженеры научили робомедузу переносить предметы

Инженеры разработали робомедузу с актуаторами на жидком диэлектрике

N+1
Привередливость в еде: черта характера, избалованность или расстройство пищевого поведения? Привередливость в еде: черта характера, избалованность или расстройство пищевого поведения?

Как отличить простую привередливость в еде и РПП?

Psychologies
Платье-футболка Платье-футболка

Как носить и с чем сочетать платье-футболку, чтобы не остаться незамеченной

Лиза
Почему женщины ненавидят друг друга: 3 причины Почему женщины ненавидят друг друга: 3 причины

Что побуждает женщин соревноваться друг с другом — даже при хороших отношениях?

Psychologies
Варвара Помидор Варвара Помидор

Варвара Помидор сочетает уникальное чувство цвета и умение работать со стилями

Правила жизни
Судьба «Почтальона» Судьба «Почтальона»

Как роман времен Великой депрессии вдохновил Альбера Камю и покорил Тома Вулфа

Weekend
Окситоцин помог мозгу психопатов распознать испуг на лицах Окситоцин помог мозгу психопатов распознать испуг на лицах

После введения окситоцина мозг психопатов начинает лучше распознавать испуг

N+1
Главные фильмы Канн-2023: новый Скорсезе, драма про Освенцим и дурачества Мишеля Гондри Главные фильмы Канн-2023: новый Скорсезе, драма про Освенцим и дурачества Мишеля Гондри

Главные работы Канн-2023, на которые стоит обратить внимание

Правила жизни
Подвеска евразийки Подвеска евразийки

Как из костяного украшения вытащили ДНК его владелицы

N+1
Однажды маньяк из США держал 14-летнюю девочку 9 месяцев в плену! Но она простила маньяка Однажды маньяк из США держал 14-летнюю девочку 9 месяцев в плену! Но она простила маньяка

В 2013 году Нейт Кибби пригласил школьницу Эбби Эрнандес к себе в машину...

ТехИнсайдер
Марафон несчастий: что делать блогерам, к которым еще не пришли из ФНС Марафон несчастий: что делать блогерам, к которым еще не пришли из ФНС

В ФНС уже создан специальный отдел по проверке российских блогеров

Forbes
В неандертальцах разглядели охотников на водоплавающих птиц В неандертальцах разглядели охотников на водоплавающих птиц

Палеозоологи и археологи исследовали птичьи кости, найденные в Португалии

N+1
Открыть в приложении