Очки с эхолокатором распознают слова с 95% точностью с помощью нейросети

N+1Hi-Tech

Очки с эхолокатором научили читать по губам речь хозяина

Они распознают слова с 95-процентной точностью с помощью нейросети

Андрей Фокин

6b8426fcffb23534e2e1f6b38813703e.jpg
Ruidong Zhang et al. / CHI '23: Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems, 2023

Американские инженеры разработали очки, способные распознавать речь по движению губ пользователя. Для этого в оправу очков встроены два миниатюрных эхолокатора, которые получают информацию о малейших движениях губ и кожи лица, а алгоритм машинного обучения предсказывает произнесенные слова и команды почти с человеческой точностью. Доклад по результатам работы представлен на конференции CHI’23.

Системы распознавания речи на основе мимики человека имеют большой потенциал практического применения. Они могут использоваться не только людьми с нарушениями речи, но и в тех случаях, когда говорить вслух становится невозможно, например, из-за сильного окружающего шума или в социально неприемлемых ситуациях.

Многие существующие технологии распознавания речи по мимике используют в качестве входных данных видеоизображение. Однако для этого необходимо, чтобы перед лицом пользователя постоянно находилась видеокамера, что может быть не всегда удобно и безопасно. Кроме того, в этом случае эффективность распознавания зависит от условий освещения.

Инженеры из Корнельского университета под руководством Чэня Чжана (Cheng Zhang) решили применить вместо видеокамер эхолокацию. Они создали технологию EchoSpeech, которая позволяет бесконтактным образом с помощью ультразвуковых волн отслеживать небольшие движения губ и кожи лица во время шепота. Разработанный прототип устройства представляет собой обычные очки, в нижней части оправы которых

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Слон во Вселенной. 100 лет в поисках темной материи» «Слон во Вселенной. 100 лет в поисках темной материи»

Как дисковые галактики сохраняют устойчивость

N+1
Зоопарки России Зоопарки России

К Дню защиты детей сделали подборку лучших зоологических садов

Лиза
Как искусственный интеллект меняет бьюти-индустрию Как искусственный интеллект меняет бьюти-индустрию

Как технологии ИИ ежедневно помогают бьюти-мастерам в работе?

Inc.
Язык любовных прелюдий Язык любовных прелюдий

Предварительные ласки нужны только женщинам, а мужчины без них могут обойтись?

Psychologies
Первая минута Первая минута

Как заставить начало разговора работать на результат

kiozk originals
Тайна завещания Леонида Быкова Тайна завещания Леонида Быкова

Воспоминания Глеба Скороходова о Леониде Быкове

Коллекция. Караван историй
Мозг Мозг

Почему люди подвержены негативным мыслям?

ТехИнсайдер
Великий грааль Антарктиды: как российские ученые пытаются проникнуть в тайны подледного озера Восток Великий грааль Антарктиды: как российские ученые пытаются проникнуть в тайны подледного озера Восток

Существует ли жизнь в озере Восток?

Вокруг света
Эта женщина прожила в 3 веках: ей было 110 лет. Поразительно! Эта женщина прожила в 3 веках: ей было 110 лет. Поразительно!

Первая женщина, которая официально получила титул сверхдолгожителя

ТехИнсайдер
Зачем на крыши автомобилей устанавливали огромные мешки? Зачем на крыши автомобилей устанавливали огромные мешки?

Огромные мешки на верхних багажниках автомобилей — топливные баки

Maxim
8 продуктов, которые не дадут заснуть, если вы съедите их вечером 8 продуктов, которые не дадут заснуть, если вы съедите их вечером

Список продуктов, которые нужно исключить из своего ночного меню

Psychologies
Лучший попутчик. Правила путешествия с собакой Лучший попутчик. Правила путешествия с собакой

Для собаки путешествие – это новый мир!

4x4 Club
Николай Фоменко: самые смешные правила жизни Николай Фоменко: самые смешные правила жизни

Фантастической энергии человек Николай Фоменко

Maxim
Лучшие аудиокниги для больших и маленьких путешествий Лучшие аудиокниги для больших и маленьких путешествий

Хорошая аудиокнига скрасит как поездку на дачу, так и дальнее странствие

Maxim
Вот почему город Кито стал первым в списке наследия ЮНЕСКО. Стоит узнать! Вот почему город Кито стал первым в списке наследия ЮНЕСКО. Стоит узнать!

В списке ЮНЕСКО столица Эквадора оказалась не просто так

ТехИнсайдер
Активный образ жизни обезболил людей Активный образ жизни обезболил людей

Тест выявил анальгетическое действие повседневной физической активности

N+1
Из маминой тени в леди-независимость: как менялся стиль Дакоты Джонсон - и чего ей это стоило Из маминой тени в леди-независимость: как менялся стиль Дакоты Джонсон - и чего ей это стоило

Вместе с профессиональным становлением Дакоты её стиль претерпевал изменения

VOICE
Слайд-шоу Слайд-шоу

Космические корабли, инновационные мотоциклы и складные дома

ТехИнсайдер
Почему гималайская соль считается полезной: правда или миф Почему гималайская соль считается полезной: правда или миф

Стоит ли вам поменять свою соль?

ТехИнсайдер
Власть женщин: правда и мифы о матриархате Власть женщин: правда и мифы о матриархате

Откуда взялся миф о матриархате и какие задачи могут решать современные женщины

Psychologies
За молоком За молоком

В выходные жена послала меня за молоком в деревню

Вокруг света
«Старость в радость» и «Память поколений»: кто помогает ветеранам и пожилым людям «Старость в радость» и «Память поколений»: кто помогает ветеранам и пожилым людям

Фонды и полезные инициативы, которые помогают ветеранам и пожилым людям

Forbes
Ради экономии! В США сварили пиво из использованной в душе воды. Попробуете? Ради экономии! В США сварили пиво из использованной в душе воды. Попробуете?

Оказывается, что сточные воды — это еще одна вещь для ресайклинга

ТехИнсайдер
«Энергетические вампиры»: как от них защититься? «Энергетические вампиры»: как от них защититься?

Существуют люди, которые будто высасывают из нас радость. Откуда они берутся?

VOICE
Отпускной набор Отпускной набор

Возможно ли не набирать вес даже в отеле «всё включено»?

Новый очаг
Как правильно оплатить парковку в Москве и обойтись без штрафов. Советы Как правильно оплатить парковку в Москве и обойтись без штрафов. Советы

Как работают платные парковки в Москве, какие есть способы оплаты и льготы

РБК
«Миссис Дэвис»: фантастический сериал про борьбу монахини с искусственным интеллектом «Миссис Дэвис»: фантастический сериал про борьбу монахини с искусственным интеллектом

Каким получился сериал «Миссис Дэвис»

Forbes
Вам одиноко? Ученые нашли связь между использованием YouTube и повышенным одиночеством Вам одиноко? Ученые нашли связь между использованием YouTube и повышенным одиночеством

Исследователи обнаружили связь между YouTube и повышенным уровнем одиночества

ТехИнсайдер
Можно ли «отмотать назад» свой возраст? Да, говорят генетики, и вот как стать новым Дорианом Греем Можно ли «отмотать назад» свой возраст? Да, говорят генетики, и вот как стать новым Дорианом Греем

Ученые показали, как повернуть вспять ход собственных биологических часов

Вокруг света
Outlook: как настроить автоответчик на время отпуска? Outlook: как настроить автоответчик на время отпуска?

Настраиваем автоответ на входящие сообщения в Microsoft Outlook

CHIP
Открыть в приложении