Очки с эхолокатором распознают слова с 95% точностью с помощью нейросети

N+1Hi-Tech

Очки с эхолокатором научили читать по губам речь хозяина

Они распознают слова с 95-процентной точностью с помощью нейросети

Андрей Фокин

6b8426fcffb23534e2e1f6b38813703e.jpg
Ruidong Zhang et al. / CHI '23: Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems, 2023

Американские инженеры разработали очки, способные распознавать речь по движению губ пользователя. Для этого в оправу очков встроены два миниатюрных эхолокатора, которые получают информацию о малейших движениях губ и кожи лица, а алгоритм машинного обучения предсказывает произнесенные слова и команды почти с человеческой точностью. Доклад по результатам работы представлен на конференции CHI’23.

Системы распознавания речи на основе мимики человека имеют большой потенциал практического применения. Они могут использоваться не только людьми с нарушениями речи, но и в тех случаях, когда говорить вслух становится невозможно, например, из-за сильного окружающего шума или в социально неприемлемых ситуациях.

Многие существующие технологии распознавания речи по мимике используют в качестве входных данных видеоизображение. Однако для этого необходимо, чтобы перед лицом пользователя постоянно находилась видеокамера, что может быть не всегда удобно и безопасно. Кроме того, в этом случае эффективность распознавания зависит от условий освещения.

Инженеры из Корнельского университета под руководством Чэня Чжана (Cheng Zhang) решили применить вместо видеокамер эхолокацию. Они создали технологию EchoSpeech, которая позволяет бесконтактным образом с помощью ультразвуковых волн отслеживать небольшие движения губ и кожи лица во время шепота. Разработанный прототип устройства представляет собой обычные очки, в нижней части оправы которых

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Миниатюрный орнитоптер стал одноногим прыгуном Миниатюрный орнитоптер стал одноногим прыгуном

Как инженеры создали робота-прыгуна массой меньше грамма

N+1
Заигрывания с историей: почему сериал «Царица Клеопатра» оскорбил Египет Заигрывания с историей: почему сериал «Царица Клеопатра» оскорбил Египет

Почему сериал «Царица Клеопатра» вызвал такую бурную реакцию?

Forbes
Новые гибкие актуаторы позволили колесному роботу трансформироваться в квадрокоптер Новые гибкие актуаторы позволили колесному роботу трансформироваться в квадрокоптер

Инженеры разработали гибкие актуаторы, которые могут плавно деформироваться

N+1
Петербург будущего Петербург будущего

Как из руины вернуть к жизни памятник конструктивизма

Собака.ru
Сменила балет на «Игрушки»: как Агния Барто стала одной из главных детских поэтесс Сменила балет на «Игрушки»: как Агния Барто стала одной из главных детских поэтесс

История Агнии Барто, одной из главных детских поэтесс в России

Forbes
«Бремя современности»: почему общество считает поведенческие зависимости опасными «Бремя современности»: почему общество считает поведенческие зависимости опасными

Почему стигматизация мешает людям с зависимостью справиться с ней

Forbes
Так ли хорош сериал «Укрытие», которым восторгаются все кинокритики? Так ли хорош сериал «Укрытие», которым восторгаются все кинокритики?

Сериал «Укрытие»: чем он всем нравится и что с ним не так?

Maxim
Счастливая Немосква Счастливая Немосква

Роман Мокров: перформансы повседневности

Weekend
Кому и зачем нужны топливные присадки? Кому и зачем нужны топливные присадки?

Правда ли то, что топливные присадки вредят автомобилям?

4x4 Club
Анна Рыжова Анна Рыжова

Путь Анны Рыжовой — образец для комиксиста

Правила жизни
Редкие кенгуровые крысы вернулись на австралийский полуостров Йорк впервые за сто лет Редкие кенгуровые крысы вернулись на австралийский полуостров Йорк впервые за сто лет

Кистехвостые беттонги почти исчезли в Австралии, но обещали вернуться

N+1
Русский Париж: Бунин, Набоков и другие писатели Русский Париж: Бунин, Набоков и другие писатели

Как жили и писали в эмиграции Иван Бунин, Владимир Набоков и другие литераторы

Культура.РФ
Пятница круглое лето Пятница круглое лето

Начало лета похоже на пятницу. Чувством, что всё еще впереди

Новый очаг
Связь не без границ: как операторы компенсируют свои затраты за счет абонентов Связь не без границ: как операторы компенсируют свои затраты за счет абонентов

Участники рынка мобильной связи перекладывают часть затрат на абонентов

Forbes
«К свадьбе готовятся лучше, чем к зачатию»: зачем проходить перинатальный скрининг «К свадьбе готовятся лучше, чем к зачатию»: зачем проходить перинатальный скрининг

Александра Краус о том, зачем строить в Москве гостиницу для беременных

Forbes
Suzuki Vitara и пределы её проходимости Suzuki Vitara и пределы её проходимости

Suzuki Vitara качестве кроссовера хороша не только на асфальте

4x4 Club
7 преимуществ шоколада: почему есть его даже нужно 7 преимуществ шоколада: почему есть его даже нужно

Вы и не догадывались о том, что у шоколада столько плюсов!

ТехИнсайдер
Метеорит упал на жилой дом в США: возможно, это часть кометы Галлея Метеорит упал на жилой дом в США: возможно, это часть кометы Галлея

Космический объект размером с картофелину врезался в крышу американского дома

ТехИнсайдер
«Россия в глобальном конфликте XVIII века» «Россия в глобальном конфликте XVIII века»

Семилетняя война и российское общество

N+1
Не ешь! Они ядовитые Не ешь! Они ядовитые

Нарциссы и еще 7 растений в саду, которые опасны для собак

Лиза
13 лучших комедий эпохи видеокассет 13 лучших комедий эпохи видеокассет

Вспоминаем фильмы, на которых выросли все современные комики

Maxim
Эти хэтчбеки ломаются реже всего. Составлен новый рейтинг Эти хэтчбеки ломаются реже всего. Составлен новый рейтинг

Бюджетные хэтчбеки на вторичном рынке, которые ломаются реже всего

РБК
«Все страхи Бо»: фильм о неврозах и фобиях городского жителя от Ари Астера «Все страхи Бо»: фильм о неврозах и фобиях городского жителя от Ари Астера

Фильм, в котором всевозможные фобии перемешались с бессмысленностью бытия

Forbes
«Я не могу написать свое имя, мне это запрещено»: Кейт Миддлтон не могла дать автографы детям «Я не могу написать свое имя, мне это запрещено»: Кейт Миддлтон не могла дать автографы детям

Кейт Миддлтон допустила редкие откровения о себе и о детях

VOICE
Как носить джинсовку этим летом: 4 крутых способа от стилиста Как носить джинсовку этим летом: 4 крутых способа от стилиста

С чем можно комбинировать джинсовку, чтобы выглядеть неотразимо?

VOICE
«Чувствовала себя не в своей тарелке»: звезда сериала «Клуб» Катя Кабак призналась, почему вернулась из Лондона в Москву «Чувствовала себя не в своей тарелке»: звезда сериала «Клуб» Катя Кабак призналась, почему вернулась из Лондона в Москву

Катя Кабак поняла, что жизнь в стране с другим менталитетом ей не подходит

VOICE
Нью-Йорк уходит под воду! Вот что нужно знать о будущем знаменитого города Нью-Йорк уходит под воду! Вот что нужно знать о будущем знаменитого города

Нью-Йорк буквально тонет, — и все из-за его небоскребов

ТехИнсайдер
Сокращение выбросов дихлорметана поможет сохранить озоновый слой над тропиками Сокращение выбросов дихлорметана поможет сохранить озоновый слой над тропиками

Ученые смоделировали влияние галогенсодержащих веществ на озоновый слой

N+1
5 ситуаций, когда менять работу — плохая идея 5 ситуаций, когда менять работу — плохая идея

Те самые случаи, когда стоит дать вашим отношениям с работой еще один шанс!

Maxim
Искусство жить не напрягаясь: несколько правил французской эффективности Искусство жить не напрягаясь: несколько правил французской эффективности

Отрывок из книги «Французское искусство жить не напрягаясь»

Forbes
Открыть в приложении