Очки с эхолокатором распознают слова с 95% точностью с помощью нейросети

N+1Hi-Tech

Очки с эхолокатором научили читать по губам речь хозяина

Они распознают слова с 95-процентной точностью с помощью нейросети

Андрей Фокин

6b8426fcffb23534e2e1f6b38813703e.jpg
Ruidong Zhang et al. / CHI '23: Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems, 2023

Американские инженеры разработали очки, способные распознавать речь по движению губ пользователя. Для этого в оправу очков встроены два миниатюрных эхолокатора, которые получают информацию о малейших движениях губ и кожи лица, а алгоритм машинного обучения предсказывает произнесенные слова и команды почти с человеческой точностью. Доклад по результатам работы представлен на конференции CHI’23.

Системы распознавания речи на основе мимики человека имеют большой потенциал практического применения. Они могут использоваться не только людьми с нарушениями речи, но и в тех случаях, когда говорить вслух становится невозможно, например, из-за сильного окружающего шума или в социально неприемлемых ситуациях.

Многие существующие технологии распознавания речи по мимике используют в качестве входных данных видеоизображение. Однако для этого необходимо, чтобы перед лицом пользователя постоянно находилась видеокамера, что может быть не всегда удобно и безопасно. Кроме того, в этом случае эффективность распознавания зависит от условий освещения.

Инженеры из Корнельского университета под руководством Чэня Чжана (Cheng Zhang) решили применить вместо видеокамер эхолокацию. Они создали технологию EchoSpeech, которая позволяет бесконтактным образом с помощью ультразвуковых волн отслеживать небольшие движения губ и кожи лица во время шепота. Разработанный прототип устройства представляет собой обычные очки, в нижней части оправы которых

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Кто придумал землю? Путеводитель по геофилософии от Делёза и Деррида до Агамбена и Латура» «Кто придумал землю? Путеводитель по геофилософии от Делёза и Деррида до Агамбена и Латура»

Правильно ли противопоставлять природу и культуру

N+1
30 фактов о женщинах, которые не знают мужчины 30 фактов о женщинах, которые не знают мужчины

С этой секунды все женщины перестанут быть для вас загадкой

Maxim
Как в лучших фильмах: 5 шпионских гаджетов времен холодной войны Как в лучших фильмах: 5 шпионских гаджетов времен холодной войны

Устройства времен холодной войны, которые делали работу шпионов эффективнее

ТехИнсайдер
Аскольд Акишин Аскольд Акишин

Современный российский комикс нельзя представить без Аскольда Акишина

Правила жизни
«Был честен с собой и со своим ремеслом»: каким был путь в искусстве Карла Брюллова «Был честен с собой и со своим ремеслом»: каким был путь в искусстве Карла Брюллова

Каким был путь в искусстве Карла Брюллова и как его показывают в музеях

Forbes
«Муж дал мне по голове»: беременная Милена Дейнега перенесла 9 секунд клинической смерти «Муж дал мне по голове»: беременная Милена Дейнега перенесла 9 секунд клинической смерти

Милена Дейнега призналась, что едва не погибла после семейного скандала

VOICE
Что такое pleasure gap и почему женщины получают меньше удовольствия от секса Что такое pleasure gap и почему женщины получают меньше удовольствия от секса

Почему мы все еще далеки от сокращения pleasure gap в сексе?

Forbes
От «Вестника парижских мод» до «Работницы»: женская пресса в дореволюционной России От «Вестника парижских мод» до «Работницы»: женская пресса в дореволюционной России

Forbes Woman рассказывает об эволюции женских СМИ в России

Forbes
DeepMind разработала робота-футболиста: он умеет бить по мячу и толкать соперника DeepMind разработала робота-футболиста: он умеет бить по мячу и толкать соперника

DeepMind разработала антропоморфных роботов-футболистов

ТехИнсайдер
Марафон несчастий: что делать блогерам, к которым еще не пришли из ФНС Марафон несчастий: что делать блогерам, к которым еще не пришли из ФНС

В ФНС уже создан специальный отдел по проверке российских блогеров

Forbes
«Трава, сухостой, бурелом»: почему регулярно горит Курганская область «Трава, сухостой, бурелом»: почему регулярно горит Курганская область

Почему пожары в Курганской области стали такими масштабными

Forbes
Мозг Мозг

Почему люди подвержены негативным мыслям?

ТехИнсайдер
Пора вмешаться Пора вмешаться

К каким пластическим хирургам стоит записаться за самым актуальным преображением

Собака.ru
Несогласие со смертью: почему у умирающих вся жизнь проносится перед глазами? Несогласие со смертью: почему у умирающих вся жизнь проносится перед глазами?

Что происходит с мозгом сразу после последнего удара сердца

Вокруг света
Палки в колеса Палки в колеса

Истории из жизни мастера спорта по маунтинбайку Ивана Кунаева

Men Today
Из грязи в графини. О фильме открытия Каннского кинофестиваля «Жанна Дюбарри» Из грязи в графини. О фильме открытия Каннского кинофестиваля «Жанна Дюбарри»

О том, почему возвращение Деппа на экран нельзя назвать удачным

СНОБ
Осознать себя Осознать себя

Как сохранить у ребенка активный интерес к жизни и при этом не выгореть самому?

СНОБ
Как распознать детскую травму по поведению человека: 9 признаков Как распознать детскую травму по поведению человека: 9 признаков

Травма детства способна определять привычки и поведение во взрослой жизни

Psychologies
Культурный гид по Владикавказу: что смотреть и куда идти в столице Северной Осетии Культурный гид по Владикавказу: что смотреть и куда идти в столице Северной Осетии

Исследуем столицу Северной Осетии: интересные старые и новые локации

Forbes
Сергей Бурунов: «Я так горжусь, что в нашей стране столько талантливых людей» Сергей Бурунов: «Я так горжусь, что в нашей стране столько талантливых людей»

Один из самых популярных актеров нашего ТВ о своих хобби и работе

Лиза
Удаление небных миндалин оказалось эффективнее медикаментозного лечения хронического тонзиллита Удаление небных миндалин оказалось эффективнее медикаментозного лечения хронического тонзиллита

Лечение хронического тонзиллита помогает снизить риск его системных осложнений

N+1
«Я всегда знала, что нельзя размениваться. И лучше быть одной, чем с тем, кого ты не любишь», — говорила Инна Макарова «Я всегда знала, что нельзя размениваться. И лучше быть одной, чем с тем, кого ты не любишь», — говорила Инна Макарова

Анжелика Пахомова рассказала о том, какой была актриса Инна Макарова

Коллекция. Караван историй
Пластический хирург — о поиске «своего» врача и пациентах-мужчинах Пластический хирург — о поиске «своего» врача и пациентах-мужчинах

Поговорили с Юрием Мирзабекяном о мифах вокруг пластической хирургии

РБК
Коллекционирование, слет каббалистов и дельфинотерапия: как и зачем мы выбираем хобби Коллекционирование, слет каббалистов и дельфинотерапия: как и зачем мы выбираем хобби

Как в нашу жизнь приходят хобби? И почему именно такие? Зачем они нужны?

Psychologies
Эта женщина прожила в 3 веках: ей было 110 лет. Поразительно! Эта женщина прожила в 3 веках: ей было 110 лет. Поразительно!

Первая женщина, которая официально получила титул сверхдолгожителя

ТехИнсайдер
Бразильские зоологи встретили гигантского муравьеда-альбиноса Бразильские зоологи встретили гигантского муравьеда-альбиноса

Зоологи поделились свежими фотографиями гигантского муравьеда-альбиноса

N+1
Пространство для рефлексии о прошлом: как Лидия Лобанова развивает Музей криптографии Пространство для рефлексии о прошлом: как Лидия Лобанова развивает Музей криптографии

Как говорить о современных технологиях и неудобном прошлом с разными возрастами

Forbes
Компрессионный трикотаж: 3 правила правильного выбора Компрессионный трикотаж: 3 правила правильного выбора

Как снизить риски проявления варикоза?

Psychologies
Вылетаем сегодня! Почему мы совершаем незапланированные поездки? Объясняют ученые Вылетаем сегодня! Почему мы совершаем незапланированные поездки? Объясняют ученые

Социологи рассказали, как влияют на нас спонтанные траты

Вокруг света
Слишком много боли: что с ней делать после расставания? Слишком много боли: что с ней делать после расставания?

После несчастной любви как после первого посещения спортзала

VOICE
Открыть в приложении