Наушники считали выражение лица по форме щек
Американские инженеры создали наушники с функцией распознавания выражения лица. На каждом наушнике есть камера, которая снимает боковую часть лица. Совмещая эти кадры алгоритм машинного обучения восстанавливает модель лица с высокой точностью, а также может распознавать некоторые слова без звука. Статья о разработке будет представлена на конференции UIST 2020.
Распознавание мимики лица используется не только для исследований, но и в повседневных пользовательских задачах. К примеру, в iOS можно использовать аватары Animoji, которые выглядят как персонажи мультфильмов и точно повторяют мимику пользователя. А NVIDIA недавно предложила передавать во время видеозвонков не видеопоток, а лишь карту ключевых точек лица, чтобы затем анимировать фотографию собеседника с ее помощью.
Современные алгоритмы могут весьма точно создавать карту ключевых точек в реальном времени, причем даже на смартфонах. Но для этого алгоритму необходима видеокамера, а значит, в случае со все тем же смартфоном, устройство нужно постоянно держать в руках перед собой, что далеко не всегда удобно. Инженеры под руководством Чэна Чжана (Cheng Zhang) из Корнеллского университета придумали необычный и удобный