Что кроется за понятием общения для робота, рассказали инженеры

Популярная механикаHi-Tech

Я слышу голоса: общительный массив для дружелюбного робота

Компания Promobot

Самая главная формула успеха – умение общаться с людьми, любил повторять небезызвестный Теодор Рузвельт. В случае робота эта формула принимает критическое значение, ведь без способности к общению робот превращается в обычный, пусть и высокотехнологичный механизм. Что кроется за понятием общения для робота, рассказали инженеры компании «Промобот» Валерий Титов и Владислав Сазонов. И как выяснилось, пара «микрофон-динамик» здесь устарела ещё в прошлом веке, а найти подходящую «голову» практически невозможно.

Для людей слышать и понимать речь собеседника - обыденное дело. Человек слышит, человек отвечает. Но когда речь заходит о том, чтобы нас услышал и понял не человек, а робот, начинаются проблемы. Общение с роботом может проходить в сложных условиях: множество источников шума, несколько одновременно говорящих с разных сторон людей. Обычные микрофоны могут реагировать даже на речь самого робота.

В своей жизни человек даже не замечает, насколько сложен процесс общения с технической точки зрения. Чтобы научить роботов «Промобота» общаться, нам пришлось найти идеальные уши, рот и главное - научить их правильно работать.

«Хонда» для российского робота

Для идеального слуха роботу требуется две вещи: хорошие уши и надежная голова, способная понять, что же уловили уши. Решением вполне может стать аппаратно-программный комплекс на базе микрофонного массива.

С набором микрофонов всё просто: на корпусе робота их можно разместить там, где требуется. С программным обеспечением всё значительно сложнее. Дело в том, что работая с ушами, голова должна как минимум:

  • вырезать в услышанном речь робота;
  • очистить звук от шума;
  • определить, есть ли в услышанном и очищенном речь;
  • определить источник речи;
  • сформировать луч (по английски эта процедура называется beamforming), чтобы усилить исходный звуковой сигнал от источника;
  • распознать речь в звуковой дорожке после всех манипуляций.

Как правило, последний шаг выносится за пределы зоны ответственности микрофонного массива.

2d8e8f77f8d368eb6c00e2cffae50b93.jpg

Готовых решений на мировом рынке оказалось не так много. Наиболее перспективной нам показалась совместная разработка Японского исследовательского института Хонды и Киотского университета под названием HARK (Honda research institute Japan Audition for Robots with Kyoto university).

fcbb8549de0635ab33b54e956020e205.jpg

HARK изначально проектировалась для роботов, работающих в антропоморфной среде, где требуется услышать и разобрать команды от человека. Это ПО с открытым кодом можно было связать с Robot Operating System (ROS), процесс обработки звука с микрофонов легко настраивался. Дополнительным преимуществом стала заявленная возможность одновременного определения нескольких источников звука. Казалось, это то, что нам нужно! Японцы настолько очаровали нас своей разработкой, что мы скоропостижно перестали искать альтернативу.

Смертельные миллиметры звука

Для первых тестов в 2014 году мы использовали микрофонный массив RASP LC на 8 микрофонах. Четыре располагались на центральной части груди корпуса робота, вокруг экрана; три - на верхней части груди, ближе к шее; и один - сзади по центру, у основания шеи. Уже после первого теста мы выявили две проблемы критического уровня: вибрация и сложность расчётов.

89dca29813daca49524d1349e942bcec.jpg

Дело в том, что робот сам по себе – это механизм с огромным количеством движущихся деталей. И каждое движение создавало так называемые наводки на микрофон – фоновый шум, требующий постоянного анализа.

Вторая проблема заключалась в обработке полученных аудиоданных. Разработчики HARK заложили два принципиально разных подхода аналитики аудиопотоков. Первый назван геометрическим и сводится к точному (до десятых долей миллиметра) описанию расположения микрофонов в пространстве с учетом их направлений. Второй, без специального названия, опирается на калибровочную модель. Её создают путем многократной записи через массив одной и той же записи с разных точек пространства вокруг массива.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Отправить 10000 сообщений и не сойти с ума: зачем компаниям нужен чат-бот Отправить 10000 сообщений и не сойти с ума: зачем компаниям нужен чат-бот

Сегодня социальные сети - основной инструмент коммуникации

Популярная механика
Волонтёрство: когда это необходимо Волонтёрство: когда это необходимо

Волонтёрством сегодня занимается всё больше людей. Это делает их счастливее

Здоровье
Минус вайб Минус вайб

Чем опасно доверять написание кода нейросетям?

N+1
В древнеегипетском городе Буто нашли коллекцию ритуальных предметов VII–VI веков до нашей эры В древнеегипетском городе Буто нашли коллекцию ритуальных предметов VII–VI веков до нашей эры

Археологи обнаружили предметы, связанные с культом богини Хатхор

N+1
«Это просто лютеиновая фаза»: как на самочувствие женщин влияет менструальный цикл «Это просто лютеиновая фаза»: как на самочувствие женщин влияет менструальный цикл

Что на самом деле происходит с женским организмом во время цикла?

Forbes
Во сто карат: как бриллиант стал символом помолвок и надежной инвестицией Во сто карат: как бриллиант стал символом помолвок и надежной инвестицией

Бриллианты не то, чем вам кажутся

Esquire
Котик или зая? Узнай значение своего прозвища и что оно говорит о вашей любви Котик или зая? Узнай значение своего прозвища и что оно говорит о вашей любви

Ласковые прозвища возникают не просто так

VOICE
«Роскосмос» круче Илона Маска. Объясняем почему «Роскосмос» круче Илона Маска. Объясняем почему

Запомните этот твит: «Роскосмос» жив. «Роскосмос» круче Илона Маска

Inc.
«Красотка»,«Друзья»,«Мулен Руж!»: какими бы получись дети у культовых кинопар «Красотка»,«Друзья»,«Мулен Руж!»: какими бы получись дети у культовых кинопар

Мы немного пофантазировали на тему совместного будущего пар из любимых фильмов

Cosmopolitan
Актер. Иван Янковский Актер. Иван Янковский

Как внук Олега Янковского на глазах превращается в актера Ивана Янковского

GQ
Родила пятерых – и такая фигура! Самые откровенные образы Натальи Водяновой Родила пятерых – и такая фигура! Самые откровенные образы Натальи Водяновой

Наталья Водянова мало изменилась с юности и позволяет себе провокационные образы

VOICE
Гештальт-терапия: что это? Гештальт-терапия: что это?

Если взять на себя ответственность за свою жизнь, можно решить многие проблемы

Cosmopolitan
Настоящие гиганты: 23 самых больших животных в мире (угадай, кто самый огромный) Настоящие гиганты: 23 самых больших животных в мире (угадай, кто самый огромный)

Список самых длинных и тяжелых обитателей суши и морей

Playboy
Дипфейк: будущее порно — будущее интернета Дипфейк: будущее порно — будущее интернета

Искусственный интеллект меняет секс-индустрию — и не в лучшую сторону

СНОБ
Как стилист Зендеи и Селин Дион стал звездой Венецианского кинофестиваля Как стилист Зендеи и Селин Дион стал звездой Венецианского кинофестиваля

Что нужно знать о сером кардинале красных дорожек Лоу Роуче

РБК
Слышат ли нас растения Слышат ли нас растения

Полезны ли разговоры с растениями?

Популярная механика
Потеряла 25 кг и мужа: как кетодиета разрушила мой брак Потеряла 25 кг и мужа: как кетодиета разрушила мой брак

Не все ожидают, что соблюдение диеты спровоцирует разрыв длительных отношений

Cosmopolitan
Дом искусства Дом искусства

Исторический палаццо во Флоренции, наполненный предметами искусства

SALON-Interior
OMAD-диета: что надо знать об экстремальном варианте интервального голодания OMAD-диета: что надо знать об экстремальном варианте интервального голодания

Что такое OMAD-диета, на которой нужно есть всего один раз в день

Cosmopolitan
Кольцо просвещения: зачем России начинают строить крупнейшую рентгеновскую установку Кольцо просвещения: зачем России начинают строить крупнейшую рентгеновскую установку

СКИФ — источник рентгеновских лучей, обещает стать основой для новых открытий

Forbes
Что нам нужно знать о повседневных психических расстройствах? Что нам нужно знать о повседневных психических расстройствах?

Книга о психике и ее заболеваниях

Psychologies
Очевидное невероятное: сквирт, струйный оргазм и женская простата Очевидное невероятное: сквирт, струйный оргазм и женская простата

Почему женский организм до сих пор до конца не изучен

СНОБ
Холодные молекулы в трехмерном газе защитили с помощью электрического поля Холодные молекулы в трехмерном газе защитили с помощью электрического поля

Изучение квантовых газов открывает дорогу к наблюдению необычных эффектов

N+1
Что мешает вам выучить английский Что мешает вам выучить английский

Редко кому нравилось изучать английский язык в школе

Популярная механика
Обманщица, эгоистка, истеричка: главные недостатки твоего знака зодиака Обманщица, эгоистка, истеричка: главные недостатки твоего знака зодиака

Ты могла бы распознать свой самый большой недостаток и исправить его?

Cosmopolitan
Чего не стоит делать, если вам изменяют Чего не стоит делать, если вам изменяют

Вещи, которые точно не стоит делать, узнав об измене партнера

Psychologies
Прививка от прыщей: неужели это реальность? Прививка от прыщей: неужели это реальность?

Дерматологи разработали вакцину, которая решит все кожные проблемы

Cosmopolitan
Ирина Апексимова. Живу как хочу Ирина Апексимова. Живу как хочу

Ирина Апексимова — о работе в театре и критике

Коллекция. Караван историй
Британский авианосец Queen Elisabeth: королева глобальной политики Британский авианосец Queen Elisabeth: королева глобальной политики

Авианосец Queen Elisabeth — самый большой в британской истории боевой корабль

Популярная механика
Как говорить с мастером, чтобы получить идеальную стрижку: советы экспертов Как говорить с мастером, чтобы получить идеальную стрижку: советы экспертов

Как вести себя в салоне, который ты посещаешь впервые?

Cosmopolitan
Открыть в приложении