Что кроется за понятием общения для робота, рассказали инженеры

Популярная механикаHi-Tech

Я слышу голоса: общительный массив для дружелюбного робота

Компания Promobot

Самая главная формула успеха – умение общаться с людьми, любил повторять небезызвестный Теодор Рузвельт. В случае робота эта формула принимает критическое значение, ведь без способности к общению робот превращается в обычный, пусть и высокотехнологичный механизм. Что кроется за понятием общения для робота, рассказали инженеры компании «Промобот» Валерий Титов и Владислав Сазонов. И как выяснилось, пара «микрофон-динамик» здесь устарела ещё в прошлом веке, а найти подходящую «голову» практически невозможно.

Для людей слышать и понимать речь собеседника - обыденное дело. Человек слышит, человек отвечает. Но когда речь заходит о том, чтобы нас услышал и понял не человек, а робот, начинаются проблемы. Общение с роботом может проходить в сложных условиях: множество источников шума, несколько одновременно говорящих с разных сторон людей. Обычные микрофоны могут реагировать даже на речь самого робота.

В своей жизни человек даже не замечает, насколько сложен процесс общения с технической точки зрения. Чтобы научить роботов «Промобота» общаться, нам пришлось найти идеальные уши, рот и главное - научить их правильно работать.

«Хонда» для российского робота

Для идеального слуха роботу требуется две вещи: хорошие уши и надежная голова, способная понять, что же уловили уши. Решением вполне может стать аппаратно-программный комплекс на базе микрофонного массива.

С набором микрофонов всё просто: на корпусе робота их можно разместить там, где требуется. С программным обеспечением всё значительно сложнее. Дело в том, что работая с ушами, голова должна как минимум:

  • вырезать в услышанном речь робота;
  • очистить звук от шума;
  • определить, есть ли в услышанном и очищенном речь;
  • определить источник речи;
  • сформировать луч (по английски эта процедура называется beamforming), чтобы усилить исходный звуковой сигнал от источника;
  • распознать речь в звуковой дорожке после всех манипуляций.

Как правило, последний шаг выносится за пределы зоны ответственности микрофонного массива.

2d8e8f77f8d368eb6c00e2cffae50b93.jpg

Готовых решений на мировом рынке оказалось не так много. Наиболее перспективной нам показалась совместная разработка Японского исследовательского института Хонды и Киотского университета под названием HARK (Honda research institute Japan Audition for Robots with Kyoto university).

fcbb8549de0635ab33b54e956020e205.jpg

HARK изначально проектировалась для роботов, работающих в антропоморфной среде, где требуется услышать и разобрать команды от человека. Это ПО с открытым кодом можно было связать с Robot Operating System (ROS), процесс обработки звука с микрофонов легко настраивался. Дополнительным преимуществом стала заявленная возможность одновременного определения нескольких источников звука. Казалось, это то, что нам нужно! Японцы настолько очаровали нас своей разработкой, что мы скоропостижно перестали искать альтернативу.

Смертельные миллиметры звука

Для первых тестов в 2014 году мы использовали микрофонный массив RASP LC на 8 микрофонах. Четыре располагались на центральной части груди корпуса робота, вокруг экрана; три - на верхней части груди, ближе к шее; и один - сзади по центру, у основания шеи. Уже после первого теста мы выявили две проблемы критического уровня: вибрация и сложность расчётов.

89dca29813daca49524d1349e942bcec.jpg

Дело в том, что робот сам по себе – это механизм с огромным количеством движущихся деталей. И каждое движение создавало так называемые наводки на микрофон – фоновый шум, требующий постоянного анализа.

Вторая проблема заключалась в обработке полученных аудиоданных. Разработчики HARK заложили два принципиально разных подхода аналитики аудиопотоков. Первый назван геометрическим и сводится к точному (до десятых долей миллиметра) описанию расположения микрофонов в пространстве с учетом их направлений. Второй, без специального названия, опирается на калибровочную модель. Её создают путем многократной записи через массив одной и той же записи с разных точек пространства вокруг массива.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

3 отличных продукта для того, чтобы сбросить лишний вес 3 отличных продукта для того, чтобы сбросить лишний вес

Внимательно присмотритесь к тому, что именно кладете в тарелку каждый день

Популярная механика
Путь семьи Тоёда Путь семьи Тоёда

Как Toyota дошла до вершины мирового автомобилестроения

Forbes
ИИ на страже безопасности: смогут ли нейросети бороться с хакерами ИИ на страже безопасности: смогут ли нейросети бороться с хакерами

Кто победит в этой схватке алгоритмов — защитники или взломщики?

ТехИнсайдер
Такое дело Такое дело

Бруно Павловски — об уроках пандемии, важности социальной позиции

Harper's Bazaar
«Дикое» государство: 7 фактов о жизни на Аляске «Дикое» государство: 7 фактов о жизни на Аляске

Вечная мерзлота, действующие вулканы, множество диких животных — все это Аляска

ТехИнсайдер
Калина красная: как и зачем есть горькие ягоды Калина красная: как и зачем есть горькие ягоды

Какими полезными свойствами обладает калина и почему ее стоит попробовать

РБК
Все о «Геликах»: обзор версий Mercedes G-Class с ценами Все о «Геликах»: обзор версий Mercedes G-Class с ценами

Все, что вы хотели знать о ценах на «Гелики»

РБК
Napster, LimeWire и другие: пиратские сервисы из начала 2000-х, которые сделали музыку доступной Napster, LimeWire и другие: пиратские сервисы из начала 2000-х, которые сделали музыку доступной

Какие были популярные пиратские сервисы 2000-х и как они работали

VC.RU
Экспертиза и реальность: почему от рейтинга Doing Business давно стоило отказаться Экспертиза и реальность: почему от рейтинга Doing Business давно стоило отказаться

Рейтинг Doing Business превратился в KPI для чиновников

Forbes
Besame mucho! 10 самых красивых испанских актеров — они сводят с ума весь мир Besame mucho! 10 самых красивых испанских актеров — они сводят с ума весь мир

Яркую во всех смыслах подборку испанских актеров

Cosmopolitan
5 стадий разрыва отношений 5 стадий разрыва отношений

Расставание с партнером — это всегда непросто

Psychologies
6 советов, которые помогут продать спорный продукт 6 советов, которые помогут продать спорный продукт

Как рассказать о новом продукте, не утратив доверие аудитории?

Inc.
Могучий БелАЗ-75710: грузоподъемность 450 тонн Могучий БелАЗ-75710: грузоподъемность 450 тонн

Осенью 2013 года легендарный БелАЗ в очередной раз заставил о себе говорить

Популярная механика
Израильские археологи раскопали в Рамат-ха-Шароне древности византийской и исламской эпох Израильские археологи раскопали в Рамат-ха-Шароне древности византийской и исламской эпох

Археологи раскопали древности византийского и исламского периодов

N+1
«Белые хакеры» нашли сервис массовой разблокировки iPhone — он собирает пароли и «отвязывает» технику от iCloud «Белые хакеры» нашли сервис массовой разблокировки iPhone — он собирает пароли и «отвязывает» технику от iCloud

Как мошенники взламывают краденные iPhone?

VC.RU
Археологи раскопали в скифской «Долине царей» бронзовую корону Археологи раскопали в скифской «Долине царей» бронзовую корону

В Тыве завершили полевой сезон работ на кургане Туннуг–1

N+1
От почтовых голубей до смарт-часов: как развивалась связь От почтовых голубей до смарт-часов: как развивалась связь

Как начиналась история связи?

Популярная механика
Почему у человечества до сих пор нет космического лифта Почему у человечества до сих пор нет космического лифта

Космический лифт мог бы снизить стоимость запуска и обезопасить пассажиров

Популярная механика
Почему мы не радуемся в счастливые моменты жизни Почему мы не радуемся в счастливые моменты жизни

Бывает, вместо радости в торжественный момент мы чувствуем стресс?

Psychologies
Обыкновенный садизм Обыкновенный садизм

Михаил Трофименков о сочувствии к палачам в «Холодном расчете» Пола Шрейдера

Weekend
«Я стала больше прислушиваться к себе и своим желаниям» «Я стала больше прислушиваться к себе и своим желаниям»

Альбина Джанабаева — о материнстве, семейной жизни и эмоциях

OK!
В новом цвете В новом цвете

5 простых способов креативного окрашивания стен

Лиза
Ирбитский блюз: история легендарного советского мотоцикла «Урал» Ирбитский блюз: история легендарного советского мотоцикла «Урал»

«Урал» — пожалуй, главное имя советского мотопрома

Вокруг света
Факты и правда о фильмах «Брат» и «Брат-2» Факты и правда о фильмах «Брат» и «Брат-2»

Изнанка фильмов «Брат» и «Брат-2»

Maxim
Лионель Месси Лионель Месси

Лионель Месси сегодня на пике формы и уже точно войдет в историю футбола

Maxim
«Я приму внебрачных детей бывшего мужа»: Анфиса Чехова рассказала о личной жизни «Я приму внебрачных детей бывшего мужа»: Анфиса Чехова рассказала о личной жизни

Анфиса Чехова рассказала об отношениях с мужчинами

Cosmopolitan
«Знай: я люблю тебя всегда»: последние слова жертв теракта 11 сентября 2001-го «Знай: я люблю тебя всегда»: последние слова жертв теракта 11 сентября 2001-го

Линия 11.09.2001: слова погибших, которые пытались попрощаться с близкими

Cosmopolitan
Три шага, которые помогают Илону Маску мотивировать команды на достижение невозможного Три шага, которые помогают Илону Маску мотивировать команды на достижение невозможного

Как Илон Маск убеждает своих сотрудников, что нет ничего невозможного

Inc.
Волонтёрство: когда это необходимо Волонтёрство: когда это необходимо

Волонтёрством сегодня занимается всё больше людей. Это делает их счастливее

Здоровье
Через Вселенную Через Вселенную

Посетить иные миры и звездные системы — что может быть увлекательнее!

Вокруг света
Открыть в приложении