Что кроется за понятием общения для робота, рассказали инженеры

Популярная механикаHi-Tech

Я слышу голоса: общительный массив для дружелюбного робота

Компания Promobot

Самая главная формула успеха – умение общаться с людьми, любил повторять небезызвестный Теодор Рузвельт. В случае робота эта формула принимает критическое значение, ведь без способности к общению робот превращается в обычный, пусть и высокотехнологичный механизм. Что кроется за понятием общения для робота, рассказали инженеры компании «Промобот» Валерий Титов и Владислав Сазонов. И как выяснилось, пара «микрофон-динамик» здесь устарела ещё в прошлом веке, а найти подходящую «голову» практически невозможно.

Для людей слышать и понимать речь собеседника - обыденное дело. Человек слышит, человек отвечает. Но когда речь заходит о том, чтобы нас услышал и понял не человек, а робот, начинаются проблемы. Общение с роботом может проходить в сложных условиях: множество источников шума, несколько одновременно говорящих с разных сторон людей. Обычные микрофоны могут реагировать даже на речь самого робота.

В своей жизни человек даже не замечает, насколько сложен процесс общения с технической точки зрения. Чтобы научить роботов «Промобота» общаться, нам пришлось найти идеальные уши, рот и главное - научить их правильно работать.

«Хонда» для российского робота

Для идеального слуха роботу требуется две вещи: хорошие уши и надежная голова, способная понять, что же уловили уши. Решением вполне может стать аппаратно-программный комплекс на базе микрофонного массива.

С набором микрофонов всё просто: на корпусе робота их можно разместить там, где требуется. С программным обеспечением всё значительно сложнее. Дело в том, что работая с ушами, голова должна как минимум:

  • вырезать в услышанном речь робота;
  • очистить звук от шума;
  • определить, есть ли в услышанном и очищенном речь;
  • определить источник речи;
  • сформировать луч (по английски эта процедура называется beamforming), чтобы усилить исходный звуковой сигнал от источника;
  • распознать речь в звуковой дорожке после всех манипуляций.

Как правило, последний шаг выносится за пределы зоны ответственности микрофонного массива.

2d8e8f77f8d368eb6c00e2cffae50b93.jpg

Готовых решений на мировом рынке оказалось не так много. Наиболее перспективной нам показалась совместная разработка Японского исследовательского института Хонды и Киотского университета под названием HARK (Honda research institute Japan Audition for Robots with Kyoto university).

fcbb8549de0635ab33b54e956020e205.jpg

HARK изначально проектировалась для роботов, работающих в антропоморфной среде, где требуется услышать и разобрать команды от человека. Это ПО с открытым кодом можно было связать с Robot Operating System (ROS), процесс обработки звука с микрофонов легко настраивался. Дополнительным преимуществом стала заявленная возможность одновременного определения нескольких источников звука. Казалось, это то, что нам нужно! Японцы настолько очаровали нас своей разработкой, что мы скоропостижно перестали искать альтернативу.

Смертельные миллиметры звука

Для первых тестов в 2014 году мы использовали микрофонный массив RASP LC на 8 микрофонах. Четыре располагались на центральной части груди корпуса робота, вокруг экрана; три - на верхней части груди, ближе к шее; и один - сзади по центру, у основания шеи. Уже после первого теста мы выявили две проблемы критического уровня: вибрация и сложность расчётов.

89dca29813daca49524d1349e942bcec.jpg

Дело в том, что робот сам по себе – это механизм с огромным количеством движущихся деталей. И каждое движение создавало так называемые наводки на микрофон – фоновый шум, требующий постоянного анализа.

Вторая проблема заключалась в обработке полученных аудиоданных. Разработчики HARK заложили два принципиально разных подхода аналитики аудиопотоков. Первый назван геометрическим и сводится к точному (до десятых долей миллиметра) описанию расположения микрофонов в пространстве с учетом их направлений. Второй, без специального названия, опирается на калибровочную модель. Её создают путем многократной записи через массив одной и той же записи с разных точек пространства вокруг массива.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

8 продуктов, которые ни в коем случае нельзя есть просроченными 8 продуктов, которые ни в коем случае нельзя есть просроченными

Некоторые продукты с последним ударом часов превращаются в настоящий яд

Популярная механика
Шапочное знакомство: 11 национальных головных уборов Шапочное знакомство: 11 национальных головных уборов

Народная фантазия непобедима

Вокруг света
Динамически меняющая внешность маска поможет обмануть систему распознавания лиц Динамически меняющая внешность маска поможет обмануть систему распознавания лиц

Инженеры создали маску, способную изменять форму лица и цвет кожи

N+1
Опасные связи Опасные связи

Реальные последствия виртуальных ошибок

Men’s Health
Хроническая усталость у женщин: 10 самых частых вопросов и ответы врача Хроническая усталость у женщин: 10 самых частых вопросов и ответы врача

Постоянно ощущаете себя «не в ресурсе»?

Psychologies
«Мой любимый фильм на все времена». Что пишут иностранцы о нашем кино «Мой любимый фильм на все времена». Что пишут иностранцы о нашем кино

Чем зарубежного зрителя привлекают советские и российские фильмы?

РБК
10 дутых фактов о жевательной резинке 10 дутых фактов о жевательной резинке

Самые интересные факты о жвачке

Maxim
Колыбель для взрослого Колыбель для взрослого

У каждого бывают моменты, когда хочется, чтобы кто-то заботливый взял за руку

Psychologies
Умное и еще умнее. Кому на самом деле нужно электронное голосование Умное и еще умнее. Кому на самом деле нужно электронное голосование

Технический прогресс вдруг оказался против прогресса общественного

СНОБ
Эндометриоз: как вовремя выявить болезнь и избавиться от симптомов Эндометриоз: как вовремя выявить болезнь и избавиться от симптомов

Эндометриоз: на что обратить внимание и когда не обойтись без помощи врачей?

РБК
Гид по эротической переписке Гид по эротической переписке

Влияет ли эротическая переписка на качество сексуальной жизни?

Maxim
Он скряга! 9 непростительных поступков, которые выдают жадного мужчину Он скряга! 9 непростительных поступков, которые выдают жадного мужчину

Признаки жадного мужчины в отношениях

VOICE
Учиться или играть? И то, и другое Учиться или играть? И то, и другое

«Учиться – скучно». Что может возразить школа на этот упрёк учеников?

Домашний Очаг
Грустные истории журнала «Ералаш»: 6 трагических судеб звёзд киножурнала Грустные истории журнала «Ералаш»: 6 трагических судеб звёзд киножурнала

6 актёров «Ералаша», чья судьба сложилась трагически

Cosmopolitan
Любовный треугольник: трагичная судьба двух жен генсека Андропова Любовный треугольник: трагичная судьба двух жен генсека Андропова

История двух жен Юрия Андропова

Cosmopolitan
Неслабый пол: как гендерные стереотипы закаляют женщин в бизнесе Неслабый пол: как гендерные стереотипы закаляют женщин в бизнесе

Предпринимательницы: как преодолеть предубеждения и построить свой бизнес

Cosmopolitan
Смотрите-ка, звезда! Смотрите-ка, звезда!

Певица Лиза Монеточка о своих преподавателях и учебе в школе

Домашний Очаг
Как выбрать монитор для компьютера и наслаждаться «картинкой» Как выбрать монитор для компьютера и наслаждаться «картинкой»

Хороший монитор не обязательно должен стоить дорого

CHIP
Стоп-менеджер Стоп-менеджер

Почему тебя до сих пор не повышают? Есть пять вероятных причин

Cosmopolitan
Трагедия в Перми: 21 сентября объявлено днем траура Трагедия в Перми: 21 сентября объявлено днем траура

Кем, предположительно, оказался стрелок в Перми, и каким был его мотив?

Psychologies
Кавказская трилогия Кавказская трилогия

За одну поездку можно осмотреть сразу три южные республики

Лиза
7 полезных свойств лаврового листа 7 полезных свойств лаврового листа

Лавровый лист: мы даже не догадываемся, какое сокровище у нас под рукой

Psychologies
Без страха и совести Без страха и совести

Как распознать страховых мошенников

Лиза
Амстердам возвращает Кандинского: как идет реституция ценностей, изъятых в Холокост Амстердам возвращает Кандинского: как идет реституция ценностей, изъятых в Холокост

Как проходит реституция отчужденных культурных ценностей

Forbes
Машина желаний Машина желаний

Фантастический рассказ о том, что бы было, если бы существовала машина желаний

Вокруг света
Долго и счастливо: 7 правил выбора партнера на всю жизнь Долго и счастливо: 7 правил выбора партнера на всю жизнь

Как выбрать человека, с которым вы останетесь вместе навсегда?

Cosmopolitan
Актеры, которые так сыграли роль, что никто другой не справился бы! Актеры, которые так сыграли роль, что никто другой не справился бы!

Представить другого актера в этих образах совершенно невозможно

Cosmopolitan
5 скандальных премьер, которые позже стали классикой 5 скандальных премьер, которые позже стали классикой

О том, как переживали неудачи Гоголь, Чайковский, Глинка, Чехов и Стравинский

Культура.РФ
Эрик Картман Эрик Картман

Правила жизни Эрика Картмана

Esquire
Нефутбол и прочие игры: фильмы о том, что спорт — женское дело Нефутбол и прочие игры: фильмы о том, что спорт — женское дело

Фильмы, в которых женщины прекрасно играют в футбол, бегают и мечут диски

Cosmopolitan
Открыть в приложении