Новый метод обучения поможет роботам исследовать неизвестный окружающий мир

ТехИнсайдерHi-Tech

Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Новый метод обучения с подкреплением, разработанный Tinkoff Research, поможет роботам исследовать неизвестный окружающий мир и не погибнуть при этом исследовании. Метод получил название SAC-RND (Soft Actor Critic — Random Network Distillation). Он работает в 20 раз быстрее и надежнее, чем аналогичные разработки других ИИ-компаний.

Владимир Губайловский

6163a12bd08659e6198670497e8dd18a_ce_1545x1030x515x0.jpg
Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Неизвестность — это всегда опасность. Исследование неизвестной среды требует в первую очередь точности и осторожности.

М

етод обучения с подкреплением, получивший название RND (random network distillation) разработали в 2018 году в компании OpenAI. Разработали, потому что встали в тупик. ИИ-агенты замечательно (или по крайней мере неплохо) играли во все игры Atari кроме одной — «Месть Монтесумы». В среднем человек набирает в эту игру 4700 очков, а ИИ-агенты, разработанные OpenAI, четко набирали 0. И было непонятно, почему такой отличный метод, как обучение с подкреплением в этом случае не работает.

И тогда инженеры OpenAI изменили стратегию вознаграждения (подкрепления). Они сказали ИИ-агенту: самая большая твоя награда — это новые знания. То есть, самая интересная ситуация та, которую трудно предсказать. Если ты не знаешь, что там за углом, стоит свернуть. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Что делать, если отказали в ремонте авто по гарантии: как 2 водителя победили автосалон Что делать, если отказали в ремонте авто по гарантии: как 2 водителя победили автосалон

В автосервисе заявили, что поломка произошла по из-за вас? Не соглашайтесь сразу

ТехИнсайдер
Интервью с итальянским режиссером Каролиной Кавалли Интервью с итальянским режиссером Каролиной Кавалли

Каролина Кавалли — о детских травмах и сравнениях с Уэсом Андерсоном

СНОБ
Типы матриц телевизоров: выбираем лучшую Типы матриц телевизоров: выбираем лучшую

Матрицы телевизоров: как в них не запутаться и какой тип выбрать?

CHIP
Что ждет мир после ядерной войны: какими будут реальные последствия атомной бомбардировки Что ждет мир после ядерной войны: какими будут реальные последствия атомной бомбардировки

Каким будет мир, покрытый радиоактивными осадками?

ТехИнсайдер
Ученые объяснили, как езда на велосипеде способствует снижению риска развития деменции Ученые объяснили, как езда на велосипеде способствует снижению риска развития деменции

Езда на велосипеде полезнее, чем вы думали

ТехИнсайдер
Фильмы и сериалы с похожими названиями, которые всех сбивают с толку Фильмы и сериалы с похожими названиями, которые всех сбивают с толку

Несколько обескураживающих названий фильмов, которые сбивают всех с толку

Maxim
Александр Рапопорт: «На каком-то этапе я сказал: «Хочу, чтобы всем было хорошо, но чтобы среди тех, кому хорошо, был и я тоже» Александр Рапопорт: «На каком-то этапе я сказал: «Хочу, чтобы всем было хорошо, но чтобы среди тех, кому хорошо, был и я тоже»

Александр Рапопорт рассуждает об известности и возрасте

Караван историй
Как испортить отношения: 4 вредных совета Как испортить отношения: 4 вредных совета

Если вы не заинтересованы в сохранении отношений, для вас есть несколько правил

Psychologies
Дегустации и дегустаторы Дегустации и дегустаторы

Что для главное для специалистов на кухне, кроме знаний, умений и компетенций?

Bones
Как отдохнуть на Сейшелах с детьми Как отдохнуть на Сейшелах с детьми

Как на Сейшелах «перезагрузиться» в отпуске всей семьей

СНОБ
Вы будете смеяться, когда узнаете интимные подробности выражения Вы будете смеяться, когда узнаете интимные подробности выражения

Почему именно песок сочится из старческих щелей?

ТехИнсайдер
Что собой представляет люксовый китайский микроавтобус Voyah Dream за 10 миллионов рублей Что собой представляет люксовый китайский микроавтобус Voyah Dream за 10 миллионов рублей

Voyah Dream — тестируем шикарный микроавтобус в Архангельской области

Maxim
Правильные путешествия: что делать, где есть и пить в Белграде Правильные путешествия: что делать, где есть и пить в Белграде

Белград: где есть плескавицу, пить ракию, где гулять и что смотреть

Правила жизни
«Ножи мироздания постоянно нас травмируют» «Ножи мироздания постоянно нас травмируют»

Мы пообщались с актером Риналем Мухаметовым, на весьма философские темы

OK!
Устаревшие правила, которые мешают построить гармоничные отношения с мужчиной Устаревшие правила, которые мешают построить гармоничные отношения с мужчиной

Почему установки времен наших бабушек больше неактуальны

VOICE
«Особняк на колесах»: как устроена жизнь внутри двухэтажного люкс-грузовика «Особняк на колесах»: как устроена жизнь внутри двухэтажного люкс-грузовика

Дом на колесах Elemment Palazzo Superior поразит самого привередливого туриста

ТехИнсайдер
Lapina: «Хейт — это очень весело» Lapina: «Хейт — это очень весело»

Lapina — яркий музыкальный проект Татьяны Лапиной

ЖАРА Magazine
Успех любой ценой: как перспективный стартап Legionfarm дошел до суда с инвесторами Успех любой ценой: как перспективный стартап Legionfarm дошел до суда с инвесторами

Как стартап Legionfarm оказался в кризисе?

Forbes
В палеофекалиях древних добытчиков соли нашли яйца гельминтов В палеофекалиях древних добытчиков соли нашли яйца гельминтов

Палеопаразитологи исследовали 35 палеофекалий XII–VII веков до нашей эры

N+1
Слепое зрение: почему этот феномен так заинтересовал ученых Слепое зрение: почему этот феномен так заинтересовал ученых

Каково это — видеть, но не осознавать этого?

Psychologies
Экстракт китайского цветка снизил накопление жира в адипоцитах Экстракт китайского цветка снизил накопление жира в адипоцитах

Экстракт Mallotus furetianus значительно подавляет увеличение массы тела

N+1
Как носить маленькое черное платье, если тебе за 50: советы экспертов Как носить маленькое черное платье, если тебе за 50: советы экспертов

Идеальное LBD может служить годами — его не надо менять из сезона в сезон

VOICE
Я — сноб: композитор Никола Мельников Я — сноб: композитор Никола Мельников

Неоклассик Никола Мельников — о любви к творчеству Сергея Рахманинова

СНОБ
Земля талантов Земля талантов

Самарский областной художественный музей входит в число крупнейших музеев России

Отдых в России
Ещё раз о Вагнере… Ещё раз о Вагнере…

Творчество Вагнера у одних вызывает восторг, у других неприятие

Дилетант
Этими трюками пользуются все звездные стилисты: 5 секретов идеальных образов на каждый день Этими трюками пользуются все звездные стилисты: 5 секретов идеальных образов на каждый день

Давай научимся внедрять в образы эффектные детали

VOICE
История советских «Луноходов»: один разбился, один замерз, один перегрелся История советских «Луноходов»: один разбился, один замерз, один перегрелся

Времена, когда слово «Луноход» с восхищением произносили во всех странах мира

Maxim
Признак качества: 6 вещей, по которым ты вычислишь хорошего мастера по наращиванию ресниц Признак качества: 6 вещей, по которым ты вычислишь хорошего мастера по наращиванию ресниц

На какие детали стоит обратить внимание еще перед процедурой наращивания ресниц

VOICE
«Лучший химик — природа»: как вырастить обезболивающие лекарства на дрожжах «Лучший химик — природа»: как вырастить обезболивающие лекарства на дрожжах

Важнейшие лекарственные ингредиенты могут быть выращены по «пивной технологии»

Forbes
7 суперспособностей человеческого организма 7 суперспособностей человеческого организма

На что способно наше тело, чтобы продлить молодость внутри и снаружи

Maxim
Открыть в приложении