Новый метод обучения поможет роботам исследовать неизвестный окружающий мир

ТехИнсайдерHi-Tech

Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Новый метод обучения с подкреплением, разработанный Tinkoff Research, поможет роботам исследовать неизвестный окружающий мир и не погибнуть при этом исследовании. Метод получил название SAC-RND (Soft Actor Critic — Random Network Distillation). Он работает в 20 раз быстрее и надежнее, чем аналогичные разработки других ИИ-компаний.

Владимир Губайловский

6163a12bd08659e6198670497e8dd18a_ce_1545x1030x515x0.jpg
Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Неизвестность — это всегда опасность. Исследование неизвестной среды требует в первую очередь точности и осторожности.

М

етод обучения с подкреплением, получивший название RND (random network distillation) разработали в 2018 году в компании OpenAI. Разработали, потому что встали в тупик. ИИ-агенты замечательно (или по крайней мере неплохо) играли во все игры Atari кроме одной — «Месть Монтесумы». В среднем человек набирает в эту игру 4700 очков, а ИИ-агенты, разработанные OpenAI, четко набирали 0. И было непонятно, почему такой отличный метод, как обучение с подкреплением в этом случае не работает.

И тогда инженеры OpenAI изменили стратегию вознаграждения (подкрепления). Они сказали ИИ-агенту: самая большая твоя награда — это новые знания. То есть, самая интересная ситуация та, которую трудно предсказать. Если ты не знаешь, что там за углом, стоит свернуть. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Кладбище домашних животных: что делать, если умер питомец Кладбище домашних животных: что делать, если умер питомец

Что делать, если умер кот или собака? Как и где происходит кремация животных?

ТехИнсайдер
В могиле древнекитайской простолюдинки нашли косметику В могиле древнекитайской простолюдинки нашли косметику

Ученые исследовали остатки косметики, найденные в могиле простолюдинки

N+1
Цифровой сценарист: как ИИ создает иллюзию свободы выбора Цифровой сценарист: как ИИ создает иллюзию свободы выбора

Как научиться распознавать технологические манипуляции

Forbes
Во взрывных извержениях внутриплитного вулкана Фогу обвинили углекислый газ Во взрывных извержениях внутриплитного вулкана Фогу обвинили углекислый газ

В продуктах извержения вулкана Фогу найдено большое содержание углекислого газа

N+1
Любовь или зависимость? 7 признаков нездоровых отношений Любовь или зависимость? 7 признаков нездоровых отношений

Как отличить истинные чувства от зависимости, способной разрушать нас изнутри?

VOICE
20 причин, по которым другие вас ни в грош не ставят 20 причин, по которым другие вас ни в грош не ставят

Почему окружающие вас не ценят?

Psychologies
Как легко превратить свой образ жизни в здоровый: 7 советов Как легко превратить свой образ жизни в здоровый: 7 советов

Почему мы быстро теряем мотивацию и существует ли «мягкий вход» в ЗОЖ?

Psychologies
Как управлять эмоциями: 3 стратегии Как управлять эмоциями: 3 стратегии

Переживания бывают неприятны. Нужно ли их избегать, подавлять или принимать?

Psychologies
Чтение выходного дня: отрывок из книги «Тирания мух» Элайне Вилар Мадруги Чтение выходного дня: отрывок из книги «Тирания мух» Элайне Вилар Мадруги

Глава из жуткого, сотканного из детский страхов романа

Правила жизни
Легкий старт Легкий старт

Как открыть свое дело с нуля без вложений: 7 рабочих идей

Лиза
Что делать со старым ненужным смартфоном: 10 сценариев использования Что делать со старым ненужным смартфоном: 10 сценариев использования

Если вы поменяли смартфон, не спешите выбрасывать старый

CHIP
«Мой автомобиль — это продолжение меня» «Мой автомобиль — это продолжение меня»

Главные помощники Полины Гагариной — это тайм-менеджмент и автомобиль

OK!
«Особняк на колесах»: как устроена жизнь внутри двухэтажного люкс-грузовика «Особняк на колесах»: как устроена жизнь внутри двухэтажного люкс-грузовика

Дом на колесах Elemment Palazzo Superior поразит самого привередливого туриста

ТехИнсайдер
Медиум империи: каким магам, старцам и экстрасенсам верили Романовы? Медиум империи: каким магам, старцам и экстрасенсам верили Романовы?

Рассказываем, к кому, зачем и почему прислушивались правители Российской Империи

Правила жизни
Шик и блеск Шик и блеск

Команда Бориса Уборевича–Боровского создала респектабельный интерьер шоурума

SALON-Interior
Проклятие «века смартфонов»: что такое цифровое слабоумие и как распознать его у себя Проклятие «века смартфонов»: что такое цифровое слабоумие и как распознать его у себя

Из-за того, что устройства стали чересчур умными, нам грозит диджитал-деменция

VOICE
Не только мужской гормон: на что влияет тестостерон Не только мужской гормон: на что влияет тестостерон

Как поддерживать нужный уровень тестостерона и почему это важно?

Правила жизни
Пришло время поговорить. Как понять и поддержать подростка Пришло время поговорить. Как понять и поддержать подростка

Что нужно сделать матери, которая хочет выслушать своего ребенка

СНОБ
Не красавицы, а глаз не отвести! Как в молодости выглядели актрисы, которые не вписываются в бьюти-стандарты Не красавицы, а глаз не отвести! Как в молодости выглядели актрисы, которые не вписываются в бьюти-стандарты

Как же в молодости выглядели обладательницы необычной внешности

VOICE
Отрывок из книги Марии Нырковой «​​Залив Терпения» Отрывок из книги Марии Нырковой «​​Залив Терпения»

Откровенный текст о семейной истории, поиске корней и женской силе

СНОБ
Как выбрать спелую дыню и какой сорт самый сладкий Как выбрать спелую дыню и какой сорт самый сладкий

Разбираемся, как не запутаться в многообразии дынь и сделать правильный выбор

РБК
Дубай. Город intro. Как состояться в Дубае и избежать ошибок Дубай. Город intro. Как состояться в Дубае и избежать ошибок

Продюсер Митя Муравьев открывает главный дубайский секрет

Правила жизни
Еда из прошлого: почему хлеб и молоко стали считаться вредными продуктами Еда из прошлого: почему хлеб и молоко стали считаться вредными продуктами

За что нутрициологи и велнес-блогеры демонизируют самые привычные хлеб и молоко

Forbes
Устаревшие правила, которые мешают построить гармоничные отношения с мужчиной Устаревшие правила, которые мешают построить гармоничные отношения с мужчиной

Почему установки времен наших бабушек больше неактуальны

VOICE
Наталья Илишкина: «Улан Далай. Степная сага» Наталья Илишкина: «Улан Далай. Степная сага»

Достоверный и бережный текст Натальи Илишкиной вышел в серии «Большая проза»

СНОБ
5 советских игрушек, которые были только в зажиточных семьях 5 советских игрушек, которые были только в зажиточных семьях

Рассказываем, какими были модные дорогие игрушки в СССР

Psychologies
Домашний лимонад: 5 рецептов напитков, которые можно сделать дома Домашний лимонад: 5 рецептов напитков, которые можно сделать дома

Как приготовить домашний лимонад без вреда для фигуры и здоровья

РБК
17 мгновенных фактов про «Семнадцать мгновений весны» 17 мгновенных фактов про «Семнадцать мгновений весны»

Рассказываем максимально интересное про «Семнадцать мгновений весны»

Maxim
Олег Шкловский: «Всегда говорил, что я — Джеки Чесней из Марьиной рощи» Олег Шкловский: «Всегда говорил, что я — Джеки Чесней из Марьиной рощи»

Олег Шкловский — о том, какие нелегкие испытания ему пришлось пройти в жизни

Караван историй
5 типов конфликтных людей — проверьте себя и близких 5 типов конфликтных людей — проверьте себя и близких

Как распознать конфликтного человека, чтобы избежать общения с ним?

Psychologies
Открыть в приложении