Новый метод обучения поможет роботам исследовать неизвестный окружающий мир

ТехИнсайдерHi-Tech

Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Новый метод обучения с подкреплением, разработанный Tinkoff Research, поможет роботам исследовать неизвестный окружающий мир и не погибнуть при этом исследовании. Метод получил название SAC-RND (Soft Actor Critic — Random Network Distillation). Он работает в 20 раз быстрее и надежнее, чем аналогичные разработки других ИИ-компаний.

Владимир Губайловский

6163a12bd08659e6198670497e8dd18a_ce_1545x1030x515x0.jpg
Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Неизвестность — это всегда опасность. Исследование неизвестной среды требует в первую очередь точности и осторожности.

М

етод обучения с подкреплением, получивший название RND (random network distillation) разработали в 2018 году в компании OpenAI. Разработали, потому что встали в тупик. ИИ-агенты замечательно (или по крайней мере неплохо) играли во все игры Atari кроме одной — «Месть Монтесумы». В среднем человек набирает в эту игру 4700 очков, а ИИ-агенты, разработанные OpenAI, четко набирали 0. И было непонятно, почему такой отличный метод, как обучение с подкреплением в этом случае не работает.

И тогда инженеры OpenAI изменили стратегию вознаграждения (подкрепления). Они сказали ИИ-агенту: самая большая твоя награда — это новые знания. То есть, самая интересная ситуация та, которую трудно предсказать. Если ты не знаешь, что там за углом, стоит свернуть. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Графиня де Монсоро» и «Граф Монте-Кристо»: лучшие экранизации произведений Александра Дюма «Графиня де Монсоро» и «Граф Монте-Кристо»: лучшие экранизации произведений Александра Дюма

Самые удачные экранизации произведений Дюма, которые вы могли не видеть

ТехИнсайдер
5 самых полезных овощей в конце лета: добавьте их в рацион, пока не наступил сентябрь 5 самых полезных овощей в конце лета: добавьте их в рацион, пока не наступил сентябрь

Как питаться разнообразно, добавляя в рацион не только листья салата и огурцы

Psychologies
Абонент не в сети: почему цифровой детокс и отказ от технологий не всегда помогают Абонент не в сети: почему цифровой детокс и отказ от технологий не всегда помогают

Как разумно регулировать свое поведение в соцсетях и в обращении с технологиями

Forbes
«Аквариум: Геометрия хаоса». Отрывок из книги Александра Кушнира «Аквариум: Геометрия хаоса». Отрывок из книги Александра Кушнира

Глава из новой книги «Аквариум: Геометрия хаоса» продюсера Александра Кушнира

СНОБ
Эмоциональный интеллект Эмоциональный интеллект

Новое представление о том, что значит быть «умным»

kiozk originals
Пятиминутный гид по аутофагии — механизму вечной молодости (но это не точно) Пятиминутный гид по аутофагии — механизму вечной молодости (но это не точно)

«Аутофагия» — это самоочищение организма от поврежденных клеток и их частей

Правила жизни
Почему люди меняют свои суждения о других? Узнайте неочевидный ответ ученых! Почему люди меняют свои суждения о других? Узнайте неочевидный ответ ученых!

Почему мы меньше обвиняем кого-то, если знаем, что человек страдал в детстве?

ТехИнсайдер
Мужской взгляд на воспитание: как стать хорошим отцом Мужской взгляд на воспитание: как стать хорошим отцом

С какими вызовами сталкиваются современные папы и как их преодолевать?

Psychologies
Что делать со старым ненужным смартфоном: 10 сценариев использования Что делать со старым ненужным смартфоном: 10 сценариев использования

Если вы поменяли смартфон, не спешите выбрасывать старый

CHIP
Палеоклиматологи не разрешили людям пережить в Европе оледенение 1,1 миллиона лет назад Палеоклиматологи не разрешили людям пережить в Европе оледенение 1,1 миллиона лет назад

Палеоклиматологи исследовали керн донных отложений, извлеченный в Португалии

N+1
А где кубики? А где кубики?

9 мифов о прессе, из-за которых он вряд ли станет идеальным

Лиза
Слово защите: как топ-менеджменту и службе информбезопасности выстроить диалог Слово защите: как топ-менеджменту и службе информбезопасности выстроить диалог

Какой должна быть служба информационной безопасности в новых условиях

Forbes
2 эффективных способа защитить свои личные границы 2 эффективных способа защитить свои личные границы

Как сохранить уважение друг к другу и при этом не наступать на горло самому cебе

Psychologies
Хотите быть счастливой парой? Запомните эти 10 советов Хотите быть счастливой парой? Запомните эти 10 советов

Психолог рассказала, какие действия можно предпринять для улучшения отношений

Psychologies
Мэри Робинетт Коваль: «Вычисляя звезды» Мэри Робинетт Коваль: «Вычисляя звезды»

Отрывок из фантастического романа Мэри Робинетт Коваль

СНОБ
Как занимать новые ниши на развитом рынке Дубая: опыт Yalla!Market Как занимать новые ниши на развитом рынке Дубая: опыт Yalla!Market

Как основатели Yalla!Market развивали бизнес в Дубае

Правила жизни
Семь фактов про радиоактивную воду с Фукусимы Семь фактов про радиоактивную воду с Фукусимы

Японцы сливают радиоактивную воду с Фукусимы прямо в Тихий океан. Опасно ли это?

Maxim
Техношея Техношея

Почему нам всем грозит tech neck и как защитить свою шею от колец Венеры?

Собака.ru
Скибиди-туалеты захватили мир: как абсурдный сериал заставил зумеров чувствовать себя старыми Скибиди-туалеты захватили мир: как абсурдный сериал заставил зумеров чувствовать себя старыми

Поколение Альфа (рожденные после 2010 года) начинает создавать собственные мемы

Psychologies
Откуда у камней берутся прозвища и как работает память мха Откуда у камней берутся прозвища и как работает память мха

Бриолог Робин Уолл Киммерер увлекательно рассказывает об истории мхов

СНОБ
Cекреты идеального гриля Cекреты идеального гриля

Кулинарными секретами для обеда на природе поделился итальянский шеф-повар

Лиза
«Я падала в обморок, когда весила 45 кг»: Алена Шишкова призналась, что страдала от булимии и анорексии «Я падала в обморок, когда весила 45 кг»: Алена Шишкова призналась, что страдала от булимии и анорексии

Модель Алена Шишкова впервые откровенно рассказала о проблемах со здоровьем

VOICE
Ест сладкое и не толстеет: почему не стоит завидовать такой подруге — ответ нутрициолога Ест сладкое и не толстеет: почему не стоит завидовать такой подруге — ответ нутрициолога

Выясняем, кто такие skinny fat и что делать, если ты одна из них.

VOICE
«Каждый день – новая мечта» «Каждый день – новая мечта»

Графику десятилетней Евы Смирновой могут удивиться даже самые занятые взрослые

OK!
Как использовать мультиварку на все 100%: 7 скрытых возможностей устройства, о которых вы и не догадывались Как использовать мультиварку на все 100%: 7 скрытых возможностей устройства, о которых вы и не догадывались

Как еще можно использовать мультиварку с пользой в быту, помимо обычных функций

ТехИнсайдер
Особенности национальной пластики Особенности национальной пластики

Что чаще всего просят у пластического хирурга девушки из разных стран?

Лиза
Корень резуховидки отличил верх от низа благодаря белку LAZY Корень резуховидки отличил верх от низа благодаря белку LAZY

Японские ученые отследили механизм работы белков семейства LAZY

N+1
Что такое клетчатка, в чем ее польза и почему она нужна для похудения Что такое клетчатка, в чем ее польза и почему она нужна для похудения

Как клетчатка влияет на человеческий организм?

РБК
Забыли вырезать: худшие ляпы в культовых фильмах — от «Гарри Поттера» до «Криминального чтива» Забыли вырезать: худшие ляпы в культовых фильмах — от «Гарри Поттера» до «Криминального чтива»

Рассказываем про дурацкие неточности в культовых фильмах

VOICE
Зачем миллиардер переливает себе кровь юношей: как узнать Зачем миллиардер переливает себе кровь юношей: как узнать

Говорят, что за деньги нельзя купить любовь. Но можно ли выиграть на них время?

ТехИнсайдер
Открыть в приложении