Новый метод обучения поможет роботам исследовать неизвестный окружающий мир

ТехИнсайдерHi-Tech

Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Новый метод обучения с подкреплением, разработанный Tinkoff Research, поможет роботам исследовать неизвестный окружающий мир и не погибнуть при этом исследовании. Метод получил название SAC-RND (Soft Actor Critic — Random Network Distillation). Он работает в 20 раз быстрее и надежнее, чем аналогичные разработки других ИИ-компаний.

Владимир Губайловский

6163a12bd08659e6198670497e8dd18a_ce_1545x1030x515x0.jpg
Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Неизвестность — это всегда опасность. Исследование неизвестной среды требует в первую очередь точности и осторожности.

М

етод обучения с подкреплением, получивший название RND (random network distillation) разработали в 2018 году в компании OpenAI. Разработали, потому что встали в тупик. ИИ-агенты замечательно (или по крайней мере неплохо) играли во все игры Atari кроме одной — «Месть Монтесумы». В среднем человек набирает в эту игру 4700 очков, а ИИ-агенты, разработанные OpenAI, четко набирали 0. И было непонятно, почему такой отличный метод, как обучение с подкреплением в этом случае не работает.

И тогда инженеры OpenAI изменили стратегию вознаграждения (подкрепления). Они сказали ИИ-агенту: самая большая твоя награда — это новые знания. То есть, самая интересная ситуация та, которую трудно предсказать. Если ты не знаешь, что там за углом, стоит свернуть. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Правда ли, что собаки больше подходят экстравертам? Все не так очевидно Правда ли, что собаки больше подходят экстравертам? Все не так очевидно

Откуда пошел стереотип, что экстравертам нужны собаки и так ли это?

ТехИнсайдер
Вот так романтик! Что Дэвид Бекхэм хранит на память о первой встрече с Викторией Бекхэм Вот так романтик! Что Дэвид Бекхэм хранит на память о первой встрече с Викторией Бекхэм

Как начинались отношения Дэвида и Виктории Бекхэм

VOICE
Опыт майнера: как облачный стартап CoreWeave зарабатывает на нейросетях Опыт майнера: как облачный стартап CoreWeave зарабатывает на нейросетях

Как предпринимателям обеспечить растущий спрос на энергоемкую инфраструктуру

Forbes
Европа понарошку: зачем россияне скупают недвижимость на Северном Кипре Европа понарошку: зачем россияне скупают недвижимость на Северном Кипре

Сначала года существенно вырос спрос на недвижимость Северного Кипра

Forbes
«Был честен с собой и со своим ремеслом»: каким был путь в искусстве Карла Брюллова «Был честен с собой и со своим ремеслом»: каким был путь в искусстве Карла Брюллова

Каким был путь в искусстве Карла Брюллова и как его показывают в музеях

Forbes
10 самых уродливых автомобилей в истории. Обновлённая версия 10 самых уродливых автомобилей в истории. Обновлённая версия

Увы, не все покидающие конвейер машины, становятся впоследствии супермоделями

4x4 Club
«От вакансий руки опускаются»: как я полгода училась на тестировщика, а теперь не могу найти работу «От вакансий руки опускаются»: как я полгода училась на тестировщика, а теперь не могу найти работу

Легко ли сменить специальность?

VOICE
Как советский инженер изобрел пиксель и начал цифровую революцию Как советский инженер изобрел пиксель и начал цифровую революцию

Отрывок из книги «Пиксель. История одной точки»

Forbes
Самораскрытие: когда стоит и не стоит делиться с собеседником своим опытом и переживаниями Самораскрытие: когда стоит и не стоит делиться с собеседником своим опытом и переживаниями

Что такое самораскрытие и почему эта наклонность многих раздражает?

Psychologies
Фильмы и сериалы с похожими названиями, которые всех сбивают с толку Фильмы и сериалы с похожими названиями, которые всех сбивают с толку

Несколько обескураживающих названий фильмов, которые сбивают всех с толку

Maxim
«Не спорь со мной»: как мирно решать конфликты «Не спорь со мной»: как мирно решать конфликты

Как решать конфликты, а не избегать их?

Psychologies
Царь трапезничать желает: что ели и пили Романовы Царь трапезничать желает: что ели и пили Романовы

Что ели и пили русские монархи и какие блюда считались диковинками?

Правила жизни
Почему Толстой не имел права скидывать Анну Каренину под поезд Почему Толстой не имел права скидывать Анну Каренину под поезд

Мария Микулина рассуждает о том, почему Толстой не прав

VOICE
Физики после 67 лет поисков поймали «демона»: безмассовую, нейтральную частицу Физики после 67 лет поисков поймали «демона»: безмассовую, нейтральную частицу

Группа исследователей обнаружила безмассовую нейтральную частицу

ТехИнсайдер
Три секунды эксцентричных тренировок в день увеличили мышечную силу Три секунды эксцентричных тренировок в день увеличили мышечную силу

Даже трехсекундные упражнения положительно влияют на человеческое тело

N+1
Дошли до Волги Дошли до Волги

Как немецкие бюргеры оказались в Поволжье и что вышло из этой авантюры

Вокруг света
Стоит ли переживать из-за постоянных перекусов? Узнайте мнение экспертов! Стоит ли переживать из-за постоянных перекусов? Узнайте мнение экспертов!

Способны ли перекусы между полноценными приемами пищи стимулировать набор веса

ТехИнсайдер
Как полюбить бег по-настоящему Как полюбить бег по-настоящему

5 советов от тех, у кого получилось полюбить бегать

Лиза
«Душит ярость»: 6 способов успокоить нервы «Душит ярость»: 6 способов успокоить нервы

Психолог предлагает несколько шагов, которые помогут быстро успокоить ярость

Psychologies
Вежливость, терпение и позитив: чего не хватает россиянам, которые ищут работу в США Вежливость, терпение и позитив: чего не хватает россиянам, которые ищут работу в США

Зачем нужны «разговоры ни о чем» на собеседованиях в США

Forbes
Восточная подсказка Восточная подсказка

Подробная инструкция по пользованию Дубаем

Правила жизни
Врач, медсестра или эстетист: как выбрать подходящего косметолога Врач, медсестра или эстетист: как выбрать подходящего косметолога

Что отличает косметологов и с какими запросами они в силах справиться

Psychologies
На острие безвкусицы. О фильме «Только ты и я» с Вирджини Эфирой На острие безвкусицы. О фильме «Только ты и я» с Вирджини Эфирой

Как Донзелли удалось снять чуткое кино на громкую тему домашнего насилия

СНОБ
Пудровое напыление: что нужно знать, чтобы получить идеальные брови Пудровое напыление: что нужно знать, чтобы получить идеальные брови

Как делают пудровое напыление и какие у него плюсы и минусы

РБК
Власть Власть

Как устроена власть в Объединенных Арабских Эмиратах?

Правила жизни
Архетип Кена: что можно узнать о мужской психологии из фильма «Барби» Архетип Кена: что можно узнать о мужской психологии из фильма «Барби»

То, каким его показали, многое говорит о психологии реальных Кенов — мужчин

Psychologies
Cимвол изобилия Cимвол изобилия

Для армян сладкий плов хапама – символ единства, плодородия и процветания

Вокруг света
Пески фрекинга: как бывший нефтяной магнат осваивает в Техасе новые ресурсы Пески фрекинга: как бывший нефтяной магнат осваивает в Техасе новые ресурсы

Компания Бада Бригэма сделает его миллиардером, если не будет угрожать ящерице

Forbes
Один на один Один на один

Как Игорь Шулинский совмещал работу с родительством и чему научился

Psychologies
Самцы партеногенетических палочников оказались бесплодными Самцы партеногенетических палочников оказались бесплодными

Мужские особи палочников бесплодны из-за нарушенного сперматогенеза

N+1
Открыть в приложении