Новый метод обучения поможет роботам исследовать неизвестный окружающий мир

ТехИнсайдерHi-Tech

Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Новый метод обучения с подкреплением, разработанный Tinkoff Research, поможет роботам исследовать неизвестный окружающий мир и не погибнуть при этом исследовании. Метод получил название SAC-RND (Soft Actor Critic — Random Network Distillation). Он работает в 20 раз быстрее и надежнее, чем аналогичные разработки других ИИ-компаний.

Владимир Губайловский

6163a12bd08659e6198670497e8dd18a_ce_1545x1030x515x0.jpg
Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Неизвестность — это всегда опасность. Исследование неизвестной среды требует в первую очередь точности и осторожности.

М

етод обучения с подкреплением, получивший название RND (random network distillation) разработали в 2018 году в компании OpenAI. Разработали, потому что встали в тупик. ИИ-агенты замечательно (или по крайней мере неплохо) играли во все игры Atari кроме одной — «Месть Монтесумы». В среднем человек набирает в эту игру 4700 очков, а ИИ-агенты, разработанные OpenAI, четко набирали 0. И было непонятно, почему такой отличный метод, как обучение с подкреплением в этом случае не работает.

И тогда инженеры OpenAI изменили стратегию вознаграждения (подкрепления). Они сказали ИИ-агенту: самая большая твоя награда — это новые знания. То есть, самая интересная ситуация та, которую трудно предсказать. Если ты не знаешь, что там за углом, стоит свернуть. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Потрясно: что такое турбулентность и почему ее не надо бояться Потрясно: что такое турбулентность и почему ее не надо бояться

Рассказываем, что такое турбулентность и почему ее совершенно не стоит бояться

ТехИнсайдер
Мертвый язык Мертвый язык

«...мертвым он был в самом прямом смысле, речь шла о языке мертвых!»

Вокруг света
Почему беспроводные наушники быстро разряжаются Почему беспроводные наушники быстро разряжаются

Причины, по которым беспроводные наушники быстро разряжаются

CHIP
Дэвид Финчер, Брэдли Купер и Люк Бессон: главные фильмы Венецианского фестиваля Дэвид Финчер, Брэдли Купер и Люк Бессон: главные фильмы Венецианского фестиваля

Кинокритик рассказывает, на какие фильмы Венеции нужно обратить внимание

Forbes
Автомобиль для королей, рэперов и миллиардеров: 119 лет истории Rolls-Royce Автомобиль для королей, рэперов и миллиардеров: 119 лет истории Rolls-Royce

Rolls-Royce: история, смысл шильдика на капоте и образ владельца сквозь время

Правила жизни
Железная логика: почему промышленники против оборотных штрафов за утечки данных Железная логика: почему промышленники против оборотных штрафов за утечки данных

Сталевары выступили с критикой ведения оборотных штрафов за утечки данных

Forbes
10 отличных фильмов с очень мрачным финалом 10 отличных фильмов с очень мрачным финалом

Никаких сопливых хэппи-эндов! Только страдания и хардкор!

Maxim
«Я дикий старовер. Я привыкаю — и всё» «Я дикий старовер. Я привыкаю — и всё»

Телеведущий, шоумен и актер Иван Чуйков обожает скорость

OK!
3 заповеди полезного завтрака 3 заповеди полезного завтрака

Диетолог делится советами, которые помогут начинать день правильно

Psychologies
«Голубые» облигации: что это и как с их помощью спасают мировой океан «Голубые» облигации: что это и как с их помощью спасают мировой океан

Остановить уничтожение морской флоры и фауны призваны «голубые» облигации

Forbes
Какие новые инструменты использует ФНС для взыскания налогового долга Какие новые инструменты использует ФНС для взыскания налогового долга

ФНС все чаще использует новые инструменты в вопросах взыскания налоговых долгов

Forbes
Живем ли мы в разных Россиях: как различаются возможности женщин в регионах Живем ли мы в разных Россиях: как различаются возможности женщин в регионах

Регионы отличаются друг от друга, и женщины в них живут по-разному

Forbes
Очень Хороший Человек, с которым тебе плохо: почему? Очень Хороший Человек, с которым тебе плохо: почему?

Есть такой сорт людей, всеобщих любимцев, жить с которыми довольно трудно

VOICE
Эксперимент Muon g-2 измерил аномальный магнитный момент мюона с рекордной точностью Эксперимент Muon g-2 измерил аномальный магнитный момент мюона с рекордной точностью

Физики представили новые результаты эксперимента Muon g-2

N+1
Спутниковые снимки подтвердили способность песцов создавать оазисы в тундре Спутниковые снимки подтвердили способность песцов создавать оазисы в тундре

Канадские ученые подтвердили, что песцы являются экосистемными инженерами

N+1
«Джеймс Уэбб» нашел гораздо больше массивных черных дыр, чем предсказывала теория «Джеймс Уэбб» нашел гораздо больше массивных черных дыр, чем предсказывала теория

Открытия, которые каждый день делает «Джеймс Уэбб» ломают теорию

ТехИнсайдер
Кого убила Вирджиния Вулф: как женщины обретали себя и свою силу благодаря литературе Кого убила Вирджиния Вулф: как женщины обретали себя и свою силу благодаря литературе

Существует литература — существуют писательницы. Что такое «женское письмо»

Forbes
Путь повара Путь повара

Как шеф-повар Андрей Жданов строил свою карьеру

Bones
Фильмы и сериалы с похожими названиями, которые всех сбивают с толку Фильмы и сериалы с похожими названиями, которые всех сбивают с толку

Несколько обескураживающих названий фильмов, которые сбивают всех с толку

Maxim
Как сделать ремонт и не сойти с ума: 6 полезных правил Как сделать ремонт и не сойти с ума: 6 полезных правил

Как же сделать ремонт так, чтобы все прошло быстро и без нервов

VOICE
Налоговый рай с оговорками: как разобраться в льготных режимах для компаний в ОАЭ Налоговый рай с оговорками: как разобраться в льготных режимах для компаний в ОАЭ

Эксперты рассказывают о тонкостях ведения бизнеса в ОАЭ

Forbes
20 причин, по которым другие вас ни в грош не ставят 20 причин, по которым другие вас ни в грош не ставят

Почему окружающие вас не ценят?

Psychologies
Мозг собак сильнее отреагировал на человеческое сюсюкание Мозг собак сильнее отреагировал на человеческое сюсюкание

Ученые выявили сходство между тем, как мозг младенцев и собак обрабатывает речь

N+1
Как появилась традиция кричать молодоженам «Горько!»? Как появилась традиция кричать молодоженам «Горько!»?

Разбираемся в славянских брачных обрядах

Культура.РФ
Лед на ужин, культ красоты и неравенство: как живет Южная Корея сегодня Лед на ужин, культ красоты и неравенство: как живет Южная Корея сегодня

Южная Корея: социальные тренды и современная культура страны

Psychologies
«Мы встречаемся уже год»: «Краса России-2015», ставшая невестой сына Стивена Сигала, раскрыла подробности их романа «Мы встречаемся уже год»: «Краса России-2015», ставшая невестой сына Стивена Сигала, раскрыла подробности их романа

Фотомодель Айрин Данилова рассказала о знакомстве с Домиником Сигалом

VOICE
Абьюз со стороны свекрови: история семьи Мэттью МакКонахи и советы от психолога Абьюз со стороны свекрови: история семьи Мэттью МакКонахи и советы от психолога

Камила Алвес рассказала, что долгое время проходила испытания от мамы любимого

Psychologies
Философ в российском МИДе Философ в российском МИДе

«Разглядывание карты не всегда приводит к верным политическим выводам»

Дилетант
Как расширить память смартфона на Android Как расширить память смартфона на Android

Есть различные способы увеличить объем доступной в смартфоне памяти

ТехИнсайдер
Травы и специи могут сделать вкусную вредную пищу более полезной Травы и специи могут сделать вкусную вредную пищу более полезной

Как сделать вкусную еду менее вредной?

ТехИнсайдер
Открыть в приложении