Новый метод обучения поможет роботам исследовать неизвестный окружающий мир

ТехИнсайдерHi-Tech

Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Новый метод обучения с подкреплением, разработанный Tinkoff Research, поможет роботам исследовать неизвестный окружающий мир и не погибнуть при этом исследовании. Метод получил название SAC-RND (Soft Actor Critic — Random Network Distillation). Он работает в 20 раз быстрее и надежнее, чем аналогичные разработки других ИИ-компаний.

Владимир Губайловский

6163a12bd08659e6198670497e8dd18a_ce_1545x1030x515x0.jpg
Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Неизвестность — это всегда опасность. Исследование неизвестной среды требует в первую очередь точности и осторожности.

М

етод обучения с подкреплением, получивший название RND (random network distillation) разработали в 2018 году в компании OpenAI. Разработали, потому что встали в тупик. ИИ-агенты замечательно (или по крайней мере неплохо) играли во все игры Atari кроме одной — «Месть Монтесумы». В среднем человек набирает в эту игру 4700 очков, а ИИ-агенты, разработанные OpenAI, четко набирали 0. И было непонятно, почему такой отличный метод, как обучение с подкреплением в этом случае не работает.

И тогда инженеры OpenAI изменили стратегию вознаграждения (подкрепления). Они сказали ИИ-агенту: самая большая твоя награда — это новые знания. То есть, самая интересная ситуация та, которую трудно предсказать. Если ты не знаешь, что там за углом, стоит свернуть. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Борьба с вирусом: как быстро вылечить простуду Борьба с вирусом: как быстро вылечить простуду

Когда простуду можно вылечить самостоятельно?

ТехИнсайдер
Почему бэби-бумеры все чаще остаются в одиночестве: интересный факт! Почему бэби-бумеры все чаще остаются в одиночестве: интересный факт!

Что такое "серый развод" и как он влияет на бэби-бумеров?

ТехИнсайдер
Будущее пищевой промышленности: меньше газов — больше искусственного интеллекта Будущее пищевой промышленности: меньше газов — больше искусственного интеллекта

Что сейчас актуально среди технологий будущего для пищевой промышленности

Forbes
Любовь, как в кино: почему мы мечтаем о нереалистичных отношениях Любовь, как в кино: почему мы мечтаем о нереалистичных отношениях

Почему мы хотим любви, как в романтическом фильме?

Psychologies
Обзор Geely Tugella: плюсы и минусы, комплектации, фото Обзор Geely Tugella: плюсы и минусы, комплектации, фото

Купе-кроссовер Geely Tugella: что стоит знать о нем

РБК
Управляющие отчитались о росте Управляющие отчитались о росте

Самые успешные инвестиции середины лета

Деньги
Вежливость, терпение и позитив: чего не хватает россиянам, которые ищут работу в США Вежливость, терпение и позитив: чего не хватает россиянам, которые ищут работу в США

Зачем нужны «разговоры ни о чем» на собеседованиях в США

Forbes
Имплант под воздействием тока вырабатывает инсулин. Предложен новый метод лечения диабета Имплант под воздействием тока вырабатывает инсулин. Предложен новый метод лечения диабета

Ученые создали искусственные человеческие клетки, способные вырабатывать инсулин

ТехИнсайдер
Художник Саша Шардак: Человек склонен романтизировать все новое и представлять приятное будущее Художник Саша Шардак: Человек склонен романтизировать все новое и представлять приятное будущее

Об эстетике оттепели, ностальгии по ушедшим временам и романтизации новизны

СНОБ
Я не толстая! Я не толстая!

Порой лишние кило могут превратиться в серьезное заболевание

Лиза
Отпуск по обману: почему вместо нормального летнего отдыха мы еще больше устаем? Отпуск по обману: почему вместо нормального летнего отдыха мы еще больше устаем?

Почему, планируя расслабиться, мы получаем лишь дополнительный стресс?

VOICE
Молчать нельзя говорить: к чему приводит отсутствие полового воспитания девочек Молчать нельзя говорить: к чему приводит отсутствие полового воспитания девочек

Как избежать последствий отсутствия полового воспитания?

Psychologies
Хроническую усталость связали с низкой эффективностью митохондрий Хроническую усталость связали с низкой эффективностью митохондрий

Неврологи описали патогенез синдрома хронической усталости у пациентки

N+1
Как лесные пожары в Австралии влияют на климат Земли Как лесные пожары в Австралии влияют на климат Земли

О глобальных последствиях пожаров "черного лета" 2019-2020 годов

ТехИнсайдер
Кто соберет дары леса Кто соберет дары леса

Развитию рынка дикоросов могут способствовать новые меры господдержки

Агроинвестор
Едят что хотят и не толстеют Едят что хотят и не толстеют

6 секретов стройности корейских женщин

Лиза
Мужской взгляд на воспитание: как стать хорошим отцом Мужской взгляд на воспитание: как стать хорошим отцом

С какими вызовами сталкиваются современные папы и как их преодолевать?

Psychologies
Какого разоблачения боялся Пол Уокер? Тайные романы звезд, о которых стало известно только после их смерти Какого разоблачения боялся Пол Уокер? Тайные романы звезд, о которых стало известно только после их смерти

Секреты знаменитостей, ставшие достоянием общественности уже после их смерти

VOICE
Вопрос, который волнует многих: попадет ли когда-нибудь прыгающий логотип DVD четко в угол? Вопрос, который волнует многих: попадет ли когда-нибудь прыгающий логотип DVD четко в угол?

Сколько времени пришлось бы ждать, чтобы застать попадание логотипа в угол?

ТехИнсайдер
Нельзя помиловать: что означает наказание Федотова и ЦСКА международной федерацией Нельзя помиловать: что означает наказание Федотова и ЦСКА международной федерацией

О точке в скандальном деле вратаря Ивана Федотова

Forbes
Ученые из Гарварда выяснили, чем опасен «социальный джетлаг» для здоровья Ученые из Гарварда выяснили, чем опасен «социальный джетлаг» для здоровья

«Социальный джетлаг» приводит к ухудшению питания и заболеваниям кишечника

Inc.
Что такое клетчатка, в чем ее польза и почему она нужна для похудения Что такое клетчатка, в чем ее польза и почему она нужна для похудения

Как клетчатка влияет на человеческий организм?

РБК
Водителя четырежды ошибочно лишили прав. Он узнал об этом на «Госуслугах» Водителя четырежды ошибочно лишили прав. Он узнал об этом на «Госуслугах»

Водитель узнал, что уже четыре раза подряд лишен водительского удостоверения

РБК
Виктория Портфолио Виктория Портфолио

Виктория Портфолио — самый профессиональный инфлюенсер Петербурга

Собака.ru
«Тампон почти убил меня»! Как модель потеряли ноги из-за синдрома токсического шока «Тампон почти убил меня»! Как модель потеряли ноги из-за синдрома токсического шока

Средства интимной гигиены сделали молодую девушки инвалидом

ТехИнсайдер
5 причин, почему фантастика Айзека Азимова остается актуальной и сегодня 5 причин, почему фантастика Айзека Азимова остается актуальной и сегодня

Произведения Айзека Азимова, которые нужно прочесть

Maxim
Выбор принцессы: солнцезащитные очки, как у принцессы Дианы - 8 стильных моделей Выбор принцессы: солнцезащитные очки, как у принцессы Дианы - 8 стильных моделей

Хочешь выглядеть, как королевская особа – учись у настоящей принцессы

VOICE
Что такое кэш и как его очистить? Просто о сложном Что такое кэш и как его очистить? Просто о сложном

Кэш: объясняем, что это такое и почему вы должны его чистить

CHIP
Мыши с ГМ-клетками послушали группу Queen и выработали инсулин Мыши с ГМ-клетками послушали группу Queen и выработали инсулин

Ученые внедрили механочувствительные рецепторы в клетки, вырабатывающие инсулин

N+1
Почти как там Почти как там

Каких продуктов не хватает российским шеф-поварам, а без чего прожить можно?

Bones
Открыть в приложении