Новый метод обучения поможет роботам исследовать неизвестный окружающий мир

ТехИнсайдерHi-Tech

Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Новый метод обучения с подкреплением, разработанный Tinkoff Research, поможет роботам исследовать неизвестный окружающий мир и не погибнуть при этом исследовании. Метод получил название SAC-RND (Soft Actor Critic — Random Network Distillation). Он работает в 20 раз быстрее и надежнее, чем аналогичные разработки других ИИ-компаний.

Владимир Губайловский

6163a12bd08659e6198670497e8dd18a_ce_1545x1030x515x0.jpg
Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Неизвестность — это всегда опасность. Исследование неизвестной среды требует в первую очередь точности и осторожности.

М

етод обучения с подкреплением, получивший название RND (random network distillation) разработали в 2018 году в компании OpenAI. Разработали, потому что встали в тупик. ИИ-агенты замечательно (или по крайней мере неплохо) играли во все игры Atari кроме одной — «Месть Монтесумы». В среднем человек набирает в эту игру 4700 очков, а ИИ-агенты, разработанные OpenAI, четко набирали 0. И было непонятно, почему такой отличный метод, как обучение с подкреплением в этом случае не работает.

И тогда инженеры OpenAI изменили стратегию вознаграждения (подкрепления). Они сказали ИИ-агенту: самая большая твоя награда — это новые знания. То есть, самая интересная ситуация та, которую трудно предсказать. Если ты не знаешь, что там за углом, стоит свернуть. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Настоящие произведения искусства: топ-5 самых красивых паспортов в мире Настоящие произведения искусства: топ-5 самых красивых паспортов в мире

Развороты некоторых паспортов можно смело вывешивать в галереях. Посмотрите!

ТехИнсайдер
3 типа привязанности: как от них зависят наши отношения с мужчинами 3 типа привязанности: как от них зависят наши отношения с мужчинами

Определи свой (и его) тип привязанности — и узнаешь, что со всем этим делать

VOICE
DDoSтать до потолка: как и почему за 2024 год изменились сетевые кибератаки DDoSтать до потолка: как и почему за 2024 год изменились сетевые кибератаки

Как изменился ландшафт DDoS и что этому способствовало

Forbes
Сломанные ребра, радиоактивная косметика и глисты для похудения: как женщины прошлого издевались над собой ради красоты Сломанные ребра, радиоактивная косметика и глисты для похудения: как женщины прошлого издевались над собой ради красоты

Бьюти-процедуры из прошлого, в существование которых сегодня верится с трудом

ТехИнсайдер
Развод и утрата: как справиться с последствиями Развод и утрата: как справиться с последствиями

Как утрата влияет на наше психологическое состояние?

VOICE
Сад с продолжением Сад с продолжением

Ежегодно садоводам требуется 24 млн саженцев плодово-ягодных культур

Агроинвестор
Вымойте это немедленно: 10 самых грязных продуктов на полках в супермаркете Вымойте это немедленно: 10 самых грязных продуктов на полках в супермаркете

Первым делом, придя из продуктового магазина, помойте эти продукты!

ТехИнсайдер
Выжать все лишнее. Продукты, вызывающие отеки (не ешь их на ночь) Выжать все лишнее. Продукты, вызывающие отеки (не ешь их на ночь)

Иногда проблема отечности связана с неправильным питанием

Лиза
Живем ли мы в разных Россиях: как различаются возможности женщин в регионах Живем ли мы в разных Россиях: как различаются возможности женщин в регионах

Регионы отличаются друг от друга, и женщины в них живут по-разному

Forbes
Волшебный порошок: на что способна хозяйственная бура Волшебный порошок: на что способна хозяйственная бура

Вот как можно использовать хозяйственную буру в быту

ТехИнсайдер
Останки людей из Атапуэрки датировали эпохой раннего неолита Останки людей из Атапуэрки датировали эпохой раннего неолита

Ученые исследовали останки людей, найденные на памятнике Галерея-дель-Силекс

N+1
Кто придумал наркоз и гипс Кто придумал наркоз и гипс

История изобретения наркоза и гипса

СНОБ
Песня о родинке: как выявить опасное новообразование на коже и удалить его Песня о родинке: как выявить опасное новообразование на коже и удалить его

Что такое родинка и как понять, что она опасна?

Правила жизни
Король-крыса. Как жил и побеждал гонщик Ники Лауда Король-крыса. Как жил и побеждал гонщик Ники Лауда

Ники Лауда: обменять богатство на острые ощущения и поставить на кон жизнь

РБК
Дизайн блюда Дизайн блюда

В молодости я никогда не думал, что стану поваром, который сам придумывает блюда

Bones
Сплетни или правдивые слухи: 5 неожиданных исторических фактов из гущи событий Российской империи Сплетни или правдивые слухи: 5 неожиданных исторических фактов из гущи событий Российской империи

Российская империя с XVIII и до начала XX века была полна слухов

ТехИнсайдер
Беспилотник научили парить почти без затрат энергии Беспилотник научили парить почти без затрат энергии

Система управления беспилотника находит оптимальные точки в воздушных потоках

N+1
На птичьем языке На птичьем языке

В северных турецких горах спрятана небольшая деревенька под названием Кушкёй

Вокруг света
«Я будто умираю»: Татьяна Титова рассказала о роковом предсказании Веры Васильевой «Я будто умираю»: Татьяна Титова рассказала о роковом предсказании Веры Васильевой

Вера Васильева предчувствовала свой уход из жизни

VOICE
Опосредованные углеродные выбросы мясоедов превзошли выбросы веганов в три раза Опосредованные углеродные выбросы мясоедов превзошли выбросы веганов в три раза

Если сократить потребление мяса, то можно снизить выбросы углекислого газа

N+1
Феномен курортных романов: почему отдыхающие охотнее идут на измену Феномен курортных романов: почему отдыхающие охотнее идут на измену

В чем причина того, что люди на курортах легче решаются на измену?

Psychologies
За последние 40 лет вокруг Китая стало в восемь раз больше бедных кислородом вод За последние 40 лет вокруг Китая стало в восемь раз больше бедных кислородом вод

Почему есть высокие риски утраты биоразнообразия для местных морских экосистем

N+1
Когда идет дождь: 5 летних образов для плохой погоды Когда идет дождь: 5 летних образов для плохой погоды

Новые стильные образы и крутые модные решения в дождь

VOICE
Рубль с дополнениями: к чему может привести оцифровка российской валюты Рубль с дополнениями: к чему может привести оцифровка российской валюты

При использовании цифрового рубля может возникнуть ряд проблем

Forbes
Игра во втором составе Игра во втором составе

Как отчиму завоевать доверие и не перегнуть палку?

Psychologies
Лучшие друзья — это репликанты: 10 фильмов об отношениях людей с роботами Лучшие друзья — это репликанты: 10 фильмов об отношениях людей с роботами

Мы собрали 10 фильмов об отношениях людей с ИИ

Правила жизни
Юрская рыба подавилась аммонитом Юрская рыба подавилась аммонитом

Немецкие палеонтологи описали окаменелость раннеюрской рыбы

N+1
«Особняк на колесах»: как устроена жизнь внутри двухэтажного люкс-грузовика «Особняк на колесах»: как устроена жизнь внутри двухэтажного люкс-грузовика

Дом на колесах Elemment Palazzo Superior поразит самого привередливого туриста

ТехИнсайдер
«Цезарь идёт!» «Цезарь идёт!»

«Alea iacta est» — то ли сказал, то ли не сказал Цезарь, когда переходил Рубикон

Дилетант
Ранняя слава, внебрачный сын и страшная болезнь: какой была жизнь самого «русского» итальянца Тото Кутуньо Ранняя слава, внебрачный сын и страшная болезнь: какой была жизнь самого «русского» итальянца Тото Кутуньо

Вспоминаем счастливые моменты и трагедии жизни Тото Кутуньо

VOICE
Открыть в приложении