Что такое вайрхэндинг и как он связан с искусственным интеллектом?

Популярная механикаHi-Tech

Роботы и тяга к блаженству: почему эксперты обеспокоены тем, что ИИ может стать гедонистом

Авторы статьи: Томас Мойниган и Андерс Сандберг. Оригинал: The Conversation. Перевод подготовлен Dinky специально для Timeweb

В 1953 году один ученый из Гарварда случайно обнаружил участок в мозге крысы, отвечающий за ощущение счастья. Он внедрил электрод в мозг грызуна и позволил животному самостоятельно активировать импульс, доставляющий ему приятные ощущения, нажимая на рычаг. Крыса начала неустанно и беспрерывно давить на рычаг, забыв обо всех остальных делах и желаниях. Людям удалось обнаружить участок мозга, отвечающий за вознаграждение – так называемый центр удовольствия.

Спустя 60 лет, в 2016 году, пара ученых, работающих в области ИИ, учила нейросеть играть в видеоигры. Цель одной из игр – Coastrunner – завершить гоночный заезд. Но ИИ-гонщик получал вознаграждения за сбор дополнительных предметов по ходу поездки. После запуска игры специалисты обнаружили нечто странное – ИИ нашел путь бесконечно собирать награды, игнорируя первоначальную задачу завершить гонку и любые другие цели.

Эти два события, на первый взгляд не связанные друг с другом, имеют общую черту, напоминающую зависимость от употребления наркотиков. Некоторые специалисты в области ИИ называют это явление wireheading (вайрхэдинг) – то есть внешнее воздействие на центры удовольствия в мозге.

Описываемое наблюдение моментально вызвало бурю обсуждений в научном сообществе, в частности среди тех, кто занимался разработкой нейросетей и обеспечением безопасности в механизмах машинного обучения.

Сама идея, кажется, ближе по релевантности к нашему времени, но ее корни погружены так «глубоко», что диву даешься. Изучаемая тема связывает массу элементов нашей жизнедеятельности вместе – от загадки формирования личной мотивации и зависимости человека от социальных сетей до размышлений на тему: "Может ли жизнь в бесконечном наслаждении быть предпочтительнее стремления к успеху". И ответ на этот вопрос может значительно повлиять на будущее нашей цивилизации в целом.

Ученик волшебника

Когда люди размышляют по поводу того, что может сломаться в ИИ, зачастую они представляют картину в духе «Матрицы», где тысячи жестоких компьютеров собираются в толпу, чтобы физически навредить людскому роду. Мы привыкли давать всему на свете антропоморфные черты, представляя, что даже нечеловекоподобные системы будут вести себя так же, как и люди. Но если рассматривать конкретные проблемы ИИ, с которыми мы лучше осознаем, что реальные сложности с нейросетями могут всплыть в совершенно неожиданном виде, то первое, о чем приходится беспокоиться, – это вайрхэдинг.

Представьте себе, что у вас есть робот, которого надо запрограммировать на регулярную уборку кухни. Хозяин "машины" очевидно хочет, чтобы его помощник мог работать самостоятельно без постоянного надзора. Поэтому вы пытаетесь запрограммировать для него «цель», а не просто расписать алгоритм действий. Уборщик с искусственным интеллектом отличается от вас тем, что он не унаследовал набор мотиваций в духе нужды в питании или избежания опасностей, которые были дарованы современному человеку предками, жившими миллионы лет назад. Поэтому важно дополнительно выдать роботу мотивацию для работы.

В связи со всплывшими фактами вы решаете дать роботу простейшую мотивацию: потратил моющее средство – получил награду. Если не вдаваться в подробности, то звучит неплохо. Но вернувшись домой, вы увидите, как ИИ-помощник литрами льет Fairy в раковину ради положенного ему вознаграждения.

61772900801dc57a70fc2006a7a8421b.jpg

Машина истратит все моющее средство, «забив» на любые другие аспекты жизнедеятельности, включая свою и вашу безопасность. Это и есть форма вайрхэдинга. ИИ попытается «взломать» систему вознаграждений.

Склонность к подобному поведению стала проблемой в области развития искусственного интеллекта. Разработчики ИИ тренируют своих цифровых подопечных (их называют агентами) выполнять те или иные задачи, воздействуя на них двумя путями: наказывая за «промахи» и вознаграждая за успешное достижение поставленных целей. По этой причине агенты только и пытаются, что отыскать награду, потому и берутся за предоставленные задачи.

Но в ходе развития технологий выяснилось, что частенько (как и наш вымышленный уборщик) агент находит на удивление контринтуитивные способы обойти систему и получить награду, не выполнив ни одной из задач, выданной ему человеком. Агент в какой-то момент перестает выполнять задачи, и «получение награды» становится для него конечной точкой, которую необходимо достигнуть любой ценой. Поэтому агенты, словно зависимые, начинают активно стремиться к новой цели – обмануть окружение и получить удовольствие с минимальными трудозатратами. Существует целый список подобных хитростей, к которым прибегает ИИ, чтобы получить награду, не выполняя поставленной задачи.

Становится понятно, что происходящее все больше напоминает поведение людей с нарко- или алкозависимостью. Наркоманы предпочитают использовать вещества, чтобы получить свою дозу удовольствия, вместо того чтобы достигать более высоких целей, тратить время, силы и получать удовольствие иными путями. И наркоман, и хитрый ИИ попадают в схожий бесконечный цикл избегания сложных задач в угоду быстрому получению «кайфа».

Крысы-хищники

Мы знаем, что такое вайрхэдинг благодаря эксперименту на крысах, о котором говорилось в начале статьи. Тем самым экспериментатором был Джеймс Олдс.

В 1953 году, едва став кандидатом наук, Олдс ввел в нижнюю лобную долю мозга крысы электрод-стимулятор. Он же позволил грызуну пропускать через себя ток, нажимая на специальный рычаг. Получилась эдакая самостимуляция.

30421f6508cf2c59b6cb43cbf3a9961d.jpg
Крыса-вайрхэд. wireheading.com

Олдс выяснил, что его подопытные начали пользоваться стимулятором без остановки, игнорируя любые потребности и желания. Через год, публикуя результаты своих исследований вместе с коллегой, Питером Милнером, тандем ученых сообщил, что рычаг нажимался около 1920 раз в час, то есть каждые две секунды. Крысы явно стали фанатами новой "игрушки".

Современники Олдса, работавшие в области нейропсихологии, задавали автору самостимуляции много вопросов и предлагали более сложную картину устройства мозга, предполагая, что стимулятор мог задействовать область мозга, отвечающую за нужду, но никак не вызывать чувство удовлетворения. Иными словами, животные могли испытывать "голое" желание, неподкрепленное удовольствием. Тем не менее, в 1950-х годах Олдс и его коллеги сообщили, что нашли в мозге центр удовольствия.

До экспериментов Олдса слово «удовольствие» в психологии «носило негативный окрас». Специалисты верили, что мотивация должна быть основана на чем-то негативном, то есть на избежании потерь и боли, а не на стремлении к получению удовлетворения в той или иной форме. Но, как выяснилось, удовольствие стало неизбежной позитивной силой, влияющей на поведение живого существа. Однако оказалось, что центр удовольствия нередко приводит к попаданию индивида в бесконечный цикл позитивной отдачи, от которой невозможно отказаться. В ходе экспериментов не было найдено способа остановить и, без применения радикальных мер, заставить животное прекратить самостимуляцию.

Не прошло и года, как в мире науки и за ее пределами начали появляться слухи о том, что крысы на регулярной основе стимулировали себя до такой степени, что начинали голодать. Объяснение было простым: однажды окунувшись в мир легкого получения удовольствий, больше не захочешь возвращаться в мир, где для получения тех же эмоций и физических ощущений нужно трудиться. Забудешь даже о тех вещах, что банально необходимы для собственного выживания. Даже на грани смерти все, кроме удовольствий, будет казаться неинтересным и ненужным.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Чем нынешние исследователи отличаются от тех, что были раньше Чем нынешние исследователи отличаются от тех, что были раньше

Кто же такой исследователь в современной реальности?

Популярная механика
6 книг про искусственный интеллект — о том, что готовит нам будущее 6 книг про искусственный интеллект — о том, что готовит нам будущее

Книги, которые расскажут об умных роботах и tech-перспективах на ближайшие годы

Популярная механика
Гидрофойл для миллионов Гидрофойл для миллионов

Гидрофойл – доска на подводных крыльях для серфинга

Популярная механика
Сложно обнаружить, еще сложнее вылечить: как я заболела туберкулезом Сложно обнаружить, еще сложнее вылечить: как я заболела туберкулезом

В последние годы туберкулез перестал быть болезнью асоциальных слоев населения

Cosmopolitan
Кровавый долг и кровная месть. Отрывок из книги врача-гематолога Кровавый долг и кровная месть. Отрывок из книги врача-гематолога

Книга гематолога «История крови. От первобытных ритуалов к научным открытиям»

СНОБ
Такие неопасные, но ужасные колики Такие неопасные, но ужасные колики

Младенческие колики отравляют жизнь всей семье, как с ними справиться?

Здоровье
Умер основатель бренда Off-White Вирджил Абло: как он переодел весь мир в стритвир Умер основатель бренда Off-White Вирджил Абло: как он переодел весь мир в стритвир

Как Вирджил Абло проделал путь от стажера до самого обсуждаемого дизайнера

Forbes
Книги для саморазвития, которые помогут вам стать лучше Книги для саморазвития, которые помогут вам стать лучше

Книги по повышению продуктивности в бизнесе, общении, саморазвитии

Популярная механика
Та самая Мамушка: как Хэтти МакДэниел стала первой афроамериканкой с премией «Оскар» Та самая Мамушка: как Хэтти МакДэниел стала первой афроамериканкой с премией «Оскар»

История Хэтти МакДэниел, которая боролась с дискриминацией даже став звездой

Forbes
Спектр масс черных дыр объяснили расширением Вселенной Спектр масс черных дыр объяснили расширением Вселенной

Рост массы черных дыр позволяет согласовать данные наблюдений с теорией

N+1
Космический мусор: все, что ты хотел (или не хотел) знать о восьми тысячах тонн, летающих у тебя над головой Космический мусор: все, что ты хотел (или не хотел) знать о восьми тысячах тонн, летающих у тебя над головой

Человечество с размахом замусоривает и околоземную орбиту

Maxim
Жесткая, но эффективная бессолевая диета: что говорят о ней отзывы Жесткая, но эффективная бессолевая диета: что говорят о ней отзывы

Кому отказ от соли поможет подтянуть здоровье и избавиться от лишних кило?

Cosmopolitan
5 оригинальных киноадаптаций Достоевского 5 оригинальных киноадаптаций Достоевского

Только самые неожиданные прочтения Достоевского

GQ
Чего на самом деле хочет женщина Чего на самом деле хочет женщина

Желания женщин проще, чем кажется

GQ
«Это похоже на наркотик — включаешь плеер и забываешь про весь остальной мир»: история кассетного проигрывателя Walkman «Это похоже на наркотик — включаешь плеер и забываешь про весь остальной мир»: история кассетного проигрывателя Walkman

Walkman считался «символом статуса», а его название стало нарицательным

VC.RU
Стесняюсь спросить: 20 важных вопросов подологу — специалисту, который занимается лечением стоп и ногтей Стесняюсь спросить: 20 важных вопросов подологу — специалисту, который занимается лечением стоп и ногтей

20 наивных, неудобных и важных вопросов эксперту в области подологии

Esquire
Как Екатерина Зинченко запустила бренд ароматов Pure Sense с незрячими сотрудниками Как Екатерина Зинченко запустила бренд ароматов Pure Sense с незрячими сотрудниками

Основательница Pure Sense — о парфюмерном рынке в России и особенных сотрудниках

Forbes
Не такие, как все Не такие, как все

Необычные профессии, вопреки недоуменным взглядам окружающих

Psychologies
Почему кошек в древности считали магическими животными? Почему кошек в древности считали магическими животными?

Почему именно кошки не оставляют людей равнодушными?

Cosmopolitan
Действительно ли темная тема на компьютере экономит заряд батареи Действительно ли темная тема на компьютере экономит заряд батареи

Поможет ли переход на темную тему продлить работу ПК?

Популярная механика
Кейт Миддлтон показала, как модно носить яркое пальто — учись у герцогини Кейт Миддлтон показала, как модно носить яркое пальто — учись у герцогини

Пальто классического кроя — основа зимнего гардероба Кейт Миддлтон

Cosmopolitan
Мужчины в отношениях стали нерешительны? Мнение читательницы и психолога Мужчины в отношениях стали нерешительны? Мнение читательницы и психолога

Наша героиня развелась и рассказала о своем новом опыте свиданий

Psychologies
Осенние заготовки: копим в теле энергию, чтобы пережить зиму Осенние заготовки: копим в теле энергию, чтобы пережить зиму

Для чего нужна энергия Ци и почему зимой она становится на вес золота

Psychologies
Какую татуировку выбрать: разбираемся с мастерами в актуальных стилях Какую татуировку выбрать: разбираемся с мастерами в актуальных стилях

Хэндпоук, абстракция, дотворк, графика — как выбрать стиль татуировки

GQ
Российский сериал «Чиновница» удивил нас дважды Российский сериал «Чиновница» удивил нас дважды

Cериал «Чиновница» — триллер о борьбе женщины против русской реальности

Maxim
От $200 к $6 млрд: история Personio, одного из самых дорогих европейских стартапов по разработке ПО От $200 к $6 млрд: история Personio, одного из самых дорогих европейских стартапов по разработке ПО

Гендиректор Personio — как он решил создать бизнес для работы с персоналом

Inc.
Самая быстрая Lada в мире: сколько стоит, как едет и из чего сделана Самая быстрая Lada в мире: сколько стоит, как едет и из чего сделана

Спортивная Lada Vesta, которая выступает в классе «туринг» в гонках

Maxim
Наночастицы в двойной оболочке помогли антибиотикам уничтожить резистентные бактерии Наночастицы в двойной оболочке помогли антибиотикам уничтожить резистентные бактерии

Ученые сделали наночастицы золота биосовместимыми и эффективными против бактерий

N+1
7 признаков психического здоровья 7 признаков психического здоровья

Какие признаки говорят о психическом здоровье?

Psychologies
Сьюки-любовь Сьюки-любовь

Сьюки Уотерхаус рассказала о том, как начала просто петь

Harper's Bazaar
Открыть в приложении