Отрывок из книги Стюарта Рассела об искусственном интеллекте

N+1Культура

«Совместимость. Как контролировать искусственный интеллект»

Конфликт сверхразумного искусственного интеллекта с человечеством — излюбленный сюжет массовой культуры. Но что произойдет, если мы в самом деле создадим ИИ, который будет могущественнее нас? В книге «Совместимость. Как контролировать искусственный интеллект» (издательство «Альпина нон-фикшн»), переведенной на русский язык Натальей Колпаковой, исследователь ИИ Стюарт Рассел рассказывает, где мы уже используем искусственный интеллект и как не допустить его выхода из-под контроля. N + 1 предлагает своим читателям ознакомиться с отрывком, в котором автор рассуждает, почему после исчезновения технических ограничений человек рискует поставить ИИ задачу, выполнение которой обернется трагедией — и что необходимо сделать, чтобы этого не допустить.

«Проблема царя Мидаса»

 

Норберт Винер, с которым мы познакомились в главе 1, оказал громадное влияние на многие сферы, включая теорию ИИ, когнитивные науки и теорию управления. В отличие от большинства своих современников, он был серьезно обеспокоен непредсказуемостью комплексных систем, действующих в реальном мире. (Он написал первую статью на эту тему в десятилетнем возрасте.) Винер пришел к убеждению, что неоправданная уверенность ученых и инженеров в своей способности контролировать собственные творения, будь то военного или гражданского назначения, может иметь катастрофические последствия.

В 1950 г. Винер опубликовал книгу «Человеческое использование человеческих существ», аннотация на обложке которой гласит: «“Механический мозг” и подобные машины могут уничтожить человеческие ценности или дать нам возможность реализовать их как никогда прежде». Он постепенно шлифовал свои идеи и к 1960 г. выделил основную проблему — невозможность правильно и исчерпывающе определить истинное предназначение человека. Это, в свою очередь, означает, что упомянутая выше стандартная модель — когда люди пытаются наделить машины собственными целями — обречена на неудачу.

Мы можем назвать эту идею «проблемой царя Мидаса». Царь Мидас, персонаж древнегреческой мифологии, получил буквально то, о чем просил, — а именно, чтобы все, к чему он прикасается, превращалось в золото. Он слишком поздно понял, что это также относится к его пище, питью и членам семьи, и умер от голода в полном отчаянии. Эта тема присутствует повсеместно в мифах человечества. Винер цитирует отрывки из сказки Гёте об ученике чародея, который заколдовал помело, заставив его ходить по воду, но не сказал, сколько нужно принести воды, и не знал, как заставить помело остановиться.

Если выразить эту мысль применительно к нашей теме, мы рискуем потерпеть неудачу при согласовании ценностей — возможно, непреднамеренно поставить перед машинами задачи, противоречащие нашим собственным. Вплоть до недавнего времени нас защищали от возможных катастрофических последствий ограниченные возможности интеллектуальных машин и пределы их влияния на мир. (Действительно, большая часть работы над ИИ делалась на модельных задачах в исследовательских лабораториях.) Как указывает Норберт Винер в своей книге «Бог и Голем», изданной в 1964 г.:

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Неизбежно Неизбежно

12 технологических трендов, которые определяют наше будущее

kiozk originals
Бамбуково-тростниковый стаканчик разложился наполовину за два месяца в земле Бамбуково-тростниковый стаканчик разложился наполовину за два месяца в земле

Одноразовая посуда, которая выигрывает у конкурентов

N+1
«Не со мной»: как мы реагируем на насилие по отношению к другим «Не со мной»: как мы реагируем на насилие по отношению к другим

Почему мы иногда замираем от ужаса, увидев ссору или драку?

Psychologies
Не отнять, а стимулировать: зачем экономисты предложили повышать налоги в кризис Не отнять, а стимулировать: зачем экономисты предложили повышать налоги в кризис

Как повышение налогов может помочь экономике на этапе ее выхода из кризиса

Forbes
Правила жизни Итана Хоука Правила жизни Итана Хоука

Правила жизни актера Итана Хоука

Esquire
7 знаменитых актеров, у которых нет ни одной хорошей роли в кино 7 знаменитых актеров, у которых нет ни одной хорошей роли в кино

Халтура — карьере не помеха

Maxim
Убивающий тасманийских дьяволов рак оказался эволюционно консервативным Убивающий тасманийских дьяволов рак оказался эволюционно консервативным

Инфекционный рак поставил тасманийских дьяволов на грань вымирания

N+1
«Ход королевы»: шахматы, зависимость и никакой политики в новом сериале Netflix «Ход королевы»: шахматы, зависимость и никакой политики в новом сериале Netflix

Интеллектуальная драма от режиссера «Логана» с Аней Тейлор-Джой в главной роли

GQ
20 ошибок при самостоятельном окрашивании волос, которых легко избежать 20 ошибок при самостоятельном окрашивании волос, которых легко избежать

Что греха таить: все мы периодически красим (и портим) волосы дома

Cosmopolitan
Одна вокруг света. Сколько стоит переправиться через океан Одна вокруг света. Сколько стоит переправиться через океан

97-я серия о кругосветном путешествии москвички Ирины Сидоренко

Forbes
Большая Засечная черта. Часть 1 Большая Засечная черта. Часть 1

История одного из крупнейших фортификационных сооружений Российского государства

Культура.РФ
Жизнь в космосе скрывают подледные океаны: цивилизации глубин Жизнь в космосе скрывают подледные океаны: цивилизации глубин

Разумные формы жизни на других планетах могут обитать в подледных океанах

Популярная механика
Ода мозжечку Ода мозжечку

Мозжечок — координатор движений и «графический процессор» в теле человека

Популярная механика
Нейросеть напрямую определила пищевую ценность блюда по фотографии Нейросеть напрямую определила пищевую ценность блюда по фотографии

Новый алгоритм напрямую определяет содержание белков, жиров и углеводов в блюдах

N+1
Сон как самая большая загадка эволюции. Почему мы спим, зачем и можем ли этого не делать? (Спойлер: ученые не знают) Сон как самая большая загадка эволюции. Почему мы спим, зачем и можем ли этого не делать? (Спойлер: ученые не знают)

Что вообще такое сон, для чего он нам и почему все животные так в нем нуждаются?

Популярная механика
Как Окинава стала островом с самым высоким в мире процентом долгожителей Как Окинава стала островом с самым высоким в мире процентом долгожителей

Окинава — эта не та привычная нам всем Япония

Maxim
«Corvette лучше Porsche». 5 автомобильных историй из жизни Джо Байдена «Corvette лучше Porsche». 5 автомобильных историй из жизни Джо Байдена

Кандидат в президенты США недолюбливает Porsche 911 и фанатеет от Corvette

РБК
Забытый защитник Москвы Забытый защитник Москвы

В 1382 году оборону Москвы возглавил литовский князь, внук Ольгерда

Дилетант
Книжная полочка Книжная полочка

Авторы подкаста «Мам, почитай!» советуют четыре истории на зимние каникулы

Glamour
Холодный расчет Холодный расчет

Как скорректировать рацион в холода, чтобы не набрать вес?

Лиза
Прокачай себя! Тренировка c REBOOT LIVE # 7. Программа Arms&Shoulders Прокачай себя! Тренировка c REBOOT LIVE # 7. Программа Arms&Shoulders

Новый цикл упражнений: для мышц рук, спины, плечевого пояса

Maxim
Шесть «сюрпризов» зимы Шесть «сюрпризов» зимы

Объясняем, как избежать вредного влияния центрального отопления в помещениях

Здоровье
Мрачные тени: как избавиться от тяжелых воспоминаний о прошлом Мрачные тени: как избавиться от тяжелых воспоминаний о прошлом

Что делать, если прошлое мешает тебе жить

Cosmopolitan
Жесткая конкуренция Жесткая конкуренция

История медиавойны между Playboy и его амбициозным подражателем

Playboy
Радуга над мысом Горн Радуга над мысом Горн

История одного морского круиза

Наука и жизнь
Это табу! Это табу!

7 принципов, которыми нельзя жертвовать ради мужчины

Лиза
8 поразительных фактов о «Фердинанде» — самой грозной самоходке Второй мировой 8 поразительных фактов о «Фердинанде» — самой грозной самоходке Второй мировой

Пробить этого гиганта в лоб не мог никто

Maxim
Школьные травмы моих взрослых учеников Школьные травмы моих взрослых учеников

В успешных взрослых людях могут прятаться запуганные школьными учителями дети

Psychologies
Девушка из «Завтрака у Тиффани»: как Маргарет Литтман вдохновила Трумена Капоте и собрала миллионы долларов на борьбу с ВИЧ Девушка из «Завтрака у Тиффани»: как Маргарет Литтман вдохновила Трумена Капоте и собрала миллионы долларов на борьбу с ВИЧ

Какой была Маргарет Литтман — прообраз героини Хепберн в «Завтраке у Тиффани»

Forbes
Что полезно знать до беременности Что полезно знать до беременности

Планирование беременности

9 месяцев
Открыть в приложении