Отрывок из книги Стюарта Рассела об искусственном интеллекте

N+1Культура

«Совместимость. Как контролировать искусственный интеллект»

Конфликт сверхразумного искусственного интеллекта с человечеством — излюбленный сюжет массовой культуры. Но что произойдет, если мы в самом деле создадим ИИ, который будет могущественнее нас? В книге «Совместимость. Как контролировать искусственный интеллект» (издательство «Альпина нон-фикшн»), переведенной на русский язык Натальей Колпаковой, исследователь ИИ Стюарт Рассел рассказывает, где мы уже используем искусственный интеллект и как не допустить его выхода из-под контроля. N + 1 предлагает своим читателям ознакомиться с отрывком, в котором автор рассуждает, почему после исчезновения технических ограничений человек рискует поставить ИИ задачу, выполнение которой обернется трагедией — и что необходимо сделать, чтобы этого не допустить.

«Проблема царя Мидаса»

 

Норберт Винер, с которым мы познакомились в главе 1, оказал громадное влияние на многие сферы, включая теорию ИИ, когнитивные науки и теорию управления. В отличие от большинства своих современников, он был серьезно обеспокоен непредсказуемостью комплексных систем, действующих в реальном мире. (Он написал первую статью на эту тему в десятилетнем возрасте.) Винер пришел к убеждению, что неоправданная уверенность ученых и инженеров в своей способности контролировать собственные творения, будь то военного или гражданского назначения, может иметь катастрофические последствия.

В 1950 г. Винер опубликовал книгу «Человеческое использование человеческих существ», аннотация на обложке которой гласит: «“Механический мозг” и подобные машины могут уничтожить человеческие ценности или дать нам возможность реализовать их как никогда прежде». Он постепенно шлифовал свои идеи и к 1960 г. выделил основную проблему — невозможность правильно и исчерпывающе определить истинное предназначение человека. Это, в свою очередь, означает, что упомянутая выше стандартная модель — когда люди пытаются наделить машины собственными целями — обречена на неудачу.

Мы можем назвать эту идею «проблемой царя Мидаса». Царь Мидас, персонаж древнегреческой мифологии, получил буквально то, о чем просил, — а именно, чтобы все, к чему он прикасается, превращалось в золото. Он слишком поздно понял, что это также относится к его пище, питью и членам семьи, и умер от голода в полном отчаянии. Эта тема присутствует повсеместно в мифах человечества. Винер цитирует отрывки из сказки Гёте об ученике чародея, который заколдовал помело, заставив его ходить по воду, но не сказал, сколько нужно принести воды, и не знал, как заставить помело остановиться.

Если выразить эту мысль применительно к нашей теме, мы рискуем потерпеть неудачу при согласовании ценностей — возможно, непреднамеренно поставить перед машинами задачи, противоречащие нашим собственным. Вплоть до недавнего времени нас защищали от возможных катастрофических последствий ограниченные возможности интеллектуальных машин и пределы их влияния на мир. (Действительно, большая часть работы над ИИ делалась на модельных задачах в исследовательских лабораториях.) Как указывает Норберт Винер в своей книге «Бог и Голем», изданной в 1964 г.:

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Кризис в красной зоне Кризис в красной зоне

История о самой смертоносной вспышке Эболы

kiozk originals
Плащ «казак» мушкетёров короля Плащ «казак» мушкетёров короля

Одежда, по которой мы узнаём королевских мушкетёров в фильмах

Дилетант
Одевает Цукерберга, запрещает перерабатывать и реставрирует города: история основателя бренда Brunello Cucinelli Одевает Цукерберга, запрещает перерабатывать и реставрирует города: история основателя бренда Brunello Cucinelli

Итальянский дизайнер заработал состояние в $1,4 млрд

VC.RU
Мыльная опера королевского ранга: рассказываем о четвертом сезоне Мыльная опера королевского ранга: рассказываем о четвертом сезоне

Четвертый сезон «Короны» — 1980, Маргарет Тэтчер и принцесса Уэльская Диана

Esquire
Дыхательная гимнастика Стрельниковой: упражнения, эффективность, отзывы Дыхательная гимнастика Стрельниковой: упражнения, эффективность, отзывы

Разбираемся, что такое дыхательная гимнастика Стрельниковой и кому она полезна

РБК
Гонка лоялистов: откуда идет волна репрессивного законотворчества Гонка лоялистов: откуда идет волна репрессивного законотворчества

Кто и зачем продвигает репрессивную компанию в законодательстве

Forbes
Еще 7 брендов General Motors, которых больше не существует Еще 7 брендов General Motors, которых больше не существует

Вспоминаем, какими марками владела GM раньше: часть 2

Популярная механика
Марта Кетро о великолепных мужчинах: что остаётся после ярких романов Марта Кетро о великолепных мужчинах: что остаётся после ярких романов

Сильные и талантливые мужчины иной раз оставляют огромный след в наших жизнях

Cosmopolitan
8 книг об окружающем мире для взрослых и детей 8 книг об окружающем мире для взрослых и детей

Книги про космос, географию и естественные науки для всей семьи

Популярная механика
Как распознать киберпреступников в «черную пятницу» Как распознать киберпреступников в «черную пятницу»

Эксперт рассказывает, как распознать киберпреступников в дни распродаж

СНОБ
«Африканцы глупее других!»: 6 самых громких скандалов из-за Нобелевской премии «Африканцы глупее других!»: 6 самых громких скандалов из-за Нобелевской премии

В чем упрекают этих нобелевских лауреатов

Cosmopolitan
13 крутейших танцев в фильмах в исполнении крутых мужских персонажей 13 крутейших танцев в фильмах в исполнении крутых мужских персонажей

Важная часть крутого мужского персонажа — умение сногсшибательно танцевать

Maxim
«Почему я плету индейские мандалы» «Почему я плету индейские мандалы»

Это древнее рукоделие помогло нашей героине пережить большое горе

Psychologies
Самый распространенный сленг из компьютерных игр, и как его использовать в реальной жизни Самый распространенный сленг из компьютерных игр, и как его использовать в реальной жизни

Если тебе надоело скрывать от коллег, что считаешь их орками

Maxim
Роман Супер: «Эдуард Успенский – по сути панк» Роман Супер: «Эдуард Успенский – по сути панк»

Разговор с автором документального фильма об Эдуарде Успенском

GQ
Городские чайки выследили идущих на обед школьников Городские чайки выследили идущих на обед школьников

Кроме того, птицы ориентировались на работу центра сбора мусора

N+1
Идеал не в тренде Идеал не в тренде

Что такое красота сегодня?

Огонёк
Сыграли в любовь! Актеры, которые после расставания продолжили сниматься вместе Сыграли в любовь! Актеры, которые после расставания продолжили сниматься вместе

Кому из знаменитостей удалось поддерживать отношения на съемках после разрыва

Cosmopolitan
3 секрета Кейт Бекинсейл 3 секрета Кейт Бекинсейл

Ее называют самой привлекательной британской актрисой последнего десятилетия

Худеем правильно
Секреты даосских практик: три упражнения, которые вернут лицу красоту Секреты даосских практик: три упражнения, которые вернут лицу красоту

Ваша осанка подскажет, как сохранить красоту тела надолго

Psychologies
А теперь — Горбатый!.. За что мы любим Армена Джигарханяна А теперь — Горбатый!.. За что мы любим Армена Джигарханяна

Армен Джигарханян ушел — и нам грустно. Хотя…

Maxim
Музыкант 2020 года: Моргенштерн Музыкант 2020 года: Моргенштерн

Моргенштерн — автор самых популярных и самых неразборчивых треков в 2020 году

GQ
К баллистическому будущему К баллистическому будущему

Траектория движения космических аппаратов строится с учетом разных соображений

Популярная механика
Какие американские президенты были в хороших отношениях с Россией и чем это закончилось Какие американские президенты были в хороших отношениях с Россией и чем это закончилось

Мир и дружба до появления жвачки

Maxim
Генеральный директор Ленинской библиотеки — о чтении и привидениях Генеральный директор Ленинской библиотеки — о чтении и привидениях

Генеральный директор Ленинской библиотеки о приметах и вызовах времени

РБК
В Мьянме открыли новый вид обезьян. Он уже под угрозой исчезновения В Мьянме открыли новый вид обезьян. Он уже под угрозой исчезновения

Численность нового вида составляет всего 199-259 особей

N+1
Мало, мало, мало огня Мало, мало, мало огня

Год, когда непостижимость божественного замысла включилась на максимум

Tatler
Какие пуховики и куртки сильно полнят — 9 моделей, которых лучше избегать Какие пуховики и куртки сильно полнят — 9 моделей, которых лучше избегать

Самые опасные фасоны, фактуры и расцветки пуховиков

Cosmopolitan
Отрывок из книги Патриции Черчленд «Совесть. Происхождение нравственной интуиции» Отрывок из книги Патриции Черчленд «Совесть. Происхождение нравственной интуиции»

Глава из книги Патриции Черчленд, посвященная равновесию в суждениях

СНОБ
Даже лучший алгоритм может навредить человеку Даже лучший алгоритм может навредить человеку

Олег Бяхов — об этичных трендах и общении с искусственным интеллектом

РБК
Открыть в приложении