Отрывок из книги Стюарта Рассела об искусственном интеллекте

N+1Культура

«Совместимость. Как контролировать искусственный интеллект»

Конфликт сверхразумного искусственного интеллекта с человечеством — излюбленный сюжет массовой культуры. Но что произойдет, если мы в самом деле создадим ИИ, который будет могущественнее нас? В книге «Совместимость. Как контролировать искусственный интеллект» (издательство «Альпина нон-фикшн»), переведенной на русский язык Натальей Колпаковой, исследователь ИИ Стюарт Рассел рассказывает, где мы уже используем искусственный интеллект и как не допустить его выхода из-под контроля. N + 1 предлагает своим читателям ознакомиться с отрывком, в котором автор рассуждает, почему после исчезновения технических ограничений человек рискует поставить ИИ задачу, выполнение которой обернется трагедией — и что необходимо сделать, чтобы этого не допустить.

«Проблема царя Мидаса»

 

Норберт Винер, с которым мы познакомились в главе 1, оказал громадное влияние на многие сферы, включая теорию ИИ, когнитивные науки и теорию управления. В отличие от большинства своих современников, он был серьезно обеспокоен непредсказуемостью комплексных систем, действующих в реальном мире. (Он написал первую статью на эту тему в десятилетнем возрасте.) Винер пришел к убеждению, что неоправданная уверенность ученых и инженеров в своей способности контролировать собственные творения, будь то военного или гражданского назначения, может иметь катастрофические последствия.

В 1950 г. Винер опубликовал книгу «Человеческое использование человеческих существ», аннотация на обложке которой гласит: «“Механический мозг” и подобные машины могут уничтожить человеческие ценности или дать нам возможность реализовать их как никогда прежде». Он постепенно шлифовал свои идеи и к 1960 г. выделил основную проблему — невозможность правильно и исчерпывающе определить истинное предназначение человека. Это, в свою очередь, означает, что упомянутая выше стандартная модель — когда люди пытаются наделить машины собственными целями — обречена на неудачу.

Мы можем назвать эту идею «проблемой царя Мидаса». Царь Мидас, персонаж древнегреческой мифологии, получил буквально то, о чем просил, — а именно, чтобы все, к чему он прикасается, превращалось в золото. Он слишком поздно понял, что это также относится к его пище, питью и членам семьи, и умер от голода в полном отчаянии. Эта тема присутствует повсеместно в мифах человечества. Винер цитирует отрывки из сказки Гёте об ученике чародея, который заколдовал помело, заставив его ходить по воду, но не сказал, сколько нужно принести воды, и не знал, как заставить помело остановиться.

Если выразить эту мысль применительно к нашей теме, мы рискуем потерпеть неудачу при согласовании ценностей — возможно, непреднамеренно поставить перед машинами задачи, противоречащие нашим собственным. Вплоть до недавнего времени нас защищали от возможных катастрофических последствий ограниченные возможности интеллектуальных машин и пределы их влияния на мир. (Действительно, большая часть работы над ИИ делалась на модельных задачах в исследовательских лабораториях.) Как указывает Норберт Винер в своей книге «Бог и Голем», изданной в 1964 г.:

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Неизбежно Неизбежно

12 технологических трендов, которые определяют наше будущее

kiozk originals
Избавиться от зависти за 6 шагов Избавиться от зависти за 6 шагов

Почему мы завидуем?

Psychologies
Валентина Шевченко: «Я не позволю никому отнять мой титул» Валентина Шевченко: «Я не позволю никому отнять мой титул»

Мы поговорили с чемпионкой UFC накануне ее четвертой защиты пояса

GQ
Меняю автомат на беспилотник Меняю автомат на беспилотник

Первое боестолкновение, где решающую роль сыграли беспилотные дроны

Популярная механика
Gartner назвала 10 способов быстро сократить расходы на ИТ в кризис Gartner назвала 10 способов быстро сократить расходы на ИТ в кризис

Как управлять затратами на ИТ в кризис

Inc.
Самый лучший компьютер, которого ни у кого не было: краткая история NeXT Самый лучший компьютер, которого ни у кого не было: краткая история NeXT

Как выглядел прадед iOS

Maxim
Первый слой: как правильно выбрать термобелье и как за ним ухаживать Первый слой: как правильно выбрать термобелье и как за ним ухаживать

Термобелье может существенно улучшить вашу жизнь с наступлением холодов

Esquire
Первый концлагерь, первый теракт и еще 6 адских исторических первенцев Первый концлагерь, первый теракт и еще 6 адских исторических первенцев

Они были первыми. Но лучше бы их не было!

Maxim
Поимка «тихого убийцы» Поимка «тихого убийцы»

Нобелевская премия 2020 года присуждена за открытие вируса гепатита C

Наука и жизнь
Дружба с ведущими кутюрье и французские фасоны в СССР: что Майя Плисецкая сделала для моды Дружба с ведущими кутюрье и французские фасоны в СССР: что Майя Плисецкая сделала для моды

Рассказываем, что связывает Майю Плисецкую с мировой модой

Esquire
Да ты «Псих»: каким получился первый сериал Федора Бондарчука Да ты «Псих»: каким получился первый сериал Федора Бондарчука

Какой жизнь предстает в сериале «Псих» от Федора Бондарчука

РБК
Брак на всю жизнь: как живет вдова Олега Янковского Брак на всю жизнь: как живет вдова Олега Янковского

Олег Янковский прожил с одной женщиной — Людмилой Зориной — долгие 47 лет

Cosmopolitan
7 фактов о Стивене Хокинге, которых вы не знали 7 фактов о Стивене Хокинге, которых вы не знали

Стивен Хокинг писал детские книги и был дерзким водителем инвалидной коляски

Популярная механика
Умная почка Умная почка

Почки создают условия для высокой эффективности работы клеток всех органов

Наука и жизнь
Правила жизни Натальи Бонк Правила жизни Натальи Бонк

Правила жизни лингвиста и педагога Натальи Бонк

Esquire
Это табу! Это табу!

7 принципов, которыми нельзя жертвовать ради мужчины

Лиза
Любовь на миллиард: жены — настоящие и бывшие — 10 богатейших мужчин России Любовь на миллиард: жены — настоящие и бывшие — 10 богатейших мужчин России

Кого любят, кому изменяют и от кого уходят самые богатые мужчины страны?

Cosmopolitan
Школа «маленьких капитанов» Школа «маленьких капитанов»

Вспоминаем историю первого кадетского корпуса

Культура.РФ
История одного необычного мальчика История одного необычного мальчика

Даже если ребенку поставил диагноз психиатр, это не окончательный приговор

СНОБ
Тягач и полицейская BMW. Какие автомобили любил Диего Марадона Тягач и полицейская BMW. Какие автомобили любил Диего Марадона

Porsche, огромный тягач и другие автомобили в жизни Диего Марадоны

РБК
Идеальный цвет лица: 20 классных лайфхаков от визажистов Идеальный цвет лица: 20 классных лайфхаков от визажистов

Учимся создавать идеальный тон лица у ведущих визажистов

Cosmopolitan
Волшебные пузырьки Волшебные пузырьки

Чтобы игристое вино приносило только радость, учитесь правильно читать этикетку

Добрые советы
Премьера клипа «Космические силы» группы «Мумий Тролль» Премьера клипа «Космические силы» группы «Мумий Тролль»

Можно ли сегодня молчать об экологической обстановке?

СНОБ
Как Путин, Лавров и Шойгу проиграли войну в Карабахе Как Путин, Лавров и Шойгу проиграли войну в Карабахе

Москва окончательно потеряла влияние на постсоветском пространстве

СНОБ
Токсичные отношения Токсичные отношения

Почему детокс принесет вам хорошие дивиденды

GQ
«Король» гормонов, гормон королей «Король» гормонов, гормон королей

Как мужской гормон тестостерон помогает женщинам похудеть

Худеем правильно
Пришла в чувство Пришла в чувство

Актриса Юлия Персильд рассказала, что делать с внезапно нахлынувшим чувством

Grazia
Отказалась от сотрудничества с КГБ и еще 9 фактов о Людмиле Гурченко Отказалась от сотрудничества с КГБ и еще 9 фактов о Людмиле Гурченко

Имя Людмилы Гурченко известно всем россиянам, и это неудивительно

Cosmopolitan
Можно ли восстановить мозг после инсульта и травмы? Интервью с ученым Можно ли восстановить мозг после инсульта и травмы? Интервью с ученым

Академик Штарк о нейротерапии, которая поможет восстановиться после инсульта

РБК
У бобовых нашли рецептор травоядной тревоги У бобовых нашли рецептор травоядной тревоги

Генетики обнаружили в коровьем горохе ген, распознающий нападение травоядных

N+1
Открыть в приложении