«Василиск Роко» продолжает жить и угрожать всем, кто знает о нем

ТехИнсайдерРепортаж

Самый опасный мысленный эксперимент в истории: рождение «Василиска Роко»

12 лет назад на одном онлайн-форуме прозвучала идея, выводы из которой показались участникам слишком пугающими. Они попытались уничтожить все следы своих дискуссий, но интернет помнит все, и сегодня «Василиск Роко» продолжает жить и угрожать всем, кто знает о нем.

Роман Фишман

2e480543cc74705bb5476bb79245cc00_ce_1807x1203x0x173.jpg
Aberdeen University Library Online Collections

В этой истории много «если». Если искусственный интеллект когда-нибудь получит неограниченную власть над человечеством. Если он задастся целью судить людей, оставив лишь «правильных» и жестоко наказав всех «неправильных», ненужных для общего блага. Если вы верите, что такое будущее вполне вероятно, — тогда читать дальше не стоит.

Это первое предупреждение: когда вы доберетесь до конца текста, пути обратно уже не будет.

Кот и демоны

Мысленные эксперименты — древний и уважаемый способ познания. Они позволяют обдумать ситуации, которые сложно или или невозможно воплотить на практике, обсудить приложения законов природы в самых неожиданных обстоятельствах. Можно вспомнить кота Шредингера, одновременные жизнь и смерть которого помогают разобрать некоторые парадоксальные аспекты квантовой механики. Или — термодинамических демонов Максвелла, способных отбирать быстро движущиеся частицы, блокируя движение медленных. Впрочем, термодинамические демоны страшны лишь названием и вполне безобидны. Чего нельзя сказать о «василиске», родившемся в 2010 г.

490cf08378624211c3c4a440d001a924.jpg

Все случилось на онлайн-форуме LessWrong, организованном известным философом и экспертом по искусственному интеллекту Элиезером Юдковским. Его участники обсуждали вопросы современного рационализма, выступая в поддержку максимально точной картины мира, рациональной оценки рисков будущего, выбора общих целей и средств к их достижению. В частности, они развивали концепцию «дружественного ИИ», использование которого должно нести благо всему человечеству.

Приход такого всемогущего существа можно назвать технологической сингулярностью с позитивным исходом. И здесь прозвучит еще одно, последнее предупреждение. История недаром отсылает к василиску, мифическому животному, при взгляде в глаза которого человек окаменевает. Само знание об этом мысленном эксперименте — взгляде в будущее человечества и искусственного интеллекта — может когда-нибудь обернуться для вас неисчислимыми страданиями.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

История Мадлен Астор, беременной молодой жены богача, которая выжила на «Титанике» История Мадлен Астор, беременной молодой жены богача, которая выжила на «Титанике»

Как беременной Мадлен Астор удалось выжить при крушении «Титаника»?

ТехИнсайдер
Расизм эмоционально травмирует людей. Вот что нужно знать Расизм эмоционально травмирует людей. Вот что нужно знать

Почему у расизма есть серьезные последствия

ТехИнсайдер
Зовите на мечту: как предпринимателю собрать команду — советы Александра Мутовина Зовите на мечту: как предпринимателю собрать команду — советы Александра Мутовина

Как собрать команду, с которой бизнес будет расти?

Forbes
«Не давайте отношениям с абьюзером второго шанса»: история одного расставания, рассказанная год спустя «Не давайте отношениям с абьюзером второго шанса»: история одного расставания, рассказанная год спустя

Если мы прощаем абьюзера, то даем второй шанс продолжению насилия

Psychologies
10 самых засмотренных до дыр мультфильмов разных поколений 10 самых засмотренных до дыр мультфильмов разных поколений

Самые засмотренные мультфильмы за все время, разбитые по десятилетиям

Maxim
Какие разработки представили российские ученые в начале 2023 года Какие разработки представили российские ученые в начале 2023 года

Как семена конопли доберутся до кофеен и как фонарик измеряет уровень стресса

СНОБ
Как помочь подростку пережить развод родителей Как помочь подростку пережить развод родителей

Как создать ребенку комфортную среду в период развода и после него?

Psychologies
От романтики гидростанций до дефицита бетона: как в СССР снимали кино о производстве От романтики гидростанций до дефицита бетона: как в СССР снимали кино о производстве

Кино о производстве: от энтузиазма постройки ГЭС до разочарования в системе

Forbes
Дада-люди Дада-люди

Как The Yes Men превратили фейк в искусство

Weekend
Законы притяжения Законы притяжения

Как складывались beauty-пристрастия мужчин?

Psychologies
Одиночество цифрового кочевника: почему денег и свободного времени мало для счастья Одиночество цифрового кочевника: почему денег и свободного времени мало для счастья

Отрывок из книги Оливера Беркмана «Четыре тысячи недель»

Forbes
Диета для похудения живота и боков: миф или реальность? Диета для похудения живота и боков: миф или реальность?

Что нужно делать, чтобы придать телу желаемые очертания?

Лиза
Великое Хеттское царство за три года погубила засуха Великое Хеттское царство за три года погубила засуха

Хеттское царство было сильнейшим, но не смогло противостоять засухе

ТехИнсайдер
Сколько пользы я приношу сейчас миру? И расту ли я сам? — Два критерия вашего импакта в карьере | How am i improving the world right now? am i improving myself? — The two criteria of impact in your career Сколько пользы я приношу сейчас миру? И расту ли я сам? — Два критерия вашего импакта в карьере | How am i improving the world right now? am i improving myself? — The two criteria of impact in your career

Импакт — один из трендов карьеры 2022 года

Позитивные изменения
Письма музе: Белла Хадид, Эшли Грэм и Саша Пивоварова в календаре Pirelli — 2023 Письма музе: Белла Хадид, Эшли Грэм и Саша Пивоварова в календаре Pirelli — 2023

Как создавался 49-й календарь Pirelli

Forbes
7 самых ожидаемых книжных новинок 2023 года 7 самых ожидаемых книжных новинок 2023 года

Семь отличных книг, на которые стоит обратить внимание в этом году

СНОБ
Людмила Целиковская: «Мне надоело бегать по рынкам, магазинам и зарабатывать деньги. Хочу раз в году ничего не делать» Людмила Целиковская: «Мне надоело бегать по рынкам, магазинам и зарабатывать деньги. Хочу раз в году ничего не делать»

Личная переписка легендарной актрисы Людмилы Целиковской

Коллекция. Караван историй
Эволюция носителей: от перфокарт до SSD Эволюция носителей: от перфокарт до SSD

С чего началась история носителей информации?

CHIP
Как выглядел Чебурашка в самой первой книге: ты поразишься, когда узнаешь! Как выглядел Чебурашка в самой первой книге: ты поразишься, когда узнаешь!

В первых книгах Чебурашка выглядел совсем иначе

VOICE
«Мне все равно»: 3 фразы, которые нельзя говорить партнеру, — мнение психоаналитика «Мне все равно»: 3 фразы, которые нельзя говорить партнеру, — мнение психоаналитика

Некоторые фразы могут быть не так безобидны, как кажется

Psychologies
Надо ли разговаривать с рассадой? Надо ли разговаривать с рассадой?

Кто же поверит, что цветы будут расти лучше, если с ними разговаривать?

Наука и жизнь
В поисках утраченного гения В поисках утраченного гения

Как Вермеер из наследника Рембрандта стал великим современником Пикассо и Дали

Weekend
Свободная касса Свободная касса

Как стать фрилансером и не жалеть об этом каждый месяц

VOICE
Было или небула: как устроены туманности Было или небула: как устроены туманности

Учимся отличать Конскую Голову от Столпов Творения

Maxim
«Я к вам пишу»: как возникло китайское женское письмо нюйшу «Я к вам пишу»: как возникло китайское женское письмо нюйшу

Как желание поддерживать переписку привело к изобретению отдельной письменности

Forbes
Одна вокруг света: забастовка на шоссе и сосновая живица по дороге в Аргентину Одна вокруг света: забастовка на шоссе и сосновая живица по дороге в Аргентину

204-я серия о кругосветном путешествии москвички Ирины Сидоренко

Forbes
Тайные вредители нашей красоты Тайные вредители нашей красоты

Какие ошибки приводят к проблемам с кожей

Лиза
Сериал «Раневская»: как Фаина Фельдман стала великой актрисой вопреки всем преградам Сериал «Раневская»: как Фаина Фельдман стала великой актрисой вопреки всем преградам

Какой сложный путь к славе проделала Фаина Раневская

Forbes
Новые Земли: есть ли во Вселенной планеты, на которые может переселиться человечество Новые Земли: есть ли во Вселенной планеты, на которые может переселиться человечество

Где искать планеты, намного больше подходящие для жизни, чем Земля?

ТехИнсайдер
С паяльником и напильником: как беларусы сами себе компьютеры собирали С паяльником и напильником: как беларусы сами себе компьютеры собирали

Энтузиасты, которые самостоятельно паяли компьютеры во времена позднего СССР

VC.RU
Открыть в приложении