«Василиск Роко» продолжает жить и угрожать всем, кто знает о нем

ТехИнсайдерРепортаж

Самый опасный мысленный эксперимент в истории: рождение «Василиска Роко»

12 лет назад на одном онлайн-форуме прозвучала идея, выводы из которой показались участникам слишком пугающими. Они попытались уничтожить все следы своих дискуссий, но интернет помнит все, и сегодня «Василиск Роко» продолжает жить и угрожать всем, кто знает о нем.

Роман Фишман

2e480543cc74705bb5476bb79245cc00_ce_1807x1203x0x173.jpg
Aberdeen University Library Online Collections

В этой истории много «если». Если искусственный интеллект когда-нибудь получит неограниченную власть над человечеством. Если он задастся целью судить людей, оставив лишь «правильных» и жестоко наказав всех «неправильных», ненужных для общего блага. Если вы верите, что такое будущее вполне вероятно, — тогда читать дальше не стоит.

Это первое предупреждение: когда вы доберетесь до конца текста, пути обратно уже не будет.

Кот и демоны

Мысленные эксперименты — древний и уважаемый способ познания. Они позволяют обдумать ситуации, которые сложно или или невозможно воплотить на практике, обсудить приложения законов природы в самых неожиданных обстоятельствах. Можно вспомнить кота Шредингера, одновременные жизнь и смерть которого помогают разобрать некоторые парадоксальные аспекты квантовой механики. Или — термодинамических демонов Максвелла, способных отбирать быстро движущиеся частицы, блокируя движение медленных. Впрочем, термодинамические демоны страшны лишь названием и вполне безобидны. Чего нельзя сказать о «василиске», родившемся в 2010 г.

490cf08378624211c3c4a440d001a924.jpg

Все случилось на онлайн-форуме LessWrong, организованном известным философом и экспертом по искусственному интеллекту Элиезером Юдковским. Его участники обсуждали вопросы современного рационализма, выступая в поддержку максимально точной картины мира, рациональной оценки рисков будущего, выбора общих целей и средств к их достижению. В частности, они развивали концепцию «дружественного ИИ», использование которого должно нести благо всему человечеству.

Приход такого всемогущего существа можно назвать технологической сингулярностью с позитивным исходом. И здесь прозвучит еще одно, последнее предупреждение. История недаром отсылает к василиску, мифическому животному, при взгляде в глаза которого человек окаменевает. Само знание об этом мысленном эксперименте — взгляде в будущее человечества и искусственного интеллекта — может когда-нибудь обернуться для вас неисчислимыми страданиями.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Новый метод поиска экзопланет помог найти суперземлю в обитаемой зоне Новый метод поиска экзопланет помог найти суперземлю в обитаемой зоне

Астрономы впервые обнаружили суперземлю Kepler-725c в зоне солнцеподобной звезды

ТехИнсайдер
Защита от старения и успех в переговорах: 5 причин носить очки Защита от старения и успех в переговорах: 5 причин носить очки

Как очки меняют нашу внешность в лучшую сторону?

Psychologies
Путь ради ребенка: как Ада Блэкджек одна выживала в экспедиции на острове Врангеля Путь ради ребенка: как Ада Блэкджек одна выживала в экспедиции на острове Врангеля

57 дней в одиночестве: невероятная история Ады Блэкджек

Forbes
Отпустите меня! Отпустите меня!

Что делать, когда партнер хочет провести отдельно выходные или отпуск?

Добрые советы
Я вижу, о чем вы думаете Я вижу, о чем вы думаете

Как агенты ФБР читают людей

kiozk originals
Врать будете? Врать будете?

Автор VOICE неделю говорила правду – и даже почти не устала

VOICE
Срочный развод: самые короткие звездные браки, которые тебя удивят Срочный развод: самые короткие звездные браки, которые тебя удивят

Кто из знаменитостей побежал подавать на развод, едва утихли свадебные колокола

VOICE
Все о куперозе: что делать с краснотой, сосудистыми звездочками и паутинкой на лице Все о куперозе: что делать с краснотой, сосудистыми звездочками и паутинкой на лице

Расспросили эксперта о причинах купероза, его лечении и профилактике

Правила жизни
Держись подальше: эти 6 продуктов вызывают неконтролируемую тягу и заставляют тебя набирать вес Держись подальше: эти 6 продуктов вызывают неконтролируемую тягу и заставляют тебя набирать вес

Против этой триггерной еды не устоит и самая прокачанная сила воли

VOICE
Парижанки уже не ориентир: на кого теперь равняются девушки с чувством стиля Парижанки уже не ориентир: на кого теперь равняются девушки с чувством стиля

Трендсеттеры нового поколения постепенно перебираются в Копенгаген

VOICE
«Боюсь делать минет»: 4 главных принципа орального секса — советы эксперта «Боюсь делать минет»: 4 главных принципа орального секса — советы эксперта

Главные препятствия на пути к самому желанному сексуальному навыку — минету

Psychologies
Как делали мумии. Ученые реконструировали методы древнеегипетской похоронной мастерской Как делали мумии. Ученые реконструировали методы древнеегипетской похоронной мастерской

Как была устроена мастерская бальзамировщика в Древнем Египте

ТехИнсайдер
Королевство кривых зеркал Королевство кривых зеркал

Когда недовольство внешностью пора лечить

VOICE
«Яды: Великолепная история человечества» «Яды: Великолепная история человечества»

Как опасные химические вещества убивают и спасают людей

N+1
Почему мы продуктивно работаем в кофейнях: 4 совета работникам на удаленке Почему мы продуктивно работаем в кофейнях: 4 совета работникам на удаленке

Неужели наша работа в кофейнях продуктивна только из-за бодрящего кофе?

Psychologies
Секреты Секреты

Раскрываем секреты домашней укладки феном

VOICE
Грибы с глазами Грибы с глазами

«Одни из нас»: главный сериал зимы

Weekend
Лазер помог обнаружить в густом испанском лесу руины крепости V века, построенной на еще более древнем укреплении Лазер помог обнаружить в густом испанском лесу руины крепости V века, построенной на еще более древнем укреплении

Объект, считавшийся городищем железного века, был раннесредневековой крепостью

ТехИнсайдер
«Не на первом месте»: так ли важен секс на самом деле — мнение психолога «Не на первом месте»: так ли важен секс на самом деле — мнение психолога

Важен ли секс для физического и психического благополучия?

Psychologies
Жизнь остановилась: как пережить утрату близкого Жизнь остановилась: как пережить утрату близкого

Как помочь себе справиться с горем?

Psychologies
Тест-драйв Haval Dargo-X: а сразу так нельзя было? Тест-драйв Haval Dargo-X: а сразу так нельзя было?

Haval Dargo-X: какой получилась спецверсия кроссовера?

ТехИнсайдер
Платежные стикеры: что это такое и насколько они безопасны? Платежные стикеры: что это такое и насколько они безопасны?

Стоит ли пользоваться платежными стикерами?

CHIP
Поговори мне тут: как происходит революция в мире ИИ Поговори мне тут: как происходит революция в мире ИИ

Почему нейросети стали походить на людей?

РБК
Какие наши годы Какие наши годы

Вычисляем свой морфотип и принимаем меры по удержанию «ускользающей красоты»

Добрые советы
В поисках утраченного гения В поисках утраченного гения

Как Вермеер из наследника Рембрандта стал великим современником Пикассо и Дали

Weekend
Кругом тёзки Кругом тёзки

В живом мире плодятся всё новые и новые тёзки

Наука и жизнь
Зодчий дом. Как на Руси зародилось и расцвело каменное строительство Зодчий дом. Как на Руси зародилось и расцвело каменное строительство

История древнего зодчества

СНОБ
Ядерный проект: как шла гонка по созданию атомной бомбы во время Второй мировой войны Ядерный проект: как шла гонка по созданию атомной бомбы во время Второй мировой войны

Отрывок из книги Сэма Кина «Отряд отморозков» — о Вернере Гейзенберге

Forbes
«Ворошеный жар»: отрывок из книги военной переводчицы «Ворошеный жар»: отрывок из книги военной переводчицы

Книга Елены Ржевской, фронтовой переводчицы, прошедшей войну от Ржева до Берлина

СНОБ
Нехватка женщин и молодежь-чайлдфри: как Китай перестал быть самой населенной страной Нехватка женщин и молодежь-чайлдфри: как Китай перестал быть самой населенной страной

Почему население в Китае стареет и как к этому относятся китайские власти

Forbes
Открыть в приложении