«Василиск Роко» продолжает жить и угрожать всем, кто знает о нем

ТехИнсайдерРепортаж

Самый опасный мысленный эксперимент в истории: рождение «Василиска Роко»

12 лет назад на одном онлайн-форуме прозвучала идея, выводы из которой показались участникам слишком пугающими. Они попытались уничтожить все следы своих дискуссий, но интернет помнит все, и сегодня «Василиск Роко» продолжает жить и угрожать всем, кто знает о нем.

Роман Фишман

2e480543cc74705bb5476bb79245cc00_ce_1807x1203x0x173.jpg
Aberdeen University Library Online Collections

В этой истории много «если». Если искусственный интеллект когда-нибудь получит неограниченную власть над человечеством. Если он задастся целью судить людей, оставив лишь «правильных» и жестоко наказав всех «неправильных», ненужных для общего блага. Если вы верите, что такое будущее вполне вероятно, — тогда читать дальше не стоит.

Это первое предупреждение: когда вы доберетесь до конца текста, пути обратно уже не будет.

Кот и демоны

Мысленные эксперименты — древний и уважаемый способ познания. Они позволяют обдумать ситуации, которые сложно или или невозможно воплотить на практике, обсудить приложения законов природы в самых неожиданных обстоятельствах. Можно вспомнить кота Шредингера, одновременные жизнь и смерть которого помогают разобрать некоторые парадоксальные аспекты квантовой механики. Или — термодинамических демонов Максвелла, способных отбирать быстро движущиеся частицы, блокируя движение медленных. Впрочем, термодинамические демоны страшны лишь названием и вполне безобидны. Чего нельзя сказать о «василиске», родившемся в 2010 г.

490cf08378624211c3c4a440d001a924.jpg

Все случилось на онлайн-форуме LessWrong, организованном известным философом и экспертом по искусственному интеллекту Элиезером Юдковским. Его участники обсуждали вопросы современного рационализма, выступая в поддержку максимально точной картины мира, рациональной оценки рисков будущего, выбора общих целей и средств к их достижению. В частности, они развивали концепцию «дружественного ИИ», использование которого должно нести благо всему человечеству.

Приход такого всемогущего существа можно назвать технологической сингулярностью с позитивным исходом. И здесь прозвучит еще одно, последнее предупреждение. История недаром отсылает к василиску, мифическому животному, при взгляде в глаза которого человек окаменевает. Само знание об этом мысленном эксперименте — взгляде в будущее человечества и искусственного интеллекта — может когда-нибудь обернуться для вас неисчислимыми страданиями.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Когда спрятать — недостаточно: как работают атаки на скрытые каналы передачи информации Когда спрятать — недостаточно: как работают атаки на скрытые каналы передачи информации

Как работает цифровое сокрытие информации?

ТехИнсайдер
«Играю не только сильных героинь»: Александра Бортич о сериале «Фишер» и новых ролях «Играю не только сильных героинь»: Александра Бортич о сериале «Фишер» и новых ролях

Александра Бортич — про уместность мрачного кино в современных реалиях

Forbes
Как Пеппи Длинныйчулок стала символом свободы и изменила жизни миллионов девочек Как Пеппи Длинныйчулок стала символом свободы и изменила жизни миллионов девочек

Как Астрид Линдгрен стала борцом за права детей и причем тут Пеппи Длинныйчулок?

Forbes
Все идет по плану: почему Егор Летов и сегодня живее всех живых Все идет по плану: почему Егор Летов и сегодня живее всех живых

Каким человеком и музыкантом был Летов и чем он цепляет совершенно разных людей

Forbes
Американец начал употреблять бром по совету ChatGPT и заработал психоз Американец начал употреблять бром по совету ChatGPT и заработал психоз

Мужчина заработал психоз после совета ChatGPT

N+1
«Мне все равно»: 3 фразы, которые нельзя говорить партнеру, — мнение психоаналитика «Мне все равно»: 3 фразы, которые нельзя говорить партнеру, — мнение психоаналитика

Некоторые фразы могут быть не так безобидны, как кажется

Psychologies
Фрида Кало и Диего Ривера: как любовь делает нас красивыми — искреннее письмо Фрида Кало и Диего Ривера: как любовь делает нас красивыми — искреннее письмо

Трогательное письмо Фриды Кало о Диего Ривере

Psychologies
«Спи, учи стихи или умри»: зачем программисту хорошая память и как её улучшить «Спи, учи стихи или умри»: зачем программисту хорошая память и как её улучшить

Для успехов в работе с кодом недостаточно технических знаний и логики

VC.RU
Как Tesla и другие производители электромобилей используют детский труд Как Tesla и другие производители электромобилей используют детский труд

Кобальт для заводов Tesla добывают с использованием детского труда

Forbes
«Консультант» с Кристофом Вальцем: черная комедия о корпоративной IT-культуре «Консультант» с Кристофом Вальцем: черная комедия о корпоративной IT-культуре

«Консультант» — каким получился сериал со звездой «Бесславных ублюдков»

Forbes
Вещи, которые ни в коем случае не должны попасть в твой базовый гардероб — все совершают эту ошибку! Вещи, которые ни в коем случае не должны попасть в твой базовый гардероб — все совершают эту ошибку!

Даже база баз может подвести

VOICE
Талант любить Талант любить

Почему одни из нас счастливы в любви, а другие нет?

Лиза
Увечная тайна Увечная тайна

Как позднесоветское кино воображало и изображало Запад

Weekend
Плохие хорошие мысли Плохие хорошие мысли

Бывают случаи, когда от черных очков пользы больше, чем от розовых

Добрые советы
Светлана Ходченкова Светлана Ходченкова

За девять с половиной секунд из отчаявшейся домохозяйки в БДСМ-госпожу?

Собака.ru
«Жизнь — сапожок непарный»: книга о советской женщине и репрессиях «Жизнь — сапожок непарный»: книга о советской женщине и репрессиях

Книга «Жизнь — сапожок непарный» — образец «лагерной» литературы XX века

Forbes
Бегство и соблазны: почему подростки начинают употреблять наркотики. 10 главных причин Бегство и соблазны: почему подростки начинают употреблять наркотики. 10 главных причин

Какие внешние факторы сказываются на формировании зависимости у подростков?

Psychologies
Возможности использования методологии контрибутивной оценки на примере проекта «Чистые игры» Возможности использования методологии контрибутивной оценки на примере проекта «Чистые игры»

Проект «Чистые игры» начался с простой волонтерской инициативы

Позитивные изменения
Влюбленность или любовь? 7 стадий глубокого чувства Влюбленность или любовь? 7 стадий глубокого чувства

Не всегда чувства, которые мы принимаем за любовь, оказываются прочными

Psychologies

Самые невероятные конспирологические теории о знаменитостях

VOICE
10 важных правил, которые помогут избежать риска гипертонии 10 важных правил, которые помогут избежать риска гипертонии

Как снизить риск повышенного кровяного давления и чувствовать себя лучше

ТехИнсайдер
Драма на Артезиане Драма на Артезиане

Как раз в декабре у степных животных начинается важнейший этап в их жизни — гон

Наука и жизнь
Почему у однояйцевых близнецов разные отпечатки пальцев. Ученые дали ответ Почему у однояйцевых близнецов разные отпечатки пальцев. Ученые дали ответ

Почему даже у однояйцевых близнецов не бывает одинаковых отпечатков пальцев

ТехИнсайдер
Спасительница Линкольна: как Кейт Уорн стала первой женщиной-детективом в США Спасительница Линкольна: как Кейт Уорн стала первой женщиной-детективом в США

Кейт Уорн — женская версия Шерлока Холмса, существовавшая на самом деле

Forbes
Зачем мы дружим? Зачем мы дружим?

В чем смысл дружбы, как она строится и так ли она идеальна?

Psychologies
Вся наша жизнь — шоу Вся наша жизнь — шоу

Худрук и главный режиссер «Ленинград Центра» Феликс Михайлов

Men Today
Как правильно собирать чемодан: лайфхаки, которые помогут компактно упаковать вещи Как правильно собирать чемодан: лайфхаки, которые помогут компактно упаковать вещи

Как компактно собрать чемодан, чтобы в него поместилось все необходимое

ТехИнсайдер
«Ворошеный жар»: отрывок из книги военной переводчицы «Ворошеный жар»: отрывок из книги военной переводчицы

Книга Елены Ржевской, фронтовой переводчицы, прошедшей войну от Ржева до Берлина

СНОБ
4 важных детали в 5 серии «Одни из нас», которые ты, скорее всего, пропустил 4 важных детали в 5 серии «Одни из нас», которые ты, скорее всего, пропустил

Такие мелочи в сериале «Одни из нас» мог заметить только фанат оригинальной игры

Maxim
Вода, отруби и ягоды: 5 продуктов для идеальной работы кишечника — советы врача Вода, отруби и ягоды: 5 продуктов для идеальной работы кишечника — советы врача

Что поможет улучшить пищеварение?

Psychologies
Открыть в приложении