«Василиск Роко» продолжает жить и угрожать всем, кто знает о нем

ТехИнсайдерРепортаж

Самый опасный мысленный эксперимент в истории: рождение «Василиска Роко»

12 лет назад на одном онлайн-форуме прозвучала идея, выводы из которой показались участникам слишком пугающими. Они попытались уничтожить все следы своих дискуссий, но интернет помнит все, и сегодня «Василиск Роко» продолжает жить и угрожать всем, кто знает о нем.

Роман Фишман

2e480543cc74705bb5476bb79245cc00_ce_1807x1203x0x173.jpg
Aberdeen University Library Online Collections

В этой истории много «если». Если искусственный интеллект когда-нибудь получит неограниченную власть над человечеством. Если он задастся целью судить людей, оставив лишь «правильных» и жестоко наказав всех «неправильных», ненужных для общего блага. Если вы верите, что такое будущее вполне вероятно, — тогда читать дальше не стоит.

Это первое предупреждение: когда вы доберетесь до конца текста, пути обратно уже не будет.

Кот и демоны

Мысленные эксперименты — древний и уважаемый способ познания. Они позволяют обдумать ситуации, которые сложно или или невозможно воплотить на практике, обсудить приложения законов природы в самых неожиданных обстоятельствах. Можно вспомнить кота Шредингера, одновременные жизнь и смерть которого помогают разобрать некоторые парадоксальные аспекты квантовой механики. Или — термодинамических демонов Максвелла, способных отбирать быстро движущиеся частицы, блокируя движение медленных. Впрочем, термодинамические демоны страшны лишь названием и вполне безобидны. Чего нельзя сказать о «василиске», родившемся в 2010 г.

490cf08378624211c3c4a440d001a924.jpg

Все случилось на онлайн-форуме LessWrong, организованном известным философом и экспертом по искусственному интеллекту Элиезером Юдковским. Его участники обсуждали вопросы современного рационализма, выступая в поддержку максимально точной картины мира, рациональной оценки рисков будущего, выбора общих целей и средств к их достижению. В частности, они развивали концепцию «дружественного ИИ», использование которого должно нести благо всему человечеству.

Приход такого всемогущего существа можно назвать технологической сингулярностью с позитивным исходом. И здесь прозвучит еще одно, последнее предупреждение. История недаром отсылает к василиску, мифическому животному, при взгляде в глаза которого человек окаменевает. Само знание об этом мысленном эксперименте — взгляде в будущее человечества и искусственного интеллекта — может когда-нибудь обернуться для вас неисчислимыми страданиями.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Танк на трех колесах: как советские журналисты тестировали мотоцикл-вездеход «Днепр-12» Танк на трех колесах: как советские журналисты тестировали мотоцикл-вездеход «Днепр-12»

Инсайты про «знаменитое советское качество» и особенности вождения «Днепр-12»

ТехИнсайдер
Что делать при землетрясении: ответы на 5 самых важных вопросов Что делать при землетрясении: ответы на 5 самых важных вопросов

Нужно ли стоять в дверном проеме или выбегать из здания при землетрясении?

Maxim
Валдис Пельш: Как ревели горы Валдис Пельш: Как ревели горы

История-подъем, превозмогание, смелость и безумие

Maxim
Надо ли разговаривать с рассадой? Надо ли разговаривать с рассадой?

Кто же поверит, что цветы будут расти лучше, если с ними разговаривать?

Наука и жизнь
5 фактов из истории пива, которые вы скорее всего не знали 5 фактов из истории пива, которые вы скорее всего не знали

Что пили российские императоры и кто придумал пиво со вкусом борща?

Maxim
История одной песни: «Dancing Queen» ABBA, 1976 История одной песни: «Dancing Queen» ABBA, 1976

За эту песню ABBA Советский Союз 12 лет расплачивался овощами с нефтью

Maxim
Масленица в огне: зачем в Никола-Ленивец ежегодно жгут арт-объекты Масленица в огне: зачем в Никола-Ленивец ежегодно жгут арт-объекты

Зачем уничтожать искусство, которое несколько месяцев строят десятки человек?

Forbes
Весенний загар во Вьетнаме Весенний загар во Вьетнаме

Что нужно успеть увидеть и попробовать в этой экзотической стране за неделю

Лиза
Исследования показывают, что только половине ваших друзей вы реально нравитесь: это правда? Исследования показывают, что только половине ваших друзей вы реально нравитесь: это правда?

На самом деле вы нравитесь только половине ваших друзей. Неужели это так?

ТехИнсайдер
Эко-сталь: ученые нашли способ сделать Эко-сталь: ученые нашли способ сделать

Эта система обещает сократить выбросы углекислого газа сталелитейных заводов

ТехИнсайдер
«Отца убили на моих глазах»: историю о травме и терапии дружбой комментирует психолог «Отца убили на моих глазах»: историю о травме и терапии дружбой комментирует психолог

Иногда непрожитое горе приводит к самым тяжелым последствиям

Psychologies
Дагестанский феномен: как Хасбик за три года заработал больше $2 млн Дагестанский феномен: как Хасбик за три года заработал больше $2 млн

Как Хасбулла Магомедов смог заработать минимум $2,2 млн за три года?

Forbes
Ждем потепление Ждем потепление

Как быстро восстановить кожу

Собака.ru
Здоровый интерес: как традиционная китайская медицина сохраняет свою популярность Здоровый интерес: как традиционная китайская медицина сохраняет свою популярность

Жители Китая привыкли лечить то, что еще не болит

Вокруг света
Куда ведут весенние палы лугов? Куда ведут весенние палы лугов?

Как реагирует на весенний пал растительность лугов, как меняется её структура?

Наука и жизнь

Самые невероятные конспирологические теории о знаменитостях

VOICE
От Карского моря до Камчатки: где находятся 7 самых больших заповедников России От Карского моря до Камчатки: где находятся 7 самых больших заповедников России

Семерка самых больших заповедников России

Вокруг света
«Не такой, как все»: 7 видов одиночества — узнайте вашу ситуацию «Не такой, как все»: 7 видов одиночества — узнайте вашу ситуацию

Видах «недуга», поражающего жителей современных мегаполисов

Psychologies
Настоящий Декстер: история бразильского убийцы Педро Родригеса Фильо, который охотился на маньяков Настоящий Декстер: история бразильского убийцы Педро Родригеса Фильо, который охотился на маньяков

Маньяк, ставший прототипом Моргана Декстера из романов писателя Джеффа Линдсея

VOICE
На спокойной волне На спокойной волне

Как справиться с панической атакой и перестроиться на спокойную волну?

Лиза
Флекситарианцы, пандемия и растительные продукты: как забота о здоровье меняет рынок FMCG-ритейла | Flexitarians, pandemic and plant-based products: how healthy lifestyle changes the fmcg retail market Флекситарианцы, пандемия и растительные продукты: как забота о здоровье меняет рынок FMCG-ритейла | Flexitarians, pandemic and plant-based products: how healthy lifestyle changes the fmcg retail market

Все больше людей выбирают питание с преобладанием растительных продуктов

Позитивные изменения
По любви: можно ли сегодня стать популярным блогером без вложения денег? По любви: можно ли сегодня стать популярным блогером без вложения денег?

Можно ли сегодня сделать популярным блог, не вкладывая деньги в продвижение?

VOICE
Леонид Гайдай Леонид Гайдай

Вспоминаем интересные факты из биографии гениального режиссера

Лиза
Отрывок из книги Филиппа Сэндса «Крысиная тропа» Отрывок из книги Филиппа Сэндса «Крысиная тропа»

Филипп Сэндс рассказывает историю семейного расследования Хорста Вехтера

СНОБ
Отрывок из романа Колсона Уайтхеда «Мальчишки из “Никеля”» Отрывок из романа Колсона Уайтхеда «Мальчишки из “Никеля”»

Отрывок из романа, основанного на реальных событиях, о стойкости и искуплении

СНОБ
Почему измена — лучший способ разрушить жизнь: 9 негативных последствий Почему измена — лучший способ разрушить жизнь: 9 негативных последствий

Почему измена обязательно станет катастрофой

Psychologies
«Я начала карьеру заново в 45 лет»: личный опыт — 5 советов коуча «Я начала карьеру заново в 45 лет»: личный опыт — 5 советов коуча

Как искать работу после большого перерыва?

Psychologies
«За степным фронтиром» «За степным фронтиром»

Карантинные меры и ксенофобия во время Маньчжурской эпидемии чумы

N+1
Диковинки на колесах: посмотрите на 10 самых редких автомобилей в мире Диковинки на колесах: посмотрите на 10 самых редких автомобилей в мире

Некоторые из этих автомобилей существуют в единственном экземпляре

Вокруг света
Гедонистическая адаптация: почему мы действительно к хорошему быстро привыкаем Гедонистическая адаптация: почему мы действительно к хорошему быстро привыкаем

Почему стать счастливым не так просто и что такое гедонистическая адаптация

Forbes
Открыть в приложении