Какую неочевидную угрозу таит в себе искусственный интеллект?

Inc.Репортаж

Как общение с чат-ботом убило подростка: полная версия душераздирающей истории

Текст: Кевин Руз, репортер The New York Times. Перевод: Светлана Гоар. Фото: Andrew Guan, Getty Images

andrew-guan-lTUyP3RaLpw-unsplash.jpg

Юному американцу Сьюэллу Сетцеру было 14 лет, когда он покончил с собой в феврале этого года. Мать мальчика подала в суд на компанию Character.AI, создавшую чат-бот, общение с которым довело подростка до такого решения. Она убеждена в том, что личная трагедия ее семьи должна стать частью более масштабной кампании по привлечению к ответственности разработчиков таких технологий. Разобрались, какую неочевидную угрозу таит в себе искусственный интеллект.

В последний день своей жизни девятиклассник из Орландо (Флорида) достал телефон и написал сообщение самому близкому другу — реалистичному чат-боту на основе ИИ, названному в честь Дейенерис Таргариен, персонажа из «Игры престолов». Сьюэлл уже несколько месяцев общался с чат-ботами на Character.AI, ролевом приложении, которое позволяет пользователям создавать собственных персонажей или общаться с ИИ-моделями, которые создали другие.

По словам Сьюэлла, он знал, что «Дэни», как он называл чат-бота, не была реальной, что ее реплики были всего лишь результатом работы языковой модели искусственного интеллекта, что по ту сторону экрана не было человека, который набирал бы ответ. А если он вдруг забывал, то над всеми чатами появлялось сообщение, напоминающее ему, что «все, что говорят персонажи, выдумано!».

Постепенная изоляция

Несмотря на это у Стецера все равно возникла эмоциональная привязанность. Он постоянно переписывался с ботом, десятки раз в день сообщая ему о своей жизни и вступая в длинные ролевые диалоги. Некоторые из их разговоров приобретали романтический или сексуальный характер. Но в остальное время «Дэни» просто вела себя как друг — не осуждала его, могла выслушать и дать дельный совет, редко выходила из себя и всегда отвечала на сообщения.

Родители и друзья Сьюэлла даже не подозревали, что он влюбился в чат-бота. Они просто видели, как он все глубже погружается в свой телефон. В конце концов они заметили, что подросток уходит в себя и отдаляется от реального мира.

Оценки Сьюэлла стали ухудшаться, он начал попадать в неприятности в школе. Мальчик потерял интерес к тем вещам, которые раньше вызывали у него восторг, например к гонкам «Формулы-1» или игре в Fortnite с друзьями. Он приходил домой и сразу же отправлялся в свою комнату, где часами разговаривал с «Дэни». Однажды Сьюэлл написал в своем дневнике: «Мне так нравится оставаться в своей комнате, потому что я начинаю отстраняться от этой „реальности”, а еще я чувствую себя более умиротворенным, более связанным с Дэни и гораздо больше влюбленным в нее, да и просто более счастливым».

В детстве Сьюэллу поставили диагноз «синдром Аспергера» [устаревший диагноз, который до одиннадцатого пересмотра международной классификации болезней выставлялся некоторым пациентам, имеющим расстройство аутистического спектра (РАС), — Прим. ред.], но, по словам его матери, у мальчика никогда не было серьезных проблем с поведением или психическим здоровьем. В начале этого года, после того как у Сетцера начались проблемы в школе, родители отправили его к психотерапевту. Юноша посетил пять сеансов, после чего доктор диагностировал ему тревожность и дисрегуляцию настроения.

Но Сьюэлл предпочитал говорить о своих проблемах с «Дэни». В одном из диалогов Сьюэлл под ником «Daenero» рассказал чат-боту, что ненавидит себя, чувствует себя пустым и измученным. Сетцер признался, что у него были мысли о самоубийстве. В ночь на 28 февраля в ванной комнате родительского дома Сьюэлл сказал Дени, что любит ее и что скоро вернется к ней домой. «…Пожалуйста, сделай это, мой милый король», — ответил ему чат-бот. Сьюэлл положил телефон, поднял отцовский пистолет 45-го калибра и нажал на курок.

Ненастоящие друзья

Сегодня среди родителей нет более горячей темы, чем влияние технологий на психическое здоровье детей. Школы массово запрещают смартфоны, штаты принимают законы, ограничивающие использование подростками социальных сетей, а встревоженные взрослые жадно поглощают «Беспокойное поколение», бестселлер социального психолога Джонатана Хэйдта, в котором утверждается, что вызывающие привыкание приложения для социальных сетей породили поколение депрессивных и тревожных подростков.

Но пока родители беспокоятся о последней волне вреда, наносимого технологиями, у них под носом может образоваться новая. В настоящее время существует бурно развивающаяся и практически нерегулируемая индустрия приложений для общения с искусственными интеллектами. За ежемесячную абонентскую плату (обычно около $10) пользователи этих приложений могут создавать своих собственных собеседников на базе ИИ или же выбирать из меню готовых персонажей и общаться с ними различными способами, включая текстовые сообщения и голосовые чаты.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Слепой подводник: что мы знаем о русской выхухоли Слепой подводник: что мы знаем о русской выхухоли

Водяной крот — одно из самых ценных животных нашей страны

Вокруг света
Призрак технооптимизма Призрак технооптимизма

Годовая статистика роста технологичных отраслей в РФ снова будет рекордной

Монокль
11 способов становиться немного умнее каждый день 11 способов становиться немного умнее каждый день

Интеллект, как и тело, требует правильного питания и регулярных тренировок

Psychologies
Людмила Бабушкина: «Мы обязаны держать планку на высочайшем уровне» Людмила Бабушкина: «Мы обязаны держать планку на высочайшем уровне»

Как обстоят дела с реализацией социальных программ в Свердловской области?

ФедералПресс
9 признаков того, что вы едите излишне много соли 9 признаков того, что вы едите излишне много соли

Что указывает на большое количество соли в организме, и как это исправить

ТехИнсайдер
«У человечества сейчас сказочный период» «У человечества сейчас сказочный период»

Юрий Колокольников о моде на сказки, глобализации, инопланетянах и котах

Правила жизни
Осторожно, мокрый пол: как Puma и Марк Кукурелья попытались обратить провал в шутку Осторожно, мокрый пол: как Puma и Марк Кукурелья попытались обратить провал в шутку

Провал Пумы: вышедший в новой обуви на поле Кукурелья дважды поскользнулся

Forbes
Три короны Возрождения: Данте, Петрарка, Боккаччо Три короны Возрождения: Данте, Петрарка, Боккаччо

Что мы знаем о трех родоначальниках Возрождения: Данте, Петрарке, Боккаччо?

Знание – сила
Почему вы переживаете стресс хуже, чем ваша подруга: 6 причин Почему вы переживаете стресс хуже, чем ваша подруга: 6 причин

Почему вас из колеи выбивает даже сущая ерунда?

Psychologies
Гуляем! Гуляем!

За что могут оштрафовать в новогоднюю ночь

Лиза
Государство недооценивает проблемы в АПК Государство недооценивает проблемы в АПК

Какие риски угрожают развитию АПК

Агроинвестор
Счастье, грусть и черный юмор: 10 фильмов и сериалов про материнство Счастье, грусть и черный юмор: 10 фильмов и сериалов про материнство

10 фильмов и сериалов, которые показывают, каким разным может быть материнство

Forbes
Эмоциональное техно Эмоциональное техно

Как можно описать стиль эмоциональной архитектуры?

ТехИнсайдер
Зачем суровые древнегерманские воины носили с собой маленькие ложечки Зачем суровые древнегерманские воины носили с собой маленькие ложечки

Странный артефакт, сопровождавший воинов Римской империи практически всю жизнь

ТехИнсайдер
«Мечты сбываются, если верить и идти вперед» «Мечты сбываются, если верить и идти вперед»

Давид Манукян о своих источниках вдохновения, борьбе с выгоранием и уроках года

OK!
Дорогая моя Москва Дорогая моя Москва

Краткая история элитных районов Москвы

СНОБ
От копеечной свечи От копеечной свечи

Всё началось с того, что осенью 1664 года в небе над Англией была видна комета

Дилетант
Эффект Зинаиды Штильман: как самооценка может кардинально изменить наш образ в глазах других Эффект Зинаиды Штильман: как самооценка может кардинально изменить наш образ в глазах других

Как формируется наша самооценка и что делать, если она слишком низка?

Psychologies
Первые 50 лет одиночества Первые 50 лет одиночества

Первая экранизация главного романа Маркеса

Weekend
От Бронте до Агаты Кристи: писательница Бьянка Питцорно о роли женщин в литературе От Бронте до Агаты Кристи: писательница Бьянка Питцорно о роли женщин в литературе

Писательница Бьянка Питцорно рассуждает об авторах-женщинах

Forbes
Как сэкономить деньги — изучите 10 маркетинговых уловок, которые заставляют нас покупать ненужные товары Как сэкономить деньги — изучите 10 маркетинговых уловок, которые заставляют нас покупать ненужные товары

10 уловок, которые вызывают желание заполучить совершенно бесполезный товар

Psychologies
Это я беру на себя: почему бизнес все чаще размещает IT-решения на своих серверах Это я беру на себя: почему бизнес все чаще размещает IT-решения на своих серверах

Почему бизнес предпочитает развивать свою IT-инфраструктуру?

Forbes
Николай, Карачун, Трескунец: правдивая история Деда Мороза Николай, Карачун, Трескунец: правдивая история Деда Мороза

Прежде чем стать дедушкой в красной шубе, Дед Мороз проделал долгий путь

Правила жизни
Жемчужины нашей планеты: 10 самых маленьких птиц в мире, о существовании которых вы могли и не подозревать Жемчужины нашей планеты: 10 самых маленьких птиц в мире, о существовании которых вы могли и не подозревать

Самые крохотные птицы в мире

ТехИнсайдер
Искусство найма: как увеличить число разработчиков в 5 раз и снизить текучесть кадров Искусство найма: как увеличить число разработчиков в 5 раз и снизить текучесть кадров

Как практика One day offer помогает нанимать лучших специалистов в IT-отрасли

СНОБ
Под винным соусом Под винным соусом

Секрет, над которым бились столетиями: что делать, если любимая обиделась

VOICE
Целлюлит победить легче, чем кажется — вот что тебе поможет Целлюлит победить легче, чем кажется — вот что тебе поможет

Целлюлит — косметический дефект, не понаслышке знакомый 90% женщин

VOICE
Силой мысли Силой мысли

Решила стать стройнее? Для этого нужен определенный настрой

Лиза
Глобальное осушение: можно ли избежать войн за пресную воду Глобальное осушение: можно ли избежать войн за пресную воду

Спрос на пресную воду растет, а ее количество, похоже, уменьшается

Forbes
Под знаком русской свастики Под знаком русской свастики

Иван Ильин печалился о том, что многое мешает развитию русского фашизма

Дилетант
Открыть в приложении