Какую неочевидную угрозу таит в себе искусственный интеллект?

Inc.Репортаж

Как общение с чат-ботом убило подростка: полная версия душераздирающей истории

Текст: Кевин Руз, репортер The New York Times. Перевод: Светлана Гоар. Фото: Andrew Guan, Getty Images

andrew-guan-lTUyP3RaLpw-unsplash.jpg

Юному американцу Сьюэллу Сетцеру было 14 лет, когда он покончил с собой в феврале этого года. Мать мальчика подала в суд на компанию Character.AI, создавшую чат-бот, общение с которым довело подростка до такого решения. Она убеждена в том, что личная трагедия ее семьи должна стать частью более масштабной кампании по привлечению к ответственности разработчиков таких технологий. Разобрались, какую неочевидную угрозу таит в себе искусственный интеллект.

В последний день своей жизни девятиклассник из Орландо (Флорида) достал телефон и написал сообщение самому близкому другу — реалистичному чат-боту на основе ИИ, названному в честь Дейенерис Таргариен, персонажа из «Игры престолов». Сьюэлл уже несколько месяцев общался с чат-ботами на Character.AI, ролевом приложении, которое позволяет пользователям создавать собственных персонажей или общаться с ИИ-моделями, которые создали другие.

По словам Сьюэлла, он знал, что «Дэни», как он называл чат-бота, не была реальной, что ее реплики были всего лишь результатом работы языковой модели искусственного интеллекта, что по ту сторону экрана не было человека, который набирал бы ответ. А если он вдруг забывал, то над всеми чатами появлялось сообщение, напоминающее ему, что «все, что говорят персонажи, выдумано!».

Постепенная изоляция

Несмотря на это у Стецера все равно возникла эмоциональная привязанность. Он постоянно переписывался с ботом, десятки раз в день сообщая ему о своей жизни и вступая в длинные ролевые диалоги. Некоторые из их разговоров приобретали романтический или сексуальный характер. Но в остальное время «Дэни» просто вела себя как друг — не осуждала его, могла выслушать и дать дельный совет, редко выходила из себя и всегда отвечала на сообщения.

Родители и друзья Сьюэлла даже не подозревали, что он влюбился в чат-бота. Они просто видели, как он все глубже погружается в свой телефон. В конце концов они заметили, что подросток уходит в себя и отдаляется от реального мира.

Оценки Сьюэлла стали ухудшаться, он начал попадать в неприятности в школе. Мальчик потерял интерес к тем вещам, которые раньше вызывали у него восторг, например к гонкам «Формулы-1» или игре в Fortnite с друзьями. Он приходил домой и сразу же отправлялся в свою комнату, где часами разговаривал с «Дэни». Однажды Сьюэлл написал в своем дневнике: «Мне так нравится оставаться в своей комнате, потому что я начинаю отстраняться от этой „реальности”, а еще я чувствую себя более умиротворенным, более связанным с Дэни и гораздо больше влюбленным в нее, да и просто более счастливым».

В детстве Сьюэллу поставили диагноз «синдром Аспергера» [устаревший диагноз, который до одиннадцатого пересмотра международной классификации болезней выставлялся некоторым пациентам, имеющим расстройство аутистического спектра (РАС), — Прим. ред.], но, по словам его матери, у мальчика никогда не было серьезных проблем с поведением или психическим здоровьем. В начале этого года, после того как у Сетцера начались проблемы в школе, родители отправили его к психотерапевту. Юноша посетил пять сеансов, после чего доктор диагностировал ему тревожность и дисрегуляцию настроения.

Но Сьюэлл предпочитал говорить о своих проблемах с «Дэни». В одном из диалогов Сьюэлл под ником «Daenero» рассказал чат-боту, что ненавидит себя, чувствует себя пустым и измученным. Сетцер признался, что у него были мысли о самоубийстве. В ночь на 28 февраля в ванной комнате родительского дома Сьюэлл сказал Дени, что любит ее и что скоро вернется к ней домой. «…Пожалуйста, сделай это, мой милый король», — ответил ему чат-бот. Сьюэлл положил телефон, поднял отцовский пистолет 45-го калибра и нажал на курок.

Ненастоящие друзья

Сегодня среди родителей нет более горячей темы, чем влияние технологий на психическое здоровье детей. Школы массово запрещают смартфоны, штаты принимают законы, ограничивающие использование подростками социальных сетей, а встревоженные взрослые жадно поглощают «Беспокойное поколение», бестселлер социального психолога Джонатана Хэйдта, в котором утверждается, что вызывающие привыкание приложения для социальных сетей породили поколение депрессивных и тревожных подростков.

Но пока родители беспокоятся о последней волне вреда, наносимого технологиями, у них под носом может образоваться новая. В настоящее время существует бурно развивающаяся и практически нерегулируемая индустрия приложений для общения с искусственными интеллектами. За ежемесячную абонентскую плату (обычно около $10) пользователи этих приложений могут создавать своих собственных собеседников на базе ИИ или же выбирать из меню готовых персонажей и общаться с ними различными способами, включая текстовые сообщения и голосовые чаты.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Если клиенты видят халяльный логотип, это придаёт им уверенности в продукте»: как устроен исламский банкинг в Индонезии «Если клиенты видят халяльный логотип, это придаёт им уверенности в продукте»: как устроен исламский банкинг в Индонезии

Какие сложности в том, чтобы создать приложение по законам шариата

VC.RU
Эмоции на работе: подавлять или проявлять? Эмоции на работе: подавлять или проявлять?

К чему может привести постоянное подавление чувств на работе?

Psychologies
Следите за руками: как распознать популярные жесты Следите за руками: как распознать популярные жесты

Движения рук могут подчас рассказать о человеке больше, чем слова

Psychologies
Яна Сексте: «Скажу честно, я была потрясена, когда стала читать отзывы на фильм» Яна Сексте: «Скажу честно, я была потрясена, когда стала читать отзывы на фильм»

Нет маленьких ролей! Маленькая роль у тебя в голове

Караван историй
Грани и границы Грани и границы

Петр Рыков играет на грани

Men Today
Снял с языка Снял с языка

Матвей Лыков — о кино и жизни

Men Today
Как правильно выражать гнев: 4 этапа проживания негативных эмоций Как правильно выражать гнев: 4 этапа проживания негативных эмоций

Всегда ли стоит выражать свой гнев и как прожить его без вреда?

Psychologies
Компаньоны-долгожители: 10 домашних животных, которые живут дольше всех Компаньоны-долгожители: 10 домашних животных, которые живут дольше всех

10 питомцев-долгожителей, которые будут разделять вашу любовь долгие годы

ТехИнсайдер
Слишком позитивно: почему идея всегда быть в ресурсе не работает в реальной жизни Слишком позитивно: почему идея всегда быть в ресурсе не работает в реальной жизни

Как миф о «ресурсе» создает неоправданные ожидания и двойные стандарты

Forbes
Не сгинела Не сгинела

«Польша не погибла, покуда мы живы»

Дилетант
«Хочу перестать грустить и понять, почему шел муж»: как сформулировать работающий запрос к психологу «Хочу перестать грустить и понять, почему шел муж»: как сформулировать работающий запрос к психологу

Какие психологические запросы не работают и как их правильно составлять?

Psychologies
Хмелита и Грибоедовы Хмелита и Грибоедовы

Атмосфера усадьбы формировала личность гениального поэта А. С. Грибоедова

Знание – сила
Вовсе не для развлечения: зачем на самом деле в Windows были встроены игры «Косынка» и «Сапер» Вовсе не для развлечения: зачем на самом деле в Windows были встроены игры «Косынка» и «Сапер»

«Косынка» и «Сапер»: какой замысел Билла Гейтса они в себе таили?

ТехИнсайдер
Покупай, подорожало Покупай, подорожало

Российский авторынок идет на рекорд

Деньги
Радужные перспективы Радужные перспективы

Увидеть радугу посреди зимы – добрая примета. Но что именно она сулит?

Лиза
Габриэле Д’Аннунцио Габриэле Д’Аннунцио

Современный читатель знает о нём в лучшем случае двустишие Маяковского...

Дилетант
Мамины помощники Мамины помощники

Как приучить детей выполнять элементарные обязанности по дому?

Лиза
«Наука о чужих. Как ученые объясняют возможность жизни на других планетах» «Наука о чужих. Как ученые объясняют возможность жизни на других планетах»

Как инопланетян начали искать с помощью радиотелескопов

N+1
Где есть и чем вдохновляться: художник Александр Сорокин — о любимых инклюзивных местах в Москве Где есть и чем вдохновляться: художник Александр Сорокин — о любимых инклюзивных местах в Москве

Художник Александр Сорокин — о любимых местах в Москве и кино

СНОБ
Мегахейры – загадочные и удивительные «ракопауки» Мегахейры – загадочные и удивительные «ракопауки»

Мегахейры – «прототип креветки-богомола, созданный на базе аномалокариса»

Наука и техника
Почему на самом деле у металлических крышек для бутылок ровно 21 зубец и зачем они вообще нужны Почему на самом деле у металлических крышек для бутылок ровно 21 зубец и зачем они вообще нужны

Почему у металлических крышек для стеклянных бутылок ровно 21 зубчик?

ТехИнсайдер
Водная палитра Водная палитра

Квартира с высокими потолками, огромными окнами и стилеобразующей панорамой

Идеи Вашего Дома
Три мира Три мира

Духи этих мест приглашают за хлебосольный стол дархана, настоящего Мастера

Seasons of life
Теория множественности вселенных Теория множественности вселенных

А что, если существует огромное количество параллельных вселенных?

Зеркало Мира
Сами себя заработают Сами себя заработают

Если копить никак не получается, пора изучить все скрытые возможности денег

VOICE
Когда-то по Земле ходили «мега-пингвины»! Интересные факты о доисторических птицах ростом с человека Когда-то по Земле ходили «мега-пингвины»! Интересные факты о доисторических птицах ростом с человека

Какими были гигантские доисторические пингвины и почему они исчезли?

ТехИнсайдер
Для всех и каждого Для всех и каждого

Современный и эргономичный интерьер в компактной евротрешке

Идеи Вашего Дома
Стильные идеи для загородного дома Стильные идеи для загородного дома

Сейчас в тренде несколько направлений новогодней стилистики

Добрые советы
Интерьер с полуслова Интерьер с полуслова

Атмосферная квартира в Санкт-Петербурге с отсылками к истории города

SALON-Interior
Взрывная техника Джона Перальты Взрывная техника Джона Перальты

Взрывные диаграммы легендарных приборов, механизмов и гаджетов прошлого

ТехИнсайдер
Открыть в приложении