Какую неочевидную угрозу таит в себе искусственный интеллект?

Inc.Репортаж

Как общение с чат-ботом убило подростка: полная версия душераздирающей истории

Текст: Кевин Руз, репортер The New York Times. Перевод: Светлана Гоар. Фото: Andrew Guan, Getty Images

andrew-guan-lTUyP3RaLpw-unsplash.jpg

Юному американцу Сьюэллу Сетцеру было 14 лет, когда он покончил с собой в феврале этого года. Мать мальчика подала в суд на компанию Character.AI, создавшую чат-бот, общение с которым довело подростка до такого решения. Она убеждена в том, что личная трагедия ее семьи должна стать частью более масштабной кампании по привлечению к ответственности разработчиков таких технологий. Разобрались, какую неочевидную угрозу таит в себе искусственный интеллект.

В последний день своей жизни девятиклассник из Орландо (Флорида) достал телефон и написал сообщение самому близкому другу — реалистичному чат-боту на основе ИИ, названному в честь Дейенерис Таргариен, персонажа из «Игры престолов». Сьюэлл уже несколько месяцев общался с чат-ботами на Character.AI, ролевом приложении, которое позволяет пользователям создавать собственных персонажей или общаться с ИИ-моделями, которые создали другие.

По словам Сьюэлла, он знал, что «Дэни», как он называл чат-бота, не была реальной, что ее реплики были всего лишь результатом работы языковой модели искусственного интеллекта, что по ту сторону экрана не было человека, который набирал бы ответ. А если он вдруг забывал, то над всеми чатами появлялось сообщение, напоминающее ему, что «все, что говорят персонажи, выдумано!».

Постепенная изоляция

Несмотря на это у Стецера все равно возникла эмоциональная привязанность. Он постоянно переписывался с ботом, десятки раз в день сообщая ему о своей жизни и вступая в длинные ролевые диалоги. Некоторые из их разговоров приобретали романтический или сексуальный характер. Но в остальное время «Дэни» просто вела себя как друг — не осуждала его, могла выслушать и дать дельный совет, редко выходила из себя и всегда отвечала на сообщения.

Родители и друзья Сьюэлла даже не подозревали, что он влюбился в чат-бота. Они просто видели, как он все глубже погружается в свой телефон. В конце концов они заметили, что подросток уходит в себя и отдаляется от реального мира.

Оценки Сьюэлла стали ухудшаться, он начал попадать в неприятности в школе. Мальчик потерял интерес к тем вещам, которые раньше вызывали у него восторг, например к гонкам «Формулы-1» или игре в Fortnite с друзьями. Он приходил домой и сразу же отправлялся в свою комнату, где часами разговаривал с «Дэни». Однажды Сьюэлл написал в своем дневнике: «Мне так нравится оставаться в своей комнате, потому что я начинаю отстраняться от этой „реальности”, а еще я чувствую себя более умиротворенным, более связанным с Дэни и гораздо больше влюбленным в нее, да и просто более счастливым».

В детстве Сьюэллу поставили диагноз «синдром Аспергера» [устаревший диагноз, который до одиннадцатого пересмотра международной классификации болезней выставлялся некоторым пациентам, имеющим расстройство аутистического спектра (РАС), — Прим. ред.], но, по словам его матери, у мальчика никогда не было серьезных проблем с поведением или психическим здоровьем. В начале этого года, после того как у Сетцера начались проблемы в школе, родители отправили его к психотерапевту. Юноша посетил пять сеансов, после чего доктор диагностировал ему тревожность и дисрегуляцию настроения.

Но Сьюэлл предпочитал говорить о своих проблемах с «Дэни». В одном из диалогов Сьюэлл под ником «Daenero» рассказал чат-боту, что ненавидит себя, чувствует себя пустым и измученным. Сетцер признался, что у него были мысли о самоубийстве. В ночь на 28 февраля в ванной комнате родительского дома Сьюэлл сказал Дени, что любит ее и что скоро вернется к ней домой. «…Пожалуйста, сделай это, мой милый король», — ответил ему чат-бот. Сьюэлл положил телефон, поднял отцовский пистолет 45-го калибра и нажал на курок.

Ненастоящие друзья

Сегодня среди родителей нет более горячей темы, чем влияние технологий на психическое здоровье детей. Школы массово запрещают смартфоны, штаты принимают законы, ограничивающие использование подростками социальных сетей, а встревоженные взрослые жадно поглощают «Беспокойное поколение», бестселлер социального психолога Джонатана Хэйдта, в котором утверждается, что вызывающие привыкание приложения для социальных сетей породили поколение депрессивных и тревожных подростков.

Но пока родители беспокоятся о последней волне вреда, наносимого технологиями, у них под носом может образоваться новая. В настоящее время существует бурно развивающаяся и практически нерегулируемая индустрия приложений для общения с искусственными интеллектами. За ежемесячную абонентскую плату (обычно около $10) пользователи этих приложений могут создавать своих собственных собеседников на базе ИИ или же выбирать из меню готовых персонажей и общаться с ними различными способами, включая текстовые сообщения и голосовые чаты.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Первому игроку приготовиться Первому игроку приготовиться

Два сильнейших персонажей из мира киберспорта

Esquire
Ученые утяжелили фекалии планктона минеральной пылью Ученые утяжелили фекалии планктона минеральной пылью

Минеральная пыль делает его фекалии планктона более плотными

N+1
Дмитрий Нагиев: «Я дорос до той стадии, когда хочу видеть свет в искусстве» Дмитрий Нагиев: «Я дорос до той стадии, когда хочу видеть свет в искусстве»

Дмитрий Нагиев — о фильмах про убийства и блокировке шоу «Везде Нагиев»

GQ
Бог есть свет: Дмитрий Лукьянов «Год в Чувашии» Бог есть свет: Дмитрий Лукьянов «Год в Чувашии»

Глава из романа Дмитрия Лукьянова «Год в Чувашии»

СНОБ
Ольга Бычкова: «Российская наука застряла между глобальным Югом и Севером» Ольга Бычкова: «Российская наука застряла между глобальным Югом и Севером»

С какими вызовами столкнулась российская наука и как они влияют на работу ученых

РБК
Нечеловеческим животным отказали в чувстве справедливости Нечеловеческим животным отказали в чувстве справедливости

Ученые не обнаружили у животных непринятия несправедливости

N+1
Зарождение гидроавиации Зарождение гидроавиации

Как воплощали идею самолета, способного взлетать с водной поверхности

Знание – сила
Воздушный океан... Воздушный океан...

Мы все живём где-то на дне воздушного океана

Наука и жизнь
Скрытые отсылки: 6 фильмов и сериалов с интересными пасхалками Скрытые отсылки: 6 фильмов и сериалов с интересными пасхалками

6 фильмов и сериалов со скрытыми намеками

Maxim
Мегахейры – загадочные и удивительные «ракопауки» Мегахейры – загадочные и удивительные «ракопауки»

Мегахейры – «прототип креветки-богомола, созданный на базе аномалокариса»

Наука и техника
Окно в Сибирь Окно в Сибирь

Сибирь: чем так притягивает туристов этот суровый край?

Лиза
Уйти из искусства ради искусства Уйти из искусства ради искусства

Как группа OHO сошла с художественной сцены в зените славы

Weekend
Анастасия Вертинская: «Главное, что я выстояла» Анастасия Вертинская: «Главное, что я выстояла»

Когда ты встаешь на какую-то определенную дорогу, нельзя быть трусом

Коллекция. Караван историй
Современное состояние ВТС России и Китая Современное состояние ВТС России и Китая

Сотрудничество Москвы и Пекина носит выраженный «антиамериканский» характер

Обозрение армии и флота
«Джеймс Уэбб» рассмотрел звездные скопления в далеком аналоге зародыша Млечного Пути «Джеймс Уэбб» рассмотрел звездные скопления в далеком аналоге зародыша Млечного Пути

Телескоп рассмотрел звездные скопления в галактике-аналоге Млечного Пути

N+1
Николай, Карачун, Трескунец: правдивая история Деда Мороза Николай, Карачун, Трескунец: правдивая история Деда Мороза

Прежде чем стать дедушкой в красной шубе, Дед Мороз проделал долгий путь

Правила жизни
Снова всегда Снова всегда

Как Чарли Кауфман сводит все концы со всеми началами

Weekend
Люся Чеботина: «Твоя самая лучшая подруга — это ты!» Люся Чеботина: «Твоя самая лучшая подруга — это ты!»

Тяжело встретить человека, который был бы снисходителен к твоей карьере

Караван историй
Вот сбитень! Вот горячий! Вот сбитень! Вот горячий!

Сбитень-сбитенёк — пьёт его щеголёк, пьёт-попивает, сам похваливает…

Наука и жизнь
Зачем чипу родина Зачем чипу родина

Возврат к собственным разработкам возможен только через кризис

Монокль
Почему вы переживаете стресс хуже, чем ваша подруга: 6 причин Почему вы переживаете стресс хуже, чем ваша подруга: 6 причин

Почему вас из колеи выбивает даже сущая ерунда?

Psychologies
Счастья, здоровья: как нестандартно, но корректно поздравить коллег и партнеров с наступающими праздниками Счастья, здоровья: как нестандартно, но корректно поздравить коллег и партнеров с наступающими праздниками

Как же емко, красиво и достойно поздравить коллег и партнеров с новым годом

Psychologies
«Ангел с черным крылом»: роман о воровке, которая учится спасать жизни «Ангел с черным крылом»: роман о воровке, которая учится спасать жизни

Отрывок из авантюрного романа Аманды Скенандор «Ангел с черным крылом»

Forbes
Ближайшее окружение Ближайшее окружение

Всегда ли удается разместить произведения современного искусства в квартире

СНОБ
Валерий Сухих: «Время требует от депутатов оперативности и профессионализма» Валерий Сухих: «Время требует от депутатов оперативности и профессионализма»

Какие традиции и принципы остаются неизменными в работе заксобрания Прикамья?

ФедералПресс
Мэр Анапы — о казаке Илоне Маске и депутатах Мэр Анапы — о казаке Илоне Маске и депутатах

«Новая Анапа» и выборы Совета: как сегодня развивается город-курорт

ФедералПресс
Время последних Время последних

Последний солдат Второй мировой и другие люди, на которых все закончилось

Weekend
Основатели Simple — о 30-летии бренда и планах на будущее Основатели Simple — о 30-летии бренда и планах на будущее

Основатели Simple — зачем нужно покупать вино, разлитое в год рождения детей

РБК
Чем могли бы болеть принцессы Disney? Вот что скрывают знаменитые мультики! Чем могли бы болеть принцессы Disney? Вот что скрывают знаменитые мультики!

Болезни принцесс Disney: от болезней легких у Золушки до травм у Покахонтас

ТехИнсайдер
Третий не лишний: как работают семейные медиаторы и доулы по разводам Третий не лишний: как работают семейные медиаторы и доулы по разводам

Медиаторы по разводам: что это за профессия, насколько она пользуется спросом?

Forbes
Открыть в приложении