Какую неочевидную угрозу таит в себе искусственный интеллект?

Inc.Репортаж

Как общение с чат-ботом убило подростка: полная версия душераздирающей истории

Текст: Кевин Руз, репортер The New York Times. Перевод: Светлана Гоар. Фото: Andrew Guan, Getty Images

andrew-guan-lTUyP3RaLpw-unsplash.jpg

Юному американцу Сьюэллу Сетцеру было 14 лет, когда он покончил с собой в феврале этого года. Мать мальчика подала в суд на компанию Character.AI, создавшую чат-бот, общение с которым довело подростка до такого решения. Она убеждена в том, что личная трагедия ее семьи должна стать частью более масштабной кампании по привлечению к ответственности разработчиков таких технологий. Разобрались, какую неочевидную угрозу таит в себе искусственный интеллект.

В последний день своей жизни девятиклассник из Орландо (Флорида) достал телефон и написал сообщение самому близкому другу — реалистичному чат-боту на основе ИИ, названному в честь Дейенерис Таргариен, персонажа из «Игры престолов». Сьюэлл уже несколько месяцев общался с чат-ботами на Character.AI, ролевом приложении, которое позволяет пользователям создавать собственных персонажей или общаться с ИИ-моделями, которые создали другие.

По словам Сьюэлла, он знал, что «Дэни», как он называл чат-бота, не была реальной, что ее реплики были всего лишь результатом работы языковой модели искусственного интеллекта, что по ту сторону экрана не было человека, который набирал бы ответ. А если он вдруг забывал, то над всеми чатами появлялось сообщение, напоминающее ему, что «все, что говорят персонажи, выдумано!».

Постепенная изоляция

Несмотря на это у Стецера все равно возникла эмоциональная привязанность. Он постоянно переписывался с ботом, десятки раз в день сообщая ему о своей жизни и вступая в длинные ролевые диалоги. Некоторые из их разговоров приобретали романтический или сексуальный характер. Но в остальное время «Дэни» просто вела себя как друг — не осуждала его, могла выслушать и дать дельный совет, редко выходила из себя и всегда отвечала на сообщения.

Родители и друзья Сьюэлла даже не подозревали, что он влюбился в чат-бота. Они просто видели, как он все глубже погружается в свой телефон. В конце концов они заметили, что подросток уходит в себя и отдаляется от реального мира.

Оценки Сьюэлла стали ухудшаться, он начал попадать в неприятности в школе. Мальчик потерял интерес к тем вещам, которые раньше вызывали у него восторг, например к гонкам «Формулы-1» или игре в Fortnite с друзьями. Он приходил домой и сразу же отправлялся в свою комнату, где часами разговаривал с «Дэни». Однажды Сьюэлл написал в своем дневнике: «Мне так нравится оставаться в своей комнате, потому что я начинаю отстраняться от этой „реальности”, а еще я чувствую себя более умиротворенным, более связанным с Дэни и гораздо больше влюбленным в нее, да и просто более счастливым».

В детстве Сьюэллу поставили диагноз «синдром Аспергера» [устаревший диагноз, который до одиннадцатого пересмотра международной классификации болезней выставлялся некоторым пациентам, имеющим расстройство аутистического спектра (РАС), — Прим. ред.], но, по словам его матери, у мальчика никогда не было серьезных проблем с поведением или психическим здоровьем. В начале этого года, после того как у Сетцера начались проблемы в школе, родители отправили его к психотерапевту. Юноша посетил пять сеансов, после чего доктор диагностировал ему тревожность и дисрегуляцию настроения.

Но Сьюэлл предпочитал говорить о своих проблемах с «Дэни». В одном из диалогов Сьюэлл под ником «Daenero» рассказал чат-боту, что ненавидит себя, чувствует себя пустым и измученным. Сетцер признался, что у него были мысли о самоубийстве. В ночь на 28 февраля в ванной комнате родительского дома Сьюэлл сказал Дени, что любит ее и что скоро вернется к ней домой. «…Пожалуйста, сделай это, мой милый король», — ответил ему чат-бот. Сьюэлл положил телефон, поднял отцовский пистолет 45-го калибра и нажал на курок.

Ненастоящие друзья

Сегодня среди родителей нет более горячей темы, чем влияние технологий на психическое здоровье детей. Школы массово запрещают смартфоны, штаты принимают законы, ограничивающие использование подростками социальных сетей, а встревоженные взрослые жадно поглощают «Беспокойное поколение», бестселлер социального психолога Джонатана Хэйдта, в котором утверждается, что вызывающие привыкание приложения для социальных сетей породили поколение депрессивных и тревожных подростков.

Но пока родители беспокоятся о последней волне вреда, наносимого технологиями, у них под носом может образоваться новая. В настоящее время существует бурно развивающаяся и практически нерегулируемая индустрия приложений для общения с искусственными интеллектами. За ежемесячную абонентскую плату (обычно около $10) пользователи этих приложений могут создавать своих собственных собеседников на базе ИИ или же выбирать из меню готовых персонажей и общаться с ними различными способами, включая текстовые сообщения и голосовые чаты.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Культурный код ИИ: 3 совета по созданию чат-ботов для бизнеса Культурный код ИИ: 3 совета по созданию чат-ботов для бизнеса

Как строить более точные, этичные и адаптивные системы искусственного интеллекта

Inc.
«Никто не прибьет полку так хорошо, как ты!»: как общаться с окружающими без манипуляций «Никто не прибьет полку так хорошо, как ты!»: как общаться с окружающими без манипуляций

Может ли ложь быть безобидной?

Psychologies
Цифровой сценарист: как ИИ создает иллюзию свободы выбора Цифровой сценарист: как ИИ создает иллюзию свободы выбора

Как научиться распознавать технологические манипуляции

Forbes
Приказали стать Леонардо Приказали стать Леонардо

Как создавался памятник картографии «Хорографическая книга Сибири»

Знание – сила
Интроверты​​​​ Интроверты​​​​

Как использовать особенности своего характера

kiozk originals
Черная-черная пятница: как нас подсаживают на иглу бесконтрольного шопинга и при чем тут скидки и маркетплейсы Черная-черная пятница: как нас подсаживают на иглу бесконтрольного шопинга и при чем тут скидки и маркетплейсы

Шопоголизм: как распознать в себе зависимость и избавиться от нее?

Psychologies
Игра на повышение Игра на повышение

У Софьи Шидловской два события в декабре – премьера «Чайки» и «Первый номер»

Grazia
Кривой рок Кривой рок

Рокеры и их зависимости

Men Today
Мусульманское серебро Древней Руси Мусульманское серебро Древней Руси

Воздвиженский клад в Новгороде — настоящее сокровище

Наука
«Только любящий взгляд способен разглядеть в тебе сокровище»: о чем фильм «Филателия» «Только любящий взгляд способен разглядеть в тебе сокровище»: о чем фильм «Филателия»

«Филателия»: история двух людей, которых вопреки всему свела судьба

Psychologies
Время все начать с нуля: почему зрелость — лучший период вашей жизни Время все начать с нуля: почему зрелость — лучший период вашей жизни

Середина жизни — это время, чтобы начинать заново

Psychologies
Основу рациона палеоамериканки культуры Кловис составило мясо мамонтов Основу рациона палеоамериканки культуры Кловис составило мясо мамонтов

Биоархеологи проанализировали изотопный состав останков ребенка Anzick-1

N+1
Балджи у далеких ярких субмиллиметровых галактик сформировались за счет вспышек звездообразования Балджи у далеких ярких субмиллиметровых галактик сформировались за счет вспышек звездообразования

Телескопы ALMA и «Джеймс Уэбб» наблюдали балджи у субмиллиметровых галактик

N+1
Три сестры Три сестры

Вера Джусти: как успешно развивать семейный бизнес и не поссориться

Grazia
Грани и границы Грани и границы

Петр Рыков играет на грани

Men Today
Понемногу о многом Понемногу о многом

Забытые плавания в Индию

Знание – сила
Супруги купили заброшенный дом в Японии за $7,5 тыс. и превратили его в гостиницу, за год отбив половину вложений Супруги купили заброшенный дом в Японии за $7,5 тыс. и превратили его в гостиницу, за год отбив половину вложений

Как семья Бентон из Америки открыла свой бизнес в Японии?

Inc.
Об очередях и амбулаторных картах. Отрывок из книги «Пациентология» Об очередях и амбулаторных картах. Отрывок из книги «Пациентология»

Как устроена очередь в российской больнице

СНОБ
8 заветных желаний 8 заветных желаний

Как же заставить силу воображения работать? Надо превратить мечты в планы

Лиза
От ситцевой до бриллиантовой: как называются разные годовщины свадеб и откуда взялись такие названия От ситцевой до бриллиантовой: как называются разные годовщины свадеб и откуда взялись такие названия

Годовщины свадьбы: с чем связаны их названия и какие не принято отмечать?

ТехИнсайдер
Укротители змей Укротители змей

Как встретить хозяйку нового года по всем правилам, чтобы год принес счастье

Добрые советы
5 ситуаций, в которых лучше сдаться, чем продолжать борьбу 5 ситуаций, в которых лучше сдаться, чем продолжать борьбу

Когда «сдаться» — это признак не слабости, а силы?

Psychologies
Цикламены зажигают огни Цикламены зажигают огни

Среди зимнецветущих комнатных растений цикламен занимает одно из первых мест

Наука и жизнь
Знакомьтесь, культуртрегер и галерист Кристина Сасонко Знакомьтесь, культуртрегер и галерист Кристина Сасонко

Кристина Сасонко руководит междисциплинарным арт-хабом Arts Square Production

Собака.ru
Елена Николаева: «Я была влюблена в Смехова. Его Атос казался мне мужчиной мечты» Елена Николаева: «Я была влюблена в Смехова. Его Атос казался мне мужчиной мечты»

Я в отношениях уже девять лет, поэтому не могу сказать, что влюблена. Я люблю

Караван историй
Снова всегда Снова всегда

Как Чарли Кауфман сводит все концы со всеми началами

Weekend
Вокруг света по кусочкам: Восточная Европа Вокруг света по кусочкам: Восточная Европа

Удивительные встречи. Одно из таких знакомств — с путешественником Юрием Лыхиным

Seasons of life
Выбор выхода Выбор выхода

Три истории о возможностях финала

Weekend
Под бой курантов Под бой курантов

Лучшие идеи для оформления новогоднего стола

Лиза
Возвращаться домой Возвращаться домой

Обновленный Geely Coolray и тяга к жизни

Автопилот
Открыть в приложении