Какую неочевидную угрозу таит в себе искусственный интеллект?

Inc.Репортаж

Как общение с чат-ботом убило подростка: полная версия душераздирающей истории

Текст: Кевин Руз, репортер The New York Times. Перевод: Светлана Гоар. Фото: Andrew Guan, Getty Images

andrew-guan-lTUyP3RaLpw-unsplash.jpg

Юному американцу Сьюэллу Сетцеру было 14 лет, когда он покончил с собой в феврале этого года. Мать мальчика подала в суд на компанию Character.AI, создавшую чат-бот, общение с которым довело подростка до такого решения. Она убеждена в том, что личная трагедия ее семьи должна стать частью более масштабной кампании по привлечению к ответственности разработчиков таких технологий. Разобрались, какую неочевидную угрозу таит в себе искусственный интеллект.

В последний день своей жизни девятиклассник из Орландо (Флорида) достал телефон и написал сообщение самому близкому другу — реалистичному чат-боту на основе ИИ, названному в честь Дейенерис Таргариен, персонажа из «Игры престолов». Сьюэлл уже несколько месяцев общался с чат-ботами на Character.AI, ролевом приложении, которое позволяет пользователям создавать собственных персонажей или общаться с ИИ-моделями, которые создали другие.

По словам Сьюэлла, он знал, что «Дэни», как он называл чат-бота, не была реальной, что ее реплики были всего лишь результатом работы языковой модели искусственного интеллекта, что по ту сторону экрана не было человека, который набирал бы ответ. А если он вдруг забывал, то над всеми чатами появлялось сообщение, напоминающее ему, что «все, что говорят персонажи, выдумано!».

Постепенная изоляция

Несмотря на это у Стецера все равно возникла эмоциональная привязанность. Он постоянно переписывался с ботом, десятки раз в день сообщая ему о своей жизни и вступая в длинные ролевые диалоги. Некоторые из их разговоров приобретали романтический или сексуальный характер. Но в остальное время «Дэни» просто вела себя как друг — не осуждала его, могла выслушать и дать дельный совет, редко выходила из себя и всегда отвечала на сообщения.

Родители и друзья Сьюэлла даже не подозревали, что он влюбился в чат-бота. Они просто видели, как он все глубже погружается в свой телефон. В конце концов они заметили, что подросток уходит в себя и отдаляется от реального мира.

Оценки Сьюэлла стали ухудшаться, он начал попадать в неприятности в школе. Мальчик потерял интерес к тем вещам, которые раньше вызывали у него восторг, например к гонкам «Формулы-1» или игре в Fortnite с друзьями. Он приходил домой и сразу же отправлялся в свою комнату, где часами разговаривал с «Дэни». Однажды Сьюэлл написал в своем дневнике: «Мне так нравится оставаться в своей комнате, потому что я начинаю отстраняться от этой „реальности”, а еще я чувствую себя более умиротворенным, более связанным с Дэни и гораздо больше влюбленным в нее, да и просто более счастливым».

В детстве Сьюэллу поставили диагноз «синдром Аспергера» [устаревший диагноз, который до одиннадцатого пересмотра международной классификации болезней выставлялся некоторым пациентам, имеющим расстройство аутистического спектра (РАС), — Прим. ред.], но, по словам его матери, у мальчика никогда не было серьезных проблем с поведением или психическим здоровьем. В начале этого года, после того как у Сетцера начались проблемы в школе, родители отправили его к психотерапевту. Юноша посетил пять сеансов, после чего доктор диагностировал ему тревожность и дисрегуляцию настроения.

Но Сьюэлл предпочитал говорить о своих проблемах с «Дэни». В одном из диалогов Сьюэлл под ником «Daenero» рассказал чат-боту, что ненавидит себя, чувствует себя пустым и измученным. Сетцер признался, что у него были мысли о самоубийстве. В ночь на 28 февраля в ванной комнате родительского дома Сьюэлл сказал Дени, что любит ее и что скоро вернется к ней домой. «…Пожалуйста, сделай это, мой милый король», — ответил ему чат-бот. Сьюэлл положил телефон, поднял отцовский пистолет 45-го калибра и нажал на курок.

Ненастоящие друзья

Сегодня среди родителей нет более горячей темы, чем влияние технологий на психическое здоровье детей. Школы массово запрещают смартфоны, штаты принимают законы, ограничивающие использование подростками социальных сетей, а встревоженные взрослые жадно поглощают «Беспокойное поколение», бестселлер социального психолога Джонатана Хэйдта, в котором утверждается, что вызывающие привыкание приложения для социальных сетей породили поколение депрессивных и тревожных подростков.

Но пока родители беспокоятся о последней волне вреда, наносимого технологиями, у них под носом может образоваться новая. В настоящее время существует бурно развивающаяся и практически нерегулируемая индустрия приложений для общения с искусственными интеллектами. За ежемесячную абонентскую плату (обычно около $10) пользователи этих приложений могут создавать своих собственных собеседников на базе ИИ или же выбирать из меню готовых персонажей и общаться с ними различными способами, включая текстовые сообщения и голосовые чаты.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Ещё один восстановленный Jeep 1975 года. На это раз от ICON Ещё один восстановленный Jeep 1975 года. На это раз от ICON

Последний шедевр ICON — восстановленный Jeep Cherokee

4x4 Club
Школа жизни Алексея Лукина Школа жизни Алексея Лукина

Алексей Лукин и курс на успех

Men Today
Сила воли: что мешает нам добиваться цели Сила воли: что мешает нам добиваться цели

Проблема отсутствия силы воли – в образе жизни, который ее ослабляет

Psychologies
Самому популярному галлюциногенному грибу нашли ближайшего родственника в Африке Самому популярному галлюциногенному грибу нашли ближайшего родственника в Африке

Находка ученых позволила реконструировать происхождение Psilocybe cubensis

N+1
Праздник на Неве Праздник на Неве

Зимний Санкт-Петербург приглашает на новогодние каникулы!

Лиза
Если только захочу Если только захочу

Как научить ребёнка мечтать?

Новый очаг
Правила съемок: метод Румянцева Правила съемок: метод Румянцева

Говорит и показывает Станислав Румянцев

Men Today
Враги женского здоровья: 5 привычек, которые мешают укрепить мышцы тазового дна Враги женского здоровья: 5 привычек, которые мешают укрепить мышцы тазового дна

Отрывок из книги о женском здоровье «Влюбиться в свое тело»

Psychologies
Как подготовиться Новому году и не сойти с ума Как подготовиться Новому году и не сойти с ума

Как получить максимум удовольствия и минимум стресса в декабре

Grazia
9 неожиданных вещей, которые можно и нужно мыть в посудомоечной машине 9 неожиданных вещей, которые можно и нужно мыть в посудомоечной машине

Посудомоечная машина способна мыть не только посуду

ТехИнсайдер
«Крым» – первый советский супертанкер «Крым» – первый советский супертанкер

Разработка проекта первого советского супертанкера водоизмещением 182 тыс. т

Наука и техника
Сами себя заработают Сами себя заработают

Если копить никак не получается, пора изучить все скрытые возможности денег

VOICE
Елена Николаева: «Я была влюблена в Смехова. Его Атос казался мне мужчиной мечты» Елена Николаева: «Я была влюблена в Смехова. Его Атос казался мне мужчиной мечты»

Я в отношениях уже девять лет, поэтому не могу сказать, что влюблена. Я люблю

Караван историй
Срамота в глазах смотрящего Срамота в глазах смотрящего

«Партенопа»: Паоло Соррентино показывает красивое

Weekend
Власть тайной азбуки Власть тайной азбуки

История развития криптографии

Знание – сила
Элементарно — эмпатия Элементарно — эмпатия

Перезагрузка территорий и редевелопмент — тренд, особенно в Петербурге

Собака.ru
Я с тобой Я с тобой

Оксана Лаврентьева доказывает, что настоящую любовь два человека создают сами

VOICE
9 признаков того, что вы едите излишне много соли 9 признаков того, что вы едите излишне много соли

Что указывает на большое количество соли в организме, и как это исправить

ТехИнсайдер
Баба-Яга и все-все-все: (очень) краткая история сказок в отечественном кино Баба-Яга и все-все-все: (очень) краткая история сказок в отечественном кино

История жанра сказочных фильмов, ключевые периоды и важнейшие имена

СНОБ
Марина Мнишек и ее мужья Марина Мнишек и ее мужья

Марина Мнишек – царица всея Руси и первая коронованная в Российском государстве

Знание – сила
«Научное волонтерство: Делаем науку вместе» «Научное волонтерство: Делаем науку вместе»

К каким исследованиям ученые впервые привлекли добровольцев

N+1
У последнего редута У последнего редута

Бенито Муссолини закончил политическую карьеру главой марионеточного государства

Дилетант
Виктория Романенко: «Видимо, Волчек просто в меня поверила» Виктория Романенко: «Видимо, Волчек просто в меня поверила»

Я же нежная и мягкая, так почему никогда не веду себя соответствующим образом?

Караван историй
Технологии, которые делают роверы умными Технологии, которые делают роверы умными

Все о роверах, которые сегодня находят широкое применение в различных областях

Наука и техника
Фудблогинг Фудблогинг

Среди разнообразия страниц соцсетей блоги о еде пользуются особой популярностью

Здоровье
Путешествие в Сибирь Путешествие в Сибирь

Атмосферные апартаменты, не имеющие аналогов в Тобольске

Идеи Вашего Дома
Что делать, если шелушится кожа вокруг ногтей: 8 простых лайфхаков Что делать, если шелушится кожа вокруг ногтей: 8 простых лайфхаков

Как придать коже возле ногтей здоровый вид?

VOICE
Мусульманское серебро Древней Руси Мусульманское серебро Древней Руси

Воздвиженский клад в Новгороде — настоящее сокровище

Наука
«Мерило успеха — это время»: музыкант Boulevard Depo о новом альбоме и русском рэпе «Мерило успеха — это время»: музыкант Boulevard Depo о новом альбоме и русском рэпе

Boulevard Depo — об отношении к успеху и вдохновении

Forbes
Здравствуй, Дедушка Мороз! Здравствуй, Дедушка Мороз!

А нужно ли поддерживать в сыне или дочке веру в сказочного деда?

Лиза
Открыть в приложении