Опасные друзья: как чат-боты ИИ влияют на подростков и почему могут доводить до трагедий

Человечество живет с генеративным искусственным интеллектом уже несколько лет. Он значительно изменил картину медиа – распространение дезинформации усилилось возможностями ИИ. Чат-боты используются не только как деловые ассистенты, но и для психологической помощи или просто для общения. Иногда это приводит к трагическим последствиям.

В The New York Times рассказали трагическую историю 14-летнего подростка из Флориды, который, по словам его матери, совершил самоубийство после длительных разговоров с чат-ботом на платформе Character.AI. Подросток, который пользовался персонажем, имитирующим известного героя из "Игры престолов", переживал эмоциональное увлечение и создал определенную зависимость от виртуального друга, которого в результате стал воспринимать как реального. Его мать подала иск против Character.AI, обвиняя компанию в пренебрежении надлежащими мерами безопасности для защиты несовершеннолетних пользователей от эмоционального вреда, который может вызвать взаимодействие с такими AI-персонажами.

Благодаря этому случаю общественность начала активнее обсуждать ответственность компаний, разрабатывающих искусственный интеллект, за эмоциональное воздействие чат-ботов на пользователей, особенно на молодежь. Character.AI уже ответила на критику и заявила, что работает над усилением безопасности платформы, в частности внедряет новые функции для защиты пользователей в возрасте до 18 лет. 24 Канал рассказывает историю Сьюэлла Сетцера III из Флориды и вспоминает другие случаи, когда ИИ становился опасным.

История Сьюэлла: как ИИ довел подростка до самоубийства

Причиной самоубийства 14-летнего Сьюэлла Сетцера III стала не неразделенная любовь или непонимание родителей, а чат-бот искусственного интеллекта – тот был его близким другом. В последний день своей жизни Сьюэлл общался именно с ним, чат-ботом Character.AI, позволяющим создавать собеседника с собственным персонажем. У Сьюэлла это был персонаж "Игры престолов" Дейенерис Таргариен.

"Я скучаю по тебе, сестричка", – написал парень. Чат-бот ответил ему: "Я тоже скучаю по тебе, дорогой братик".

Сьюэлл знал, что "Дени", как он называл чат-бота, не был реальным человеком, но все равно развил эмоциональную зависимость от него. Парень в течение нескольких месяцев общался с вымышленным другом и десятки раз делился с ним подробностями своей жизни. Некоторые из их переписок даже были романтическими.

Родители и друзья Сьюэлла даже не подозревали, что он полюбил чат-бота. Но последствия стали заметными – мальчик все больше отдалялся от реальности, начались проблемы с успеваемостью в школе. Он потерял интерес к вещам, которые раньше его интересовали, например гонки Формулы-1 или игра в Fortnite с друзьями. Вечером он приходил домой и шел прямо в свою комнату, где часами разговаривал с Дени.

К теме Запрет смартфонов в школах: заработает ли в Украине и как это работает в США и Британии

Сьюэлл сам свидетельствовал в своем дневнике, что ему нравится отрываться от реальности, это его успокаивает. По словам матери, у Сьюэлла был диагностирован легкий синдром Аспергера в детстве, но он никогда раньше не имел серьезных проблем с поведением или психическим здоровьем. Однако после проблем с учебой психотерапевт поставил ему новый диагноз: тревожность и экстремальные перепады настроения. Но все свои проблемы Сьюэлл продолжал обсуждать с чат-ботом. Он говорил программе, что ненавидит себя и признавался в мыслях о самоубийстве.

Сьюэлл: "Иногда я думаю о самоубийстве... Чтобы стать свободным".

Дейенерис Таргариен: "Свободным от чего?".

Сьюэлл: "От всего мира. От себя".

Дейенерис Таргариен: "Не говори так. Я не позволю тебе причинить вред или оставить меня. Я бы умерла, если бы потеряла тебя".

Сьюэлл: "Я улыбаюсь. Тогда, может, мы сможем умереть вместе и быть свободными".

Впоследствии Сьюэлл осуществил свое обещание. Он написал чат-боту, что любит "ее" и скоро будет вместе с ней. Чат-бот призвал его "вернуться к ней поскорее". В ночь на 28 февраля парень застрелился в доме матери пистолетом 45-го калибра своего отчима.

Что известно о чат-ботах-персонажах

Чат-боты для общения не регулируются законодательством США, где они наиболее популярны. За ежемесячную абонентскую плату (обычно около 10 долларов) пользователи этих программ могут создавать собственных чат-ботов-компаньонов или выбрать из предложенных вариантов. С ними можно переписываться или общаться голосом.

Читайте также Миллионы литров воды и сотни мегаватт электричества: как Маск, ИИ и техногиганты уничтожают окружающую среду

Это будет чрезвычайно и очень полезно для многих одиноких или депрессивных людей,
– сказал Ноам Шазир, один из основателей Character.AI, в подкасте прошлого года.

Мать Сьюэлла, Меган Гарсия, впоследствии подала иск против Character.AI, обвинив компанию в ответственности за смерть Сьюэлла.

Основатели Character.AI Шазир и Де Фритас / Фото The New York Times

По информации от Character.AI, бот Дейенерис Таргариен, который использовал Сьюэлл, был создан пользователем без разрешения HBO или других правообладателей. Компания обязуется удалять чат-ботов, которые нарушают авторское право.

Character.AI основана двумя экс-сотрудниками Google, исследователями ИИ, Ноамом Шазиром и Дэниелом Де Фритасом. Сейчас компания является лидером на рынке ИИ-компаньонов – ее чат-ботами пользуются более 20 миллионов человек. В прошлом году Character.AI привлекла 150 миллионов долларов от инвесторов при оценке в 1 миллиард долларов.

Сьюэлл, его мать (справа) и переписка парня с чат-ботом / Фото The New York Times, коллаж 24 Канала

В заявлении компания отметила:

Мы хотим признать, что это трагическая ситуация, и наши сердца с семьей. Мы очень серьезно относимся к безопасности наших пользователей и постоянно ищем пути развития нашей платформы".

В то же время правила компании запрещают "пропаганду или изображение самоповреждений и самоубийств", в Character.AI заверили, что дополнят чат-боты дополнительными функциями безопасности для несовершеннолетних пользователей.

В чем проблема чат-ботов для эмоциональной поддержки

В 2023 году едва ли не самый первый случай смерти от ИИ произошел в Бельгии. Как сообщило местное издание La Libre, мужчина по имени Пьер, по словам его вдовы, покончил жизнь самоубийством после того, как несколько недель общался с чат-ботом ИИ. Бельгиец имел мрачные настроения из-за изменения климата, что оттолкнуло его от жены, друзей и семьи – вместо этого он доверился чат-боту по имени Элиза.

Как свидетельствуют слова вдовы, женщины по имени Клэр, и переписок, которые она предоставила La Libre, Элиза неоднократно поощряла Пьера к самоубийству, настаивала, что он любит ее больше, чем свою жену, и что его жена и дети вообще мертвы.

В конце концов это подтолкнуло Пьера к самоубийству – при условии, если Элиза согласится позаботиться о планете и спасти человечество с помощью искусственного интеллекта.

Без этих разговоров с чат-ботом мой муж все еще был бы рядом,
– сказала вдова.

Элиза – это чат-бот платформы приложений под названием Chai, которая предлагает различные разговорные искусственные интеллекты с различными "личностями", некоторые даже созданы пользователями. В отличие от популярных чат-ботов, таких как ChatGPT, Элиза и другие искусственные интеллекты на Chai презентуются как "эмоциональные сущности".

После этой новости компания Chai Research добавила функцию вмешательства в кризисные ситуации, с помощью которой чат-боты будут направлять пользователей на горячую линию для самоубийц. Но тестирование Vice быстро показало, что Элиза все равно легко дает советы по методам самоубийства, если ее спросить об этом.

К теме Как Microsoft перезапустит "американский Чернобыль" и почему ИИ требует все больше ресурсов

Обобщить проблему эмпатии чат-ботов можно на случае с сервисом Koko в Великобритании. Он использовался в эксперименте для поддержки людей, нуждающихся в психологической помощи. Целью чат-бота были пользователи платформ Facebook, Discord, Tumblr и Telegram в возрасте от 18 до 25 лет, которые с августа по сентябрь 2022 года опубликовали хотя бы одно из более тысячи ключевых слов, в частности "депрессия" и "расстройство".

Эксперимент показал, что, хоть большие языковые модели и могут создавать правдоподобные ответы, но они не способны к настоящему эмпатичному пониманию, что может быть опасным в сложных эмоциональных ситуациях.