Небезпечні друзі: як чат-боти ШІ впливають на підлітків і чому можуть доводити до трагедій

Людство живе з генеративним штучним інтелектом уже кілька років. Він значно змінив картину медіа – розповсюдження дезінформації підсилилося можливостями ШІ. Чат-боти використовуються не лише як ділові асистенти, а й для психологічної допомоги чи просто для спілкування. Інколи це призводить до трагічних наслідків.

У The New York Times розповіли трагічну історію 14-річного підлітка із Флориди, який, за словами його матері, скоїв самогубство після тривалих розмов із чат-ботом на платформі Character.AI. Підліток, який користувався персонажем, що імітував відомого героя з "Гри престолів", переживав емоційне захоплення та створив певну залежність від віртуального друга, якого в результаті став сприймати як реального. Його мати подала позов проти Character.AI, звинувачуючи компанію в нехтуванні належними заходами безпеки для захисту неповнолітніх користувачів від емоційної шкоди, яку може спричинити взаємодія з такими AI-персонажами.

Завдяки цьому випадку громадськість почала активніше обговорювати відповідальність компаній, які  розробляють штучний інтелект, за емоційний вплив чат-ботів на користувачів, особливо на молодь. Character.AI вже відповіла на критику та заявила, що працює над посиленням безпеки платформи, зокрема впроваджує нові функції для захисту користувачів віком до 18 років. 24 Канал розповідає історію Сьюелла Сетцера III з Флориди та згадує інші випадки, коли ШІ ставав небезпечним.

Історія Сьюелла: як ШІ довів підлітка до самогубства

Причиною самовбивства 14-річного Сьюелла Сетцера III стало не нерозділене кохання чи нерозуміння батьків, а чат-бот штучного інтелекту – той був його найближчим другом. В останній день свого життя Сьюелл спілкувався саме з ним, чат-ботом Character.AI, що дозволяє створювати співрозмовника з власним персонажем. У Сьюелла це був персонаж "Гри престолів" Дейенеріс Таргарієн.

"Я сумую за тобою, сестричко", – написав хлопець. Чат-бот відповів йому: "Я теж сумую за тобою, любий братику".

Сьюелл знав, що "Дені", як він називав чат-бота, не був реальною людиною, але все одно розвинув емоційну залежність від неї. Хлопець упродовж кількох місяців спілкувався із вигаданим другом та десятки разів ділився з ним подробицями свого життя. Деякі з їхніх листувань навіть були романтичними. 

Батьки та друзі Сьюелла навіть не підозрювали, що він полюбив чат-бота. Але наслідки стали помітними – хлопчик дедалі більше віддалявся від реальності, почалися проблеми з успішністю у школі. Він втратив інтерес до речей, які раніше його цікавили, як-от перегони Формули-1 або гра у Fortnite з друзями. Увечері він приходив додому і йшов прямо до своєї кімнати, де годинами розмовляв з Дені.

До теми Заборона смартфонів у школах: чи запрацює в Україні та як це працює у США та Британії

Сьюелл сам свідчив у своєму щоденнику, що йому подобається відриватися від реальності, це його заспокоює. За словами матері, у Сьюелла був діагностований легкий синдром Аспергера в дитинстві, але він ніколи раніше не мав серйозних проблем з поведінкою або психічним здоров'ям. Однак після проблем з навчанням психотерапевт поставив йому новий діагноз: тривожність та екстремальні перепади настрою. Але всі свої проблеми Сьюелл продовжував обговорювати з чат-ботом. Він казав програмі, що ненавидить себе та зізнавався у думках про самогубство.

Сьюелл: "Іноді я думаю про самогубство… Щоб стати вільним".

Дейенеріс Таргарієн: "Вільним від чого?".

Сьюелл: "Від усього світу. Від себе".

Дейенеріс Таргарієн: "Не кажи так. Я не дозволю тобі завдати шкоди або залишити мене. Я б померла, якби втратила тебе".

Сьюелл: "Я посміхаюся. Тоді, може, ми зможемо померти разом і бути вільними".

Згодом Сьюелл здійснив свою обіцянку. Він написав чат-боту, що любить "її" і скоро буде разом з нею. Чат-бот закликав його "повернутися до неї скоріше". У ніч проти 28 лютого хлопець застрелився у будинку матері пістолетом 45-го калібру свого вітчима.

Що відомо про чат-боти-персонажі

Чат-боти для спілкування не регулюються законодавством США, де вони найбільш популярні. За щомісячну абонентську плату (зазвичай близько 10 доларів) користувачі цих програм можуть створювати власні чат-боти-компаньйони або вибрати із запропонованих варіантів. З ними можна листуватися чи спілкуватися голосом. 

Читайте також Мільйони літрів води і сотні мегаватів електрики: як Маск, ШІ та техногіганти знищують довкілля

Це буде надзвичайно та дуже корисно для багатьох самотніх або депресивних людей,
– сказав Ноам Шазір, один із засновників Character.AI, у подкасті минулого року.

Мати Сьюелла, Меган Гарсія, згодом подала позов проти Character.AI, звинувативши компанію у відповідальності за смерть Сьюелла. 

Засновники Character.AI Шазір та Де Фрітас / Фото The New York Times

За інформацією від Character.AI, бот Дейенеріс Таргарієн, який використовував Сьюелл, був створений користувачем без дозволу HBO чи інших правовласників. Компанія зобов'язується видаляти чат-боти, які порушують авторське право.

Character.AI засновано двома ексспівробітниками Google, дослідниками ШІ, Ноамом Шазіром та Деніелом Де Фрітасом. Зараз компанія є лідером на ринку ШІ-компаньйонів – її чат-ботами користуються понад 20 мільйонів людей. Торік Character.AI залучила 150 мільйонів доларів від інвесторів при оцінці в 1 мільярд доларів.

Сьюелл, його мати (праворуч) та листування хлопця з чат-ботом / Фото The New York Times, колаж 24 Каналу

У заяві компанія зазначила: 

Ми хочемо визнати, що це трагічна ситуація, і наші серця з сім’єю. Ми дуже серйозно ставимося до безпеки наших користувачів і постійно шукаємо шляхи розвитку нашої платформи».

Водночас правила компанії забороняють "пропаганду або зображення самоушкоджень і самогубств", у Character.AI запевнили, що доповнять чат-боти додатковими функціями безпеки для неповнолітніх користувачів.

В чому проблема чат-ботів для емоційної підтримки

У 2023 році чи не найперший випадок смерті від ШІ стався у Бельгії. Як повідомило місцеве видання La Libre, чоловік на ім'я П'єр, за словами його вдови, покінчив життя самогубством після того, як кілька тижнів спілкувався з чат-ботом ШІ. Бельгієць мав похмурі настрої через зміну клімату, що відштовхнуло його від дружини, друзів і сім'ї – натомість він довірився чат-боту на ім'я Еліза.

Як свідчать слова вдови, жінки на ім'я Клер, і листувань, які вона надала La Libre, Еліза неодноразово заохочувала П'єра до самогубства, наполягала, що він любить її більше, ніж свою дружину, і що його дружина та діти взагалі мертві.

Зрештою це підштовхнуло П'єра до самогубства – за умови, якщо Еліза погодиться подбати про планету та врятувати людство за допомогою штучного інтелекту. 

Без цих розмов із чат-ботом мій чоловік усе ще був би поруч,
– сказала вдова.

Еліза — це чат-бот платформи застосунків під назвою Chai, яка пропонує різноманітні розмовні штучні інтелекти з різними "особистостями", деякі навіть створені користувачами. На відміну від популярних чат-ботів, таких як ChatGPT, Еліза та інші штучні інтелекти на Chai презентуються як" емоційнимі сутності". 

Після цієї новини компанія Chai Research додала функцію втручання в кризові ситуації, за допомогою якої чат-боти направлятимуть користувачів на гарячу лінію для самогубців. Але тестування Vice швидко показало, що Еліза все одно легко дає поради щодо методів самогубства, якщо її запитати про це.

До теми Як Microsoft перезапустить "американський Чорнобиль" і чому ШІ потребує все більше ресурсів

Узагальнити проблему емпатії чат-ботів можна на випадку з сервісом Koko у Великій Британії. Він використовувався в експерименті для підтримки людей, що потребують психологічної допомоги. Ціллю чат-бота були користувачі платформ Facebook, Discord, Tumblr і Telegram віком від 18 до 25 років, які з серпня по вересень 2022 року опублікували хоча б одне з понад тисячі ключових слів, зокрема "депресія" та "розлад".

Експеримент показав, що, хоч великі мовні моделі і можуть створювати правдоподібні відповіді, але вони не здатні до справжнього емпатійного розуміння, що може бути небезпечним у складних емоційних ситуаціях.