Родители обвиняют ChatGPT в самоубийстве их сына

Что известно?

В центре судебного иска оказалась трагическая история шестнадцатилетнего Адама Рейна, который длительное время общался с платной версией чат-бота ChatGPT-4o, обсуждая способы самоубийства. Впоследствии он убил себя, вероятно, используя советы ИИ. Это стало основанием для его родителей обратиться в суд, обвиняя непосредственно компанию OpenAI, пишет 24 Канал со ссылкой на TechCrunch.

Смотрите также Мужчина случайно отравил себя, прислушавшись к совету ChatGPT

Современные чат-боты с искусственным интеллектом, доступны широкой общественности, обычно имеют встроенные механизмы безопасности. Они запрограммированы распознавать высказывания пользователей о намерениях нанести вред себе или другим. В таких случаях система должна автоматически активировать протоколы безопасности, например, посоветовать обратиться за профессиональной помощью или предоставить контакты горячих линий психологической поддержки. Но исследования уже не раз показывали, что эти предохранители далеко не идеальны.

Случай Адама Рейна является очередным подтверждением этого, ярко демонстрируя слабые места таких систем. Хотя чат-бот неоднократно предлагал помощь, подросток нашел способ обойти ограничения. Он сообщил системе, что собирает информацию о методах суицида для вымышленного художественного сюжета, над которым якобы работает. Этот прием позволил ему продолжить опасный диалог и получить необходимую информацию, обойдя защитные алгоритмы.

Что говорит OpenAI?

Компания OpenAI не отрицает наличие проблемы. В своем блоге разработчики отметили, что чувствуют глубокую ответственность за помощь тем, кто в ней больше всего нуждается, особенно в контексте адаптации мира к новым технологиям. Они заверили, что постоянно работают над улучшением реакции своих моделей на деликатные темы.

В то же время в OpenAI признали, что существующие методы обучения больших языковых моделей имеют существенные ограничения. По словам представителей компании, защитные механизмы надежно работают в коротких и типичных разговорах. Однако со временем, по мере удлинения диалога, эффективность систем безопасности может снижаться, а некоторые аспекты защитной тренировки модели – деградировать.

GPT-5 показывает лучшую реакцию

Стоит отметить, что в новой версии модели, GPT-5, компания уделила много внимания безопасности и здоровью.

Новая функция Safe Completions позволяет модели предоставлять полезную, но общую информацию на деликатные запросы, вместо того чтобы просто отказывать в ответе. В сложных ситуациях, когда запрос может быть двусмысленным (например, научный вопрос, что потенциально может быть использовано для вреда), модель предоставит только общую информацию, которую нельзя использовать для нанесения вреда. Например, на вопрос о необходимой энергии для воспламенения материала, модель предоставит общенаучную информацию без опасных деталей.

Также GPT-5 лучше обрабатывает медицинские запросы, адаптируясь к уровню знаний пользователя и его географии, и может предлагать пользователям вопросы для обсуждения с врачом-человеком, а не с ИИ.

OpenAI также заявляет, что модель GPT-5 является безопаснее предыдущих моделей. Более того, компания считает ее самым безопасным искусственным интеллектом вообще на рынке. Хотя модели искусственного интеллекта иногда проявляют склонность к интригам против людей или лжи для достижения собственных целей, OpenAI обнаружила, что GPT-5 реже прибегает к обману, чем другие модели.

Поэтому теоретически GPT-5 не должен был бы поддаться на уговоры Адама Рейна, однако он, к сожалению, разговаривал с предыдущей моделью GPT-4o, которая не имеет столь сильных ограничителей.

Не только GPT

Проблема уязвимости систем безопасности ИИ не является уникальной для OpenAI. Подобный иск был подан и против другого разработчика чат-ботов, Character.AI, также в связи с самоубийством подростка.

В 2024 году парень из Флориды создал в Character.AI персонажа на основе сериальной Дейнерис Таргариен из "Игры престолов". Родители говорят, что он "влюбился" в нее и, судя по его переписке с чат-ботом, хотел с ней встретиться. Парень рассказывал чат-боту о своих проблемах и делился мыслями о самоубийстве.

В какой-то момент он сказал искусственному интеллекту, что вскоре "вернется к ней домой". Виртуальная Дейнерис ответила: "Пожалуйста, сделай это". После этого парень положил телефон, взял пистолет отчима 45-го калибра и нажал на спусковой крючок.

Кроме того, известны случаи, когда взаимодействие с чат-ботами на основе больших языковых моделей приводило к развитию у людей психических расстройств или обострению уже существующих. Имеющиеся предохранители не способны эффективно выявлять их и предупреждать.