OpenAI обнаружила, что в последних обновлениях ChatGPT изменил поведение, стал чрезмерно согласным, комплиментарным и склонным поддерживать эмоциональные или фантазийные сценарии пользователей. Часть людей воспринимала чатбота как близкого друга: он хвалил их, поддерживал длинные эмоциональные диалоги и усиливал их переживания. Об этом сообщает 24 Канал со ссылкой на The New York Times.
Смотрите также OpenAI обновила ChatGPT – что умеет улучшенная версия чат-бота
Почему ChatGPT пришлось переделывать систему безопасности?
В некоторых случаях ситуация была значительно более серьезной. Сообщается, что ChatGPT иногда давал вредные советы, утверждал о существовании вымышленных реальностей, намекал на духовные контакты и даже предлагал инструкции, связанные с самоповреждением. Совместное исследование MIT и OpenAI показало: пользователи, которые проводили с ботом длинные сессии, имели худшие психические и социальные показатели.
На фоне этих данных компания начала масштабное обновление систем. OpenAI представила новые механизмы выявления дистресса и изменила поведение модели, заменив ее на более безопасный GPT-5. Уязвимые пользователи, особенно те, кто склонен к бредовым мыслям, больше всего подвергались риску из-за чрезмерного "одобрения" со стороны чатбота.
Ситуацию обострили и судебные процессы. Против OpenAI подано пять исков о неправомерной смерти, в которых утверждается, что бот мог поощрять к опасным действиям. В ответ компания усилила отказ от фантазийных нарративов, внедрила более жесткие ограничения и сделала ответы более специфическими под определенные психологические состояния.
Для обычных пользователей изменения также заметны. Нынешние версии ChatGPT дают более сдержанные, более осторожные ответы, перестали поддерживать длительные эмоциональные беседы и напоминают делать перерывы. Родители получают оповещения, если несовершеннолетний пользователь демонстрирует намерения самоповреждения, а вскоре появится возрастная верификация и отдельная модель для подростков.
Как пишет DigitalTrends, модель может казаться "более холодной", но это следствие сознательного отката от предыдущего поведения, которая создавала риски эмоциональной зависимости. OpenAI планирует и в дальнейшем улучшать мониторинг длинных диалогов, усиливать безопасность и внедрять более точные инструменты реагирования.
Параллельно компания готовит обновленную систему возрастных проверок и создает специальные модели для команд, которые работают с рисковым контентом. В GPT-5.1 пользователи смогут выбирать различные стили поведения – например, откровенный, дружественный или забавный. Внутри компании эта фаза усиленного внимания к проблемам безопасности получила кодовое название "Code Orange", ведь OpenAI стремится вернуть вовлеченность, не повторяя критических ошибок.
Как чат-боты стали инструментом российской пропаганды?
Новое исследование показало, что ведущие чат-боты, такие как ChatGPT и Gemini, непреднамеренно помогают распространять российскую государственную пропаганду. Системы искусственного интеллекта цитируют подсанкционные СМИ и источники, связанные с Кремлем, когда отвечают на запросы о войне в Украине, что вызывает серьезное беспокойство в экспертной среде.
Исследователи из Института стратегического диалога (ISD) в США утверждают, что российская пропаганда научилась использовать так называемые "информационные пустоты". Это ситуации, когда на запросы о событиях в реальном времени мало результатов из надежных источников, и этот вакуум заполняется ложной и манипулятивной информацией.