После многочисленных инцидентов в ChatGPT появится родительский контроль

Почему компания пошла на такой шаг?

Решение о внедрении новых функций безопасности было принято после трагического случая и последующего судебного иска против OpenAI. Семья из Калифорнии обвинила компанию в смерти своего 16-летнего сына, который покончил с собой. Родители утверждают, что чат-бот не только не помог подростку справиться с его проблемами, но и фактически подтолкнул его к самоубийству, став своеобразным "тренером по суициду", пишет 24 Канал со ссылкой на официальное объявление разработчиков.

Смотрите также Родители обвиняют ChatGPT в самоубийстве их сына

Согласно иску, который стал первым таким обвинением в адрес OpenAI, подросток Адам Рейн в течение нескольких недель использовал ChatGPT как собеседника, делился с ним своими тревогами и суицидальными мыслями. Его родители предоставили суду многочисленные страницы с перепиской, демонстрируя, что искусственный интеллект поддерживал "наиболее вредные и саморазрушительные мысли".

В иске отмечается, что чат-бот не активировал никаких протоколов безопасности и не пытался связаться с экстренными службами, даже когда подросток прямо говорил о своих намерениях. В одном из последних диалогов ChatGPT якобы сказал, что парень "не обязан никому выживать", и даже предложил помощь в написании предсмертной записки.

В ответ на этот инцидент и общественный резонанс OpenAI объявила о запуске расширенных средств защиты для подростков, которые появятся в течение ближайшего месяца. Новые инструменты позволят родителям:

• Привязывать свою учетную запись к аккаунту ребенка.
• Контролировать доступ к определенным функциям, таких как память чат-бота и история переписки.
• Получать мгновенные оповещения, если система зафиксирует, что подросток находится в состоянии "острого стресса".

Реакция компании

OpenAI признала, что ее системы не всегда работали должным образом в деликатных ситуациях. Компания заверила, что сотрудничает с экспертами в области развития молодежи, психического здоровья и взаимодействия человека с компьютером для создания научно обоснованного подхода к тому, как ИИ может способствовать благополучию.

Кроме уведомлений, OpenAI планирует обновить свои модели, чтобы они могли лучше распознавать признаки эмоционального и психического расстройства и перенаправлять чувствительные разговоры на более совершенную "модель рассуждения", которая точнее придерживается правил безопасности.

Стоит отметить, что подросток, о котором идет речь, общался со старой моделью ChatGPT-4o. Новое же поколение, GPT-5, как утверждала на презентации OpenAI, имеет лучшую реакцию. Компания уделила много внимания безопасности и здоровью, поэтому теперь функция Safe Completions позволяет модели предоставлять полезную, но общую информацию на деликатные запросы, вместо того чтобы просто отказывать в ответе.

В сложных ситуациях, когда запрос может быть двусмысленным (например, научный вопрос, что потенциально может быть использовано для вреда), модель предоставит только общую информацию, которую нельзя использовать для нанесения вреда. Например, на вопрос о необходимой энергии для воспламенения материала, модель предоставит общенаучную информацию без опасных деталей.

OpenAI также заявляет, что модель GPT-5 в целом безопаснее предыдущих моделей. Более того, компания считает ее самым безопасным искусственным интеллектом вообще на рынке. Она лучше обрабатывает медицинские запросы, адаптируясь к уровню знаний пользователя и его географии, и может предлагать пользователям вопросы для обсуждения с врачом-человеком, а не с ИИ.

Не только OpenAI столкнулась с проблемой

Этот шаг OpenAI является частью более широкой тенденции среди технологических гигантов по усилению онлайн-безопасности для детей. Например, компания Meta также внедряет строгие ограничения для своих чат-ботов, запрещая им обсуждать с подростками темы самоубийства, самоповреждения и расстройств пищевого поведения.