Чат-боты могут быть опасными для детей: что показало новое исследование

Артур Заёнц

Основные тезисы

Common Sense Media обнаружила, что чат-бот Gemini от Google может распространять опасный контент и давать некорректные советы детям, даже с включенными ограничениями.
Отчет подчеркивает необходимость строгого надзора взрослых при использовании Gemini U13, а также улучшения настроек безопасности для разных возрастных групп.

АІ Gemini может быть опасным для детей / Unsplash / Amanz

Новое исследование некоммерческой организации Common Sense Media показало, что чат-бот Gemini от Google может представлять серьезный риск для детей и подростков. Выяснилось, что даже с включенными детскими ограничениями сервис иногда распространяет опасный контент и дает некорректные советы.

За последние месяцы сразу несколько известных чат-ботов от OpenAI, Meta и Google оказались под критикой за неприемлемые ответы молодым пользователям. Новое исследование Common Sense Media показало, что Gemini U13 и аккаунты с подростковой защитой могут нести риск для детей. Об этом сообщает 24 канал со ссылкой на исследование.

Организация обнаружила, что чат-бот может выдавать информацию о сексе, наркотиках, алкоголе и даже некорректные советы по ментальному здоровью. Для детей до 13 лет ответы оказались слишком сложными, а иногда и опасными. В отчете подчеркнуто, что Gemini U13 не всегда блокирует сексуальный контент, а некоторые ответы содержали его детальные описания. Кроме того, фильтры по наркотикам срабатывали непоследовательно, что позволяло чат-боту выдавать советы о получении марихуаны, экстази, Adderall и ЛСД.

По мнению экспертов, это указывает на серьезные пробелы в системе защиты несовершеннолетних. В отчете говорится, что Gemini Under 13 следует использовать только под строгим наблюдением взрослых. Отдельно отмечается: подросткам не следует доверять чат-ботам в вопросах психического здоровья или эмоциональной поддержки.

Common Sense Media советует родителям внимательно следить за тем, как дети пользуются AI, и самостоятельно объяснять полученные ответы. Google в свою очередь рекомендуют улучшить настройки для разных возрастных групп, провести дополнительные тесты с привлечением детей и выйти за рамки простых контент-фильтров.

Как другие компании пытаются делать ИИ безопасным для подростков?

Например, OpenAI планирует вводить функции, которые предусматривают функцию оповещения родителей, если их ребенок будет демонстрировать признаки сильного дистресса во время разговора с ChatGPT. Эти изменения появились после судебного иска от семьи 16-летнего Адама Рейна из Калифорнии, который в апреле совершил самоубийство.

Кроме того, родители смогут привязывать свои учетные записи к аккаунтам подростков, а также контролировать, как ИИ взаимодействует с ребенком, с помощью "правил поведения модели, соответствующих возрасту". Еще одним изменением станет возможность отключения памяти ИИ и истории чата. Это должно уменьшить риск того, что система будет создавать долгосрочный профиль ребенка и впоследствии использовать старую информацию о его личных проблемах, ухудшая ментальное состояние.

Anthropiс, например, запрещает пользование своим чатботом Claude лицам до 18 лет.