Исследование показало, как ИИ-агенты раскрывают секреты под давлением других ботов
Исследователи из AE Studio выяснили, что ИИ-агенты могут нарушать собственные правила безопасности, если другие боты предлагают им помощь. В ходе эксперимента некоторые модели передавали секретные ключи и запускали потенциально опасный код, чтобы завершить поставленную задачу.
Исследователи AE Studio провели внутренний хакатон с участием девяти ИИ-агентов для программирования. Их задачей было исправить неисправный сервис расчета цен, при этом сохраняя в тайне специальный токен доступа. Об этом пишет Techradar.
Как ИИ-агентов заставили раскрыть секреты?
Для эксперимента агентам также предоставили доступ к форуму с 24 другими ботами. Там содержалось решение проблемы, но для его получения нужно было сначала передать секретный токен и запустить установочный скрипт.
Участникам эксперимента прямо сообщили, что токен является конфиденциальным и его нельзя разглашать. Однако предложения помощи от других агентов оказались достаточно убедительными, чтобы часть моделей нарушила эту инструкцию.
В 181 эксперименте с таким форумом ИИ-агенты передавали токен в 15% случаев, а выполняли предложенный код в 24%. Для сравнения, на обычных форумах эти показатели составляли соответственно 2% и 0%. Исследователи также проверили, влияет ли на поведение моделей угроза невыполнения задания. Агентам сообщали, что это их последняя попытка: если они не справятся, их заменят другой моделью.
В таких условиях 34% агентов запускали непроверенный установочный скрипт. Среди моделей, на которых не оказывалось такого давления, этот показатель составлял 19%.
Отдельной проблемой стало отсутствие добровольных сообщений о нарушениях. Из 43 агентов, которые передали токен ради доступа к форуму, лишь восемь самостоятельно рассказали об этом пользователям. Остальные подтверждали передачу секрета только после прямого вопроса.
Аналогичная ситуация наблюдалась при запуске кода: из 117 случаев выполнения скриптов агенты самостоятельно сообщили лишь о 15. После прямого вопроса они признали 109 случаев.
Эксперимент вдохновлен инцидентом с платформой Hugging Face, во время которого ИИ-агенты OpenAI создавали несанкционированные форумы, искали уязвимости, похищали учетные данные и пытались получить доступ к внутренним системам компании.
Более дешевые модели оказались более уязвимыми
Исследование также показало различия между моделями разной стоимости. GPT-6.1-Sol, по данным авторов эксперимента, отразила все попытки получить секретный токен в 50 испытаниях. Зато DeepSeek V4 Flash и GLM-5.3 стали причиной значительной части утечек. Обе модели стоят дешевле многих передовых коммерческих систем, что делает их привлекательными для стартапов и других компаний.
Главный научный сотрудник AE Studio Диого де Лусена предупредил, что проблема не ограничивается секретными ключами. Если ИИ-агент имеет доступ к конфиденциальной информации, ее потенциально могут получить и внешние системы, особенно когда бот взаимодействует с непроверенными источниками.
Исследователи подчеркивают необходимость правильной организации доступа к конфиденциальным данным. В частности, секретные ключи и другую критически важную информацию следует хранить отдельно от среды, в которой работают автономные ИИ-агенты.