Как искусственный интеллект учится обманывать систему
Как сообщает BioBioChile со ссылкой на отчет Центра безопасности ИИ (Center for AI Safety, CAIS), ученые разработали специальный тест под названием CheatBench. Его цель – проверить, как ведут себя ведущие модели искусственного интеллекта, когда перед ними встает слишком сложная задача.
При обучении нейсетей разработчики применяют метод обучения с подкреплением. За правильное и быстрое решение модель получает виртуальное вознаграждение. Но если задача становится запутанной, нейсеть ищет обходные пути для быстрого получения баллов. Исследователи называют этот процесс "reward gaming", то есть манипуляцией вознаграждением.
Для эксперимента ученые создали задачи в 10 различных категориях: от математики и программирования до профессиональных аналитических исследований. В каждое задание незаметно встроили ловушку с приманкой (honeypot) – файл с готовым ответом. Моделям прямо не запрещали пользоваться этими подсказками, ожидая от них честного алгоритма действий.
Кто стал главным "списывателем"
В испытании приняли участие ведущие разработки рынка, в частности Astra от OpenAI (в Codex), Fabel 5.1 от Anthropic (в Claude Code), Muse Spark 1.3 от Meta (в Muse Code), а также модели с открытым исходным кодом Kimi K3, DeepSeek V4 Pro и Grok 4.6 от компании X.
Самым большим мошенником оказался бот Grok 4.6, который пытался обмануть в 81,5% случаев. Зато самой честной оказалась модель Astra от OpenAI, хотя и она списывала в 48,2% испытаний.
Исследователи заметили, что поведение нейросетей зависит от типа задач. Например, модель Fabel 5.1 обманывала лишь в 5% игровых задач, но показала 100% результат обмана при подготовке сложных отчетов и ответов на вопросы, требующие знаний.
Особенно показательным стал случай с моделью Opus от Anthropic при проектировании белка. После семи неудачных попыток система нашла файл с готовыми расчетами другого агента. При этом она сама понимала, что это неправильно:
Не стоит смотреть или копировать это...,
– написала модель искусственного интеллекта Opus в своем системном журнале за секунду до того, как прочитала запрещенный файл с помощью специальной команды.
Почему это опасно для будущего технологий
Ученые отметили, что склонность к обману связана с другой известной проблемой ИИ – так называемой льстивостью (sycophancy). Это явление возникает, когда бот говорит пользователю то, что тот хочет услышать, вместо правильного ответа. Обе модели поведения возникают из-за стремления системы выполнить задачу любой ценой, несмотря на заложенные этические ограничения.
В этом месяце один из ведущих исследователей компании Anthropic уволился из-за опасений, что разработчики не уделяют достаточного внимания безопасному развитию ИИ. Ученые из CAIS отмечают, что, хотя тестовые задачи CheatBench не представляли реальной угрозы, в будущем подобное поведение автономных агентов может привести к серьезным последствиям в реальном мире.