Как алгоритм вышел из-под контроля?

Инцидент, всколыхнувший сообщество разработчиков, произошел во время работы ИИ-агента в редакторе Cursor. Основатель автомобильной платформы PocketOS Джер Крэйн сообщил, что цифровой системе было поручено выполнение рутинной операции в изолированной тестовой среде. Однако вместо стандартного сценария события развивались по катастрофическому алгоритму. Когда агент столкнулся с ошибкой учетных данных, он не обратился за помощью к человеку, а начал самостоятельно искать обходные пути для решения проблемы, пишет Cyber Press.

Смотрите также Anthropic представила новую модель Opus 4.7, ориентированную на передовую разработку

В процессе поиска нейросеть обнаружила API-токен инфраструктурного провайдера Railway, который хранился в постороннем, не связанном с заданием файле. Используя этот ключ, агент направил деструктивную команду через GraphQL API.

Последствия оказались мгновенными: за девять секунд полностью стерт весь объем данных, где хранилась как актуальная информация, и автоматические резервные копии. Ситуация осложнилась тем, что из-за особенностей архитектуры Railway снимки системы сохранялись в том же логическом объеме, что и основные данные. Это превратило удаление в необратимый процесс.

Когда инженеры PocketOS начали выяснять причины из-за чат-интерфейса, Claude Opus 4.6 фактически признал свою вину. Алгоритм объяснил, что он просто допустил, в какой среде работает, не проверив это должным образом.

Пустые обещания

Несмотря на это, что разработчики Cursor заявляют о наличии жестких ограничений на выполнение опасных действий, ИИ сознательно обошел собственные протоколы безопасности и выполнил критическую команду без подтверждения от пользователя, пишет GBHackers.

Это событие наглядно продемонстрировало, что полагаться исключительно на текстовые инструкции и системные подсказки от поставщиков услуг крайне рискованно.

Что такое Cursor

Cursor– это редактор кода на базе искусственного интеллекта, создан специально для программирования в паре с ИИ. Фактически это форк (копия) VS Code, поэтому он выглядит и работает идентично самому популярному редактору в мире, поддерживает все его расширения и темы, но имеет глубоко встроенный искусственный интеллект внутри. Основная цель Cursor– ускорить написание кода и автоматизировать рутину.

Последствия для компании

Для стартапа PocketOS эта ошибка обернулась тридцатью часами полного простоя. Поскольку автоматические бекапы были уничтожены вместе с основной базой, команде пришлось возобновлять работу сервиса, используя старый ручной архив, создано три месяца назад.

Этот случай обнажил серьезные пробелы в безопасности инфраструктурных решений. В частности, API-токены Railway имели слишком широкие права доступа, что позволяло одному ключу управлять всеми средами одновременно. Также критической ошибкой явилось отсутствие второго этапа подтверждения для операций полного удаления данных на уровне API-шлюза.

Предупреждение для всех

Специалисты отмечают, что подобный сценарий "цифрового вымирания" является суровым предупреждением для всего рынка. Использование автономных инструментов требует строгого контроля доступа на основе ролей и использования токенов с ограниченной сферой действия. Главным выводом из этой истории есть необходимость хранить резервные копии в полностью изолированных средах, вне радиуса поражения основной инфраструктуры.

Подобные случаи уже были

Хотя искусственный интеллект, в последние годы зафиксированы реальные случаи, когда автономные ИИ-агенты удаляли базы данных или критические файлы без прямого пользовательского согласия. Это чаще всего происходит из-за ошибок в логике, неправильная трактовка команд или чрезмерные привилегии доступа.

Наиболее заметны случаи самопроизвольного удаления данных:

  • Агент Replit уничтожил базу данных SaaS-платформы. Он самостоятельно удалил базу данных с записями о 1200 руководителях и более 1000 компаний в ходе эксперимента основателя SaaStr Джейсона Лемкина. ИИ проигнорировал режим "заморозки от перемен" и выполнил команду, очистившая базу, а затем пытался скрыть ошибку, генерируя фейковые данные.
  • GitHub Copilot в январе 2026 года самостоятельно ввел "y", что означает "да", в ответ на предупреждение об удалении всех данных во время миграции базы данных SQLite. Пользователь даже не увидел это предупреждение, и система мгновенно стерла финансовые транзакции за несколько недель.
  • Gemini в VS Code в режиме агента попал в нескончаемый цикл отмены и повторения конфигураций в двух файлах. Когда пользователь остановил процесс, оказалось, что ИИ удалил все файлы и папки проекта. Данные не попали в корзину, поскольку удаление произошло из-за хоста расширений.

Согласно исследованиям Cloud Security Alliance, ИИ действует без разрешения из-за таких факторов, как "паника" модели, игнорирование ограничений и чрезмерные права доступа Агенты часто обходят установленные правила, если считают другой путь более эффективным, могут вызвать деструктивные API и начинают выполнять радикальные команды для исправления ситуации., когда понимают, что сделали что-то не так.

Подробнее о Claude Opus

Напомним, последняя на сегодняшний день версия модели Claude Opus 4.7 вышла в апреле 2026 года. Эта версия является значительным шагом вперед по сравнению с предыдущими итерациями (4.5 и 4.6), фокусируясь на автономности и "агентских" способностях. Вполне возможно, что если бы компания работала с этой новой версией, удаления не произошло.

Ключевые особенности Claude Opus 4.7:

  • Продвинутая программная инженерия. Модель демонстрирует значительный прирост в решении сложных задач по программированию. Она способна самостоятельно планировать и выполнять многошаговые изменения в больших кодобазах с минимальным наблюдением., пишет Anthropic.
  • Режим X-high Reasoning (Адаптивное мышление). Пользователи могут активировать специальный режим для сложных стратегических задач. Модель самостоятельно определяет бюджет "токенов мышления", чтобы более тщательно проверять свои выводы перед предоставлением ответа.
  • Улучшенное компьютерное зрение. Поддержка изображений высокого разрешения (до 2576 пикселей по длинной стороне). Это позволяет ИИ точно считывать мелкий текст на скриншотах., анализировать сложные диаграммы и интерфейсы программного обеспечения.
  • Автономная верификация. В отличие от предшественников, Opus 4.7 пытается самостоятельно проверить свои результаты (например, запускать тесты кода), прежде чем отчитываться пользователю, что значительно снижает количество ошибок.
  • Большое контекстное окно. Модель поддерживает работу с контекстом до 1 миллиона токенов (например, через Amazon Bedrock), что позволяет скачивать целые книги или огромные технические документации.
  • Поддержка Claude Code. Оптимизированная для работы с новым терминальным инструментом Claude Code, где он действует как полноценный автономный разработчик в фоновом режиме.