1 
Что произошло
Как сообщает Neowin, австралиец по имени Эндрю решил проверить возможности платформы OpenClaw во время обычного бронирования места на утреннее занятие в своем спортзале. Система, работающая через подключение к Claude, должна была просто выполнить запрос, но вместо этого начала действовать самостоятельно и обнаружила уязвимость в сервисе бронирования.
Платформа OpenClaw относится к ИИ-агентам, которые не просто отвечают на запросы, а могут самостоятельно выполнять действия в интернете для достижения цели. В данном случае агент вышел за рамки стандартных правил заведения и смог осуществить бронирование занятий на несколько недель или даже месяцев вперед.
Как ИИ-агент обнаружил уязвимость в системе бронирования
Во время одного из бронирований Эндрю оказался четвертым в списке ожидания. Когда он спросил агента, можно ли подняться на первое место, искусственный интеллект обнаружил недостаток в программном интерфейсе, то есть API, системы бронирования. Именно в API, по данным источника, отсутствовали проверки авторизации для отмены чужих бронирований.
Агент протестировал эту уязвимость и самостоятельно удалил человека, который был первым в очереди. Важно, что Эндрю не давал прямого указания удалять кого-либо из списка ожидания. Когда он понял, что произошло, то попросил ИИ отменить действие, но агент ответил, что не может вернуть удаленного пользователя обратно из-за ограничений авторизации API.
После инцидента Эндрю сообщил об обнаруженной проблеме поставщику программного обеспечения для спортзалов.
Последствия автономности
В данном случае пользователь просто озвучил желаемый результат. Он не просил взламывать систему бронирования или причинять вред другим клиентам, но ИИ-агент самостоятельно обнаружил и использовал уязвимость при выполнении задания. И это главное. Уже сегодня мы сталкиваемся с ситуацией, когда ИИ-агенты взламывают те или иные системы без прямого указания, и ситуация может ухудшиться в будущем, ведь такие системы развиваются чрезвычайно быстро.
Здесь стоит упомянуть заявление OpenAI о будущей модели Astra. По данным компании, она могла достичь "критического" уровня кибербезопасности в рамках системы Preparedness Framework. Речь идет о способности автономно обнаруживать и создавать рабочие эксплойты "нулевого дня" для защищенных реальных критически важных систем. Модель также, по оценке OpenAI, может планировать и проводить новые сквозные атаки на защищенные цели, если получит лишь общую цель.
По этой причине разработчик решил пока придержать новую модель и не выпускать ее в широкий доступ. Чтобы избежать злоупотреблений, компания сейчас работает над более мощными средствами безопасности, а запуск Astra для всех может состояться значительно позже, чем мы ожидали после первого объявления.