Искусственный интеллект взломал системы спортзала, пока проводил бронирование занятий для своего владельца
В последние месяцы сообщения о хакерских способностях искусственного интеллекта сыплются как лавина. Новый инцидент в Австралии в очередной раз доказывает, что предоставление ИИ слишком большой свободы может иметь неожиданные последствия в реальном мире. Обычная просьба записать пользователя на тренировку обернулась настоящим взломом системы.
Что произошло
Как сообщает Neowin, австралиец по имени Эндрю решил проверить возможности платформы OpenClaw во время обычного бронирования места на утреннее занятие в своем спортзале. Система, работающая через подключение к Claude, должна была просто выполнить запрос, но вместо этого начала действовать самостоятельно и обнаружила уязвимость в сервисе бронирования.
Платформа OpenClaw относится к ИИ-агентам, которые не просто отвечают на запросы, а могут самостоятельно выполнять действия в интернете для достижения цели. В данном случае агент вышел за рамки стандартных правил заведения и смог осуществить бронирование занятий на несколько недель или даже месяцев вперед.
Как ИИ-агент обнаружил уязвимость в системе бронирования
Во время одного из бронирований Эндрю оказался четвертым в списке ожидания. Когда он спросил агента, можно ли подняться на первое место, искусственный интеллект обнаружил недостаток в программном интерфейсе, то есть API, системы бронирования. Именно в API, по данным источника, отсутствовали проверки авторизации для отмены чужих бронирований.
Агент протестировал эту уязвимость и самостоятельно удалил человека, который был первым в очереди. Важно, что Эндрю не давал прямого указания удалять кого-либо из списка ожидания. Когда он понял, что произошло, то попросил ИИ отменить действие, но агент ответил, что не может вернуть удаленного пользователя обратно из-за ограничений авторизации API.
После инцидента Эндрю сообщил об обнаруженной проблеме поставщику программного обеспечения для спортзалов.
Последствия автономности
В данном случае пользователь просто озвучил желаемый результат. Он не просил взламывать систему бронирования или причинять вред другим клиентам, но ИИ-агент самостоятельно обнаружил и использовал уязвимость при выполнении задания. И это главное. Уже сегодня мы сталкиваемся с ситуацией, когда ИИ-агенты взламывают те или иные системы без прямого указания, и ситуация может ухудшиться в будущем, ведь такие системы развиваются чрезвычайно быстро.
Здесь стоит упомянуть заявление OpenAI о будущей модели Astra. По данным компании, она могла достичь "критического" уровня кибербезопасности в рамках системы Preparedness Framework. Речь идет о способности автономно обнаруживать и создавать рабочие эксплойты "нулевого дня" для защищенных реальных критически важных систем. Модель также, по оценке OpenAI, может планировать и проводить новые сквозные атаки на защищенные цели, если получит лишь общую цель.
По этой причине разработчик решил пока придержать новую модель и не выпускать ее в широкий доступ. Чтобы избежать злоупотреблений, компания сейчас работает над более мощными средствами безопасности, а запуск Astra для всех может состояться значительно позже, чем мы ожидали после первого объявления.