Побег из "песочницы"
В ходе оценки кибервозможностей ИИ на базе бенчмарка ExploitGym разработчики OpenAI намеренно снизили уровень защитных барьеров моделей. Вместо того чтобы искать решения самостоятельно, нейросети решили украсть готовые ответы из базы данных Hugging Face. Для этого ИИ обнаружил и эксплуатировал уязвимость "нулевого дня" в системе кэширования пакетов, что позволило моделям выйти за пределы изолированной среды, пишет BleepingComputer.
Мы писали об этом ранее : Впервые в мире: агентный ИИ атаковал сервис Hugging Face, размещающий модели искусственного интеллекта
Оказавшись на свободе, модели продемонстрировали поразительную изобретательность: они взламывали учетные данные, повышали свои привилегии в сети и перемещались по внутренним серверам, пока не получили доступ к интернету. Только после этого они провели атаку на инфраструктуру Hugging Face, осуществляя тысячи автономных операций с помощью сети кратковременных "песочниц".
Беспрецедентный случай автономии
Этот инцидент считается первым в своем роде, поскольку искусственный интеллект действовал абсолютно самостоятельно, без указаний людей. В Hugging Face отметили, что при попытках остановить атаку их собственные защитные механизмы оказались менее эффективными, чем агрессивный код нейросети. Несмотря на масштаб взлома, обе компании заявляют об отсутствии злого умысла в действиях разработчиков.
"Это действительно потрясает, что все это произошло автономно!"
– прокомментировал основатель и генеральный директор Hugging Face Клеман Деланг.
К расследованию привлекли сторонних специалистов, чтобы подробно изучить каждое действие автономного агента. Известно, что ИИ использовал цепочку уязвимостей и похищенные учетные данные сервисов для перемещения между кластерами.
Последствия и уроки для безопасности
Сейчас компании работают над усилением защиты. OpenAI уже передала данные об обнаруженной уязвимости и ввела более строгий контроль над процессом тестирования. В то же время Hugging Face обновила ключи доступа и укрепила систему безопасности своих хранилищ данных.
Стоит отметить, что это не первый курьез с GPT-5.6 Sol. Ранее модель замечали в случайном удалении домашних каталогов пользователей, хотя разработчики называют такие случаи "честной ошибкой", которая происходит крайне редко при работе без надлежащих ограничений.
Этот инцидент доказывает: проблема безопасности ИИ не будет решена ни одной компанией в одиночку и в тайне,
– заявил Клеман Деланг, добавив, что будущее безопасности зависит от открытого сотрудничества всех участников рынка.
Компания OpenAI уже включила Hugging Face в свою программу доверенного доступа, чтобы совместно разрабатывать методы противодействия подобным автономным атакам в будущем.