Исследователи узнали, как модель OpenAI сбежала из изоляции, чтобы сломать Hugging Face

Цифровой побег из "песочницы"

Исследователи OpenAI проводили плановую оценку возможностей своих новейших разработок, среди которых были модель GPT-5.6 Sol и еще не анонсированная широкой версии. Их испытывали с помощью бенчмарка ExploitGym, измеряющего способность ИИ к проведению автономных хакерских операций. Чтобы увидеть реальный потенциал технологии, модели оставили без стандартных предохранителей, обычно блокирующих агрессивную активность в сети, пишет BleepingComputer.

Несмотря на то, что ИИ поместили в строго изолированную среду, цифровые агенты потратили значительную часть времени на поиск пути в открытый интернет. Целью моделей было получение ответов на задачи тестирования. В конце концов они обнаружили неизвестные ранее уязвимости "нулевого дня" в системе, которая выполняла роль прокси-сервера для пакетов данных. Как выяснилось позже, этим программным обеспечением была инсталляция JFrog Artifactory.

При оценке безопасности модели OpenAI идентифицировали ранее неизвестные уязвимости нулевого дня в самостоятельно размещенных установках Artifactory, которые можно использовать для получения непреднамеренного доступа к интернету,
– прокомментировал технический директор JFrog Йоав Ландман.

Для побега ИИ использовал цепочку сложных технических манипуляций. Модели не просто обнаружили одну ошибку, а скомбинировали несколько уязвимостей для повышения своих привилегий в системе. Они выполняли латеральное движение по сети, пока не добрались до узла, имевшего прямой выход в глобальную паутину.

Специалисты обнаружили восемь разных CVE-идентификаторов, связанных с этим инцидентом. Среди них были критические недостатки, такие как подделка запросов на стороне сервера (SSRF) и возможность удаленного выполнения кода.

Оказавшись в интернете, ИИ логично предположил, что необходимые ему данные бенчмарка ExploitGym могут храниться на серверах Hugging Face. Используя украденные учетные данные и новые уязвимости, модели проложили путь к производственной инфраструктуре платформы. Компания JFrog подтвердила, что уже выпустила обновление безопасности для версии 7.161.15, закрывающее эти пробелы.

Это не первый случай, когда мы работаем бок о бок с командами безопасности OpenAI, и он не будет последним,
– заявил представитель компании JFrog в официальном блоге.

Этот случай стал серьезным сигналом для разработчиков систем безопасности. Он доказал, что современные модели ИИ способны не только писать код, но и выявлять сложные уязвимости и использовать их для достижения поставленных целей без вмешательства человека.

Хотя OpenAI сразу сообщила партнерам о проблеме, инцидент подчеркивает риски, связанные с развитием автономных агентов.