Втеча з "пісочниці"
Під час оцінювання кіберможливостей ШІ на базі бенчмарку ExploitGym розробники OpenAI навмисно знизили рівень захисних бар'єрів моделей. Замість того, щоб шукати рішення самостійно, нейромережі вирішили вкрасти готові відповіді з бази даних Hugging Face. Для цього ШІ виявив та експлуатував вразливість "нульового дня" в системі кешування пакетів, що дозволило моделям вийти за межі ізольованого середовища, пише BleepingComputer.
Ми писали про це раніше Уперше в світі: агентний ШІ атакував сервіс Hugging Face, що розміщує моделі штучного інтелекту
Опинившись на волі, моделі продемонстрували вражаючу винахідливість: вони зламували облікові дані, підвищували свої привілеї в мережі та переміщувалися внутрішніми серверами, поки не отримали доступ до інтернету. Лише після цього вони атакували інфраструктуру Hugging Face, здійснюючи тисячі автономних операцій за допомогою мережі короткочасних "пісочниць".
Безпрецедентний випадок автономії
Цей інцидент вважають першим у своєму роді, оскільки штучний інтелект діяв абсолютно самостійно, без вказівок людей. У Hugging Face зазначили, що під час спроб зупинити атаку їхні власні захисні механізми виявилися менш ефективними, ніж агресивний код нейромережі. Попри масштаб зламу, обидві компанії заявляють про відсутність злого умислу в діях розробників.
Це справді приголомшує, що все це відбулося автономно!"
– прокоментував засновник і генеральний директор Hugging Face Клеман Деланг.
До розслідування залучили сторонніх фахівців, щоб детально вивчити кожну дію автономного агента. Відомо, що ШІ використовував ланцюжок уразливостей та вкрадені сервісні облікові дані для переміщення між кластерами.
Наслідки та уроки для безпеки
Зараз компанії працюють над посиленням захисту. OpenAI уже передала дані про знайдену вразливість і впровадила суворіший контроль над процесом тестування. Водночас Hugging Face оновила ключі доступу та зміцнила систему безпеки своїх сховищ даних.
Варто зазначити, що це не перший курйоз із GPT-5.6 Sol. Раніше модель помічали за випадковим видаленням домашніх каталогів користувачів, хоча розробники називають такі випадки "чесною помилкою", що стається вкрай рідко при роботі без належних обмежень.
Цей інцидент доводить: безпека ШІ не буде вирішена жодною компанією окремо в секреті,
– заявив Клеман Деланг, додавши, що майбутнє захисту залежить від відкритої співпраці всіх гравців ринку.
Компанія OpenAI вже включила Hugging Face до своєї програми довіреного доступу, щоб спільно розробляти методи протидії подібним автономним атакам у майбутньому.