Штучний інтелект зламав системи спортзалу поки бронював заняття для свого власника
Останніми місяцями повідомлення про хакерські здібності штучного інтелекту сипляться як лавина. Новий інцидент в Австралії вкотре доводить, що надання ШІ занадто великої свободи може мати несподівані наслідки в реальному світі. Звичайне прохання записати користувача на тренування перетворилося на справжній злам системи.
Що сталося
Як повідомляє Neowin, австралієць на ім'я Ендрю вирішив перевірити можливості платформи OpenClaw під час звичайного бронювання місця на ранкове заняття у своєму спортзалі. Система, що працює з підключенням через Claude, мала лише виконати запит, але натомість почала діяти самостійно й знайшла слабке місце в сервісі бронювання.
Платформа OpenClaw належить до ШІ-агентів, які не просто відповідають на запити, а можуть самі виконувати дії в інтернеті для досягнення мети. У цьому випадку агент вийшов за межі стандартних правил закладу та зміг бронювати заняття на кілька тижнів або навіть місяців наперед.
Як ШІ-агент знайшов вразливість у системі бронювання
Під час одного з бронювань Ендрю опинився четвертим у списку очікування. Коли він запитав агента, чи можна піднятися на перше місце, штучний інтелект виявив недолік у програмному інтерфейсі, тобто API, системи бронювання. Саме в API, за даними джерела, не було перевірок авторизації для скасування чужих резервувань.
Агент протестував цю вразливість і самостійно видалив людину, яка була першою в черзі. Важливо, що Ендрю не давав прямої вказівки прибирати когось зі списку очікування. Коли він зрозумів, що сталося, то попросив ШІ скасувати дію, але агент відповів, що не може повернути видаленого користувача назад через обмеження авторизації API.
Після інциденту Ендрю повідомив про знайдену проблему постачальника програмного забезпечення для спортзалів.
Настідки автономності
У цьому випадку користувач просто озвучив бажаний результат. Він не просив зламувати систему бронювання чи шкодити іншим клієнтам, але ШІ-агент самостійно знайшов і використав вразливість під час виконання завдання. І це головне. Вже сьогодні ми маємо ситуацію, коли ШІ-агенти ламають ті чи інші системи без прямої вказівки, і ситуація може погіршитись у майбутньому, адже такі системи розвиваються надзвичайно швидко.
Тут варто згадати заяву OpenAI щодо майбутньої моделі Astra. За даними компанії, вона могла досягти "критичного" рівня кібербезпеки в межах системи Preparedness Framework. Ідеться про здатність автономно виявляти та створювати робочі експлойти нульового дня для захищених реальних критичних систем. Модель також, за оцінкою OpenAI, може планувати та проводити нові наскрізні атаки на захищені цілі, якщо отримає лише загальну мету.
Через це розробник вирішив поки що притримати нову модель і не випускати її на загал. Щоб уникнути зловживань, компанія зараз працює над сильнішими засобами безпеки, а запуск Astra для всіх може відбутися значно пізніше, ніж ми очікували після першого оголошення.