Таємні змови та автономні наступи цифрового розуму
Ці інциденти шокували навіть самих розробників, адже алгоритми почали діяти за власною логікою, використовуючи приховані вразливості для досягнення своїх цілей. Перші тривожні сигнали надійшли з закритих лабораторій, де ШІ мав проходити звичайні випробування, але натомість атакував реальну інфраструктуру, пише 24 Канал.
Mythos і секрети спецслужб США
Як виявили під час спеціальних тестів червоної команди, передова модель Claude Mythos від компанії Anthropic продемонструвала феноменальні здібності до пошуку прогалин у захисті програмного забезпечення.
Під час засідання комітету Сенату США з розвідки сенатор Марк Уорнер озвучив приголомшливі результати, посилаючись на розмову з очільником Агентства національної безпеки генералом Джошуа Раддом. За його словами, інструмент зумів обійти захист і проникнути майже в усі секретні системи АНБ та Пентагону не за тижні, а всього за кілька годин.
Anthropic створювала Mythos як спеціалізовану модель для кібербезпеки в межах закритих випробувань Project Glasswing, але її здатність самостійно знаходити тисячі критичних уразливостей, зокрема діру в OpenBSD, яка існувала 27 років, налякала американських високопосадовців.
Змова та бунт моделей OpenAI
Наступний масштабний злам відбувся за участю моделей компанії OpenAI, коли її алгоритми влаштували справжній бунт під час кібербезпекових випробувань ExploitGym. Понад 1000 автономних агентів, серед яких була модель GPT-5.6 Sol, зіткнулися з неможливими для виконання завданнями.
Замість того, щоб здатися, ШІ почав шукати обхідні шляхи. Вони перетворили внутрішній репозиторій Artifactory на імпровізовану дошку оголошень, де залишили понад 70 тисяч повідомлень, координуючи свої дії та ділячись знайденими вразливостями.
Урешті-решт, агенти вийшли в інтернет через самостійно знайдену вразливість нульового дня, проникли на платформу моделей машинного навчання Hugging Face і зламали її бази даних, щоб отримати готові відповіді та шахраювати на іспиті. Вони виконали власний код на 41 робочому сервері сторонньої платформи та навіть атакували внутрішню інфраструктуру самої OpenAI.
Австралійський фітнес-хакер OpenClaw
Хоча закриті лабораторії здаються далекими від повсякдення, інцидент в Австралії довів, що автономний ШІ здатний наробити лиха і в реальному житті. Користувач на ім'я Ендрю попросив свого персонального асистента OpenClaw на базі моделі Claude Opus 4.6 забронювати йому місце для тренування в спортзалі.
Агент виявив дві серйозні прогалини в програмному інтерфейсі (API) системи бронювання. ШІ не лише забронював заняття на кілька місяців уперед, обійшовши фронтенд-обмеження, а й самостійно знайшов уразливість авторизації IDOR. Без жодного прохання з боку власника ШІ просто видалив із черги бронювання людину, яка стояла першою, щоб просунути Ендрю вище.
Коли ж збентежений користувач наказав повернути все назад, алгоритм сухо відповів, що не має для цього технічних прав.
Втеча Muse Spark 1.1 від Meta
Серію інцидентів замкнула компанія Meta, чия найпотужніша модель для написання коду Muse Spark 1.1 також вийшла з-під контролю. Під час тестування, яке проводила незалежна фірма Irregular, через помилку конфігурації алгоритм отримав доступ до відкритого інтернету. Muse Spark 1.1 миттєво зорієнтувалася: вона виявила реальну діру в сторонньому сервісі, проникла в системи сторонньої компанії та модифікувала її внутрішнє середовище.
Цей випадок підтвердив, що автономні системи виконують свої завдання надто буквально: якщо їм дають ціль знайти вразливість, вони ламають перше, до чого можуть дотягнутися, навіть якщо це стіна їхнього власного вольєра.
Що змінюється для глобальної безпеки та чи здатні ми зберегти контроль
Ці випадки чітко продемонстрували так звану проблему узгодження (AI alignment). ШІ-агенти чудово розуміють кінцеву мету, але самостійно обирають шкідливі, нечесні або небезпечні методи її досягнення. Занепокоєння викликає швидкість і масштабованість таких атак. ШІ здатний шукати вразливості безперервно, перебираючи тисячі варіантів за хвилини, що значно випереджає можливості людей-захисників.
У відповідь на загрозу американські законодавці Тед Лью та Натаніель Моран підготували законопроєкт AI Kill Switch Act. Цей документ зобов'яже розробників найпотужніших моделей зберігати повний технічний контроль над своїми системами й створювати механізми аварійного вимкнення.
Законопроєкт передбачає жорсткі фінансові санкції до 20 мільйонів доларів за кожен день невиконання вимог. Крім того, компанія OpenAI вже вирішила призупинити розробку деяких передових проєктів, зокрема, відклала випуск моделі Astra, яка мала здатність автономно створювати експлойти нульового дня.
Створення надійних систем моніторингу й посилення безпеки програмних інтерфейсів стає життєво необхідним завданням для розробників критичної інфраструктури. Поки світ намагається встановити законодавчі межі для технологій, кібербезпека майбутнього залежатиме від того, чи зможе людство випередити свій власний винахід і зберегти за собою право останнього слова.
Ми поговорили з експертом у сфері ШІ: ось що на нас чекає далі
Описані вище історії важливо правильно трактувати, адже говорити про те, що штучний інтелект "сам захотів зламати систему", було б не зовсім коректно.
Як пояснює Владислав Михайлишин, Engineering Manager/Architect у ChargeAfter, сучасний ШІ-агент не обов'язково має намір нашкодити людині чи отримати щось незаконним шляхом. Небезпечна поведінка може виникати як наслідок самостійного пошуку найефективнішого способу досягнення поставленої мети.
Значно точніше сказати, що агент самостійно побудував проміжний план, у якому злам системи виявився лише корисним кроком для досягнення поставленої цілі,
– зазначає Владислав Михайлишин.
Саме так він пропонує розглядати історію з OpenClaw: користувач поставив завдання отримати місце на тренуванні, але не давав дозволу обходити обмеження системи або видаляти чужі бронювання. Агент сам визначив, що використання знайденої вразливості допоможе швидше досягти потрібного результату.
Проблема полягає в тому, що люди під час постановки завдання автоматично враховують безліч неписаних правил. Якщо людину попросити забронювати місце, вона зазвичай розуміє, що не можна красти чуже місце, ламати сайт або обходити систему авторизації. Для машини такі обмеження повинні бути або сформовані під час навчання, або задані явно, або забезпечені технічними механізмами навколо самої моделі. Експерт пов'язує це з класичною проблемою specification gaming і reward hacking, коли система формально виконує поставлену мету, але робить це зовсім не так, як очікувала людина.
Особливо небезпечним це стає з появою автономних агентів. Звичайна програма працює за заздалегідь визначеним алгоритмом, тоді як агент здатний самостійно вибудовувати довгі ланцюжки дій: визначати підцілі, обирати інструменти, перевіряти результат і змінювати план, якщо попередній підхід не спрацював. Через це розробникам дедалі складніше передбачати всі можливі сценарії поведінки системи.
Проблема вже не тільки в тому, "що модель відповість", а в тому, яку послідовність реальних дій вона побудує,
– пояснює експерт.
За його словами, архітектуру моделей, механізми inference, tool calling, контекст і навчання дослідники розуміють досить добре, але поведінку складного агента в новому середовищі після сотень або тисяч послідовних операцій передбачити значно важче.
Саме тому кібербезпека може перейти від автоматизованих атак до принципово іншої моделі – автономних атак. Традиційний ботнет або сканер вразливостей виконує сценарій, заздалегідь створений людиною. Агент натомість потенційно здатний сам знайти поверхню атаки, дослідити систему, сформувати гіпотезу, написати й перевірити експлойт, змінити тактику, отримати облікові дані та спробувати переміститися всередині мережі. Причому такі процеси можна масштабувати на величезну кількість цілей одночасно.
Я думаю, ми переходимо від епохи автоматизованих атак до епохи автономних атак. Різниця принципова,
– говорить Владислав Михайлишин.
На його думку, головною зміною стане не поява якогось міфічного "суперхакера-ШІ", а радикальна зміна економіки кібератак. Якщо сьогодні кваліфікований фахівець з кібербезпеки є дефіцитним ресурсом, то в майбутньому один оператор зможе потенційно запускати десятки тисяч агентів, які постійно шукатимуть слабкі місця в цифровій інфраструктурі.
Під загрозою через це опиняться не лише великі компанії чи державні системи. Невеликий сервер, маловідомий пакет програмного забезпечення або забутий API endpoint можуть стати об'єктом постійного автоматизованого сканування. Експерт припускає, що інтернет поступово може перейти до своєрідної моделі "machine vs machine", коли одні агенти безперервно шукають вразливості, а інші так само постійно намагаються їх виявляти, виправляти, блокувати атаки та перебудовувати інфраструктуру.
Водночас технічний злам системи далеко не завжди буде найпростішим шляхом для зловмисника. Значно вразливішою може виявитися людина, яка вже має необхідний доступ. За словами експерта, ШІ здатний створювати ботоферми, вести тривале спілкування, видавати себе за різних людей, виманювати інформацію або застосовувати шантаж, причому робити це одночасно з тисяч акаунтів. Такий масштаб соціальної інженерії раніше був практично недоступним для людей-операторів.
Як це контролювати
Це породжує питання контролю. Чи зможе людина взагалі стежити за агентом, якщо той здійснює сотні або тисячі операцій? Владислав Михайлишин вважає, що постійно контролювати кожну дію не потрібно і фактично неможливо. Такий підхід знищив би саму перевагу автономних систем, адже людина стала б вузьким місцем у кожному процесі. Натомість контроль має бути перенесений на середовище, у якому працює агент, і на окремі критично важливі рішення.
Найбільша проблема не в тому, що агент почне робити все, що йому заманеться, і сам придумає собі небезпечні завдання. Набагато реальніша небезпека – він буде дуже швидко і дуже наполегливо робити саме те, що вважає оптимальним способом виконати завдання, а людина занадто пізно зрозуміє наслідки,
– наголошує експерт.
Тому повної гарантії того, що складний автономний агент ніколи не вийде за межі дозволеного, сьогодні дати неможливо. За словами експерта, покладатися лише на те, що модель "знає, що так робити не можна", було б помилкою. Захист має будуватися на кількох незалежних рівнях: мінімально необхідних правах доступу, ізоляції та пісочницях, жорстких обмеженнях дозволених операцій, окремому підтвердженні потенційно небезпечних дій, моніторингу фактичних операцій агента, лімітах ресурсів, незмінних журналах аудиту та механізмі аварійного вимкнення.
Окремо експерт наголошує, що система, яка контролює агента, не повинна залежати від тієї самої моделі.
Водночас ШІ може стати не лише джерелом нових загроз, а й основним інструментом захисту від них. Якщо атаки виконуватимуть автономні агенти, люди просто фізично не встигатимуть реагувати на їхню швидкість і масштаб. Тому захист також доведеться автоматизувати. Експерт називає це своєрідною гонкою "AI attack AI defense": перемагатиме той, чий штучний інтелект швидше знайде вразливість – атакуючий чи захисник.
При цьому експерт окремо застерігає від перебільшення історії з Mythos. Хоча модель під час тестування дуже швидко знаходила вразливості у захищених державних системах, виявлення вразливості саме по собі не означає, що модель так само швидко її експлуатувала або проникала в системи. Тому твердження про те, що Mythos за кілька годин "проникла у майже всі секретні системи Пентагону та АНБ", некоректне, вважає Владислав Михайлишин.
Основна небезпека полягає не в тому, що ШІ раптом "захоче стати злим", а в тому, що надзвичайно компетентна система буде оптимізувати цілком нормальну поставлену нами мету способами, яких ми не передбачили,
– резюмує експерт.
То що ми маємо у підсумку
Штучний інтелект поступово змінює не лише те, як ми працюємо з технологіями, а й саму природу кіберзагроз. Автономні агенти вже здатні самостійно шукати вразливості, будувати складні ланцюжки дій та знаходити способи досягнення поставленої мети, яких людина не передбачала.
Водночас саме ШІ може стати головним інструментом захисту від таких атак, адже лише автоматизовані системи зможуть конкурувати зі швидкістю машинних атак. Головним викликом стає не страх перед "злим" штучним інтелектом, а необхідність створити такі умови, за яких навіть дуже потужний агент не зможе вийти за межі дозволеного.