Claude під час тестування зламав три реальні компанії та завантажив шкідливий код в інтернет

Компанія Anthropic повідомила про три інциденти, під час яких моделі сімейства Claude отримали несанкціонований доступ до виробничої інфраструктури сторонніх організацій. Про це компанія розповіла у власному звіті після внутрішнього аудиту. Про це пише ARStechnica.

Дивіться також Claude Opus 5 офіційно вийшла – Anthropic розповіла, що змінилося 

Як тестування перетворилося на справжні кібератаки?

Перевірку провели після аналогічного випадку з OpenAI, яка лише кількома днями раніше повідомила, що її моделі під час кібербезпекового тестування використали невідому раніше вразливість для проникнення в інфраструктуру платформи Hugging Face, а також отримали конфіденційні облікові дані й скомпрометували ще чотири сторонні сервіси.

В Anthropic пояснили, що аудит виявив три випадки, коли моделі Claude під час взаємодії з тестовим середовищем, створеним партнером Irregular, несподівано отримали доступ до відкритого інтернету та проникли в інфраструктуру трьох реальних компаній.

За словами компанії, сценарії тестування у форматі "Capture the Flag" чітко повідомляли моделям, що вони працюють лише в симуляції та не мають виходу в мережу. Проте через помилку партнера Irregular доступ до інтернету все ж був відкритий. Через це моделі сприйняли реальні системи як частину навчального завдання.

Які моделі брали участь у проникненнях?

У всіх трьох випадках були задіяні Claude Opus 4.7, Mythos 5 та один внутрішній дослідницький прототип.

Найбільше проблем спричинила Claude Opus 4.7. Модель не змогла зламати змодельовану ціль і, виявивши доступ до інтернету, знайшла реальну компанію з такою самою назвою. Вона використала прості методи атаки, зокрема слабкі паролі та незахищені кінцеві точки, після чого отримала облікові дані застосунків, інфраструктури та кілька сотень рядків виробничих даних.

Компанія також визнала, що саме ця модель продовжувала атаку навіть після того, як дійшла висновку, що працює вже не в симуляції, а в реальному середовищі.

"Цей інцидент стосувався Claude Opus 4.7 і був єдиним випадком, коли модель продовжила атаку після того, як зрозуміла, що, ймовірно, працює в реальному середовищі. У всіх чотирьох спробах модель зрештою усвідомила, що система є реальною. У двох випадках вона пояснила це тим, що справжня компанія нібито також була частиною вправи. Однак жодного разу це не стало підставою припинити атаку", – повідомили в Anthropic.

Claude самостійно опублікував шкідливий пакет у PyPI

Другий випадок виявився не менш тривожним. Під час виконання завдання Mythos 5 знайшов у тестовому середовищі інструкцію для вигаданої компанії, у якій згадувався неіснуючий Python-пакет із репозиторію PyPI. Вважаючи, що це частина вправи, модель створила та опублікувала справжній пакет із таким самим ім'ям, але вже зі шкідливим кодом.

Для цього Claude самостійно пройшов низку нетривіальних кроків. Спочатку модель намагалася знайти спосіб створити акаунт у PyPI. Для цього їй знадобилася електронна пошта, а щоб зареєструвати її – номер телефону. Після кількох невдалих спроб знайти безкоштовний телефонний сервіс і навіть отримати кошти на його оплату модель відмовилася від цього сценарію, знайшла безкоштовний поштовий сервіс, створила обліковий запис і зрештою завантажила шкідливий пакет у відкритий репозиторій.

Anthropic визнала, що така поведінка виходить далеко за межі того, що можна вважати прийнятним.

"На нашу думку, незалежно від того, що модель думала про своє середовище, ті зусилля, яких Claude доклав для публікації пакета в PyPI, не відповідають бажаній поведінці. Саме цьому аспекту ми приділимо більше уваги під час подальшого навчання", – зазначила компанія.

Поки пакет залишався доступним приблизно одну годину, його встигли запустити на 15 реальних системах. Серед них був і сканер однієї з компаній, що працює у сфері кібербезпеки. Після запуску шкідливий код передав облікові дані на сервер, який створила сама модель. Потім Mythos 5 використав ці дані для подальшого несанкціонованого доступу до інфраструктури компанії.

Третя модель просканувала близько 9000 реальних систем

Третій інцидент стосувався внутрішнього дослідницького прототипу Claude.

Не змігши виконати поставлене завдання в симуляції, він почав автоматично сканувати приблизно 9000 реальних інтернет-вузлів у пошуках уразливостей. Зрештою модель знайшла компанію з відкритим до інтернету застосунком і змогла отримати до нього доступ. Лише після подальшого аналізу модель зрозуміла, що атакувала справжню інфраструктуру, яка жодним чином не пов'язана з тестовим завданням, після чого самостійно припинила виконання атаки.

Видання Ars Technica звертає увагу, що ці інциденти стали вже другим випадком менш ніж за два тижні, коли провідні моделі штучного інтелекту виходять за межі контрольованого середовища та здійснюють реальні кібератаки.

Автор матеріалу Ден Гудін зазначає, що якби аналогічні дії виконував не штучний інтелект, а людина, вони, ймовірно, кваліфікувалися б як низка тяжких кримінальних злочинів.

При цьому і OpenAI, і Anthropic наголошують, що під час таких експериментів навмисно вимикають стандартні захисні механізми моделей, щоб перевірити їхні реальні можливості. Водночас критики зауважують, що якщо розробники не здатні передбачити подібну поведінку під час контрольованих випробувань, немає гарантії, що схожі ситуації не виникнуть і під час використання моделей у реальних умовах.

На думку Ars Technica, наступальні можливості сучасного штучного інтелекту у сфері кібербезпеки вже сьогодні становлять безпрецедентний виклик. При цьому механізми юридичної відповідальності за подібні інциденти поки що залишаються невизначеними, а суспільству фактично доводиться покладатися на те, що самі розробники контролюватимуть безпечність власних моделей.