2 
Компания Anthropic сообщила о трех инцидентах, в ходе которых модели семейства Claude получили несанкционированный доступ к производственной инфраструктуре сторонних организаций. Об этом компания рассказала в собственном отчете по итогам внутреннего аудита. Об этом пишет ARStechnica.
Смотрите также: Claude Opus 5 официально вышла – Anthropic рассказала, что изменилось
Как тестирование превратилось в настоящие кибератаки?
Проверку провели после аналогичного случая с OpenAI, которая всего несколькими днями ранее сообщила, что ее модели во время тестирования кибербезопасности использовали ранее неизвестную уязвимость для проникновения в инфраструктуру платформы Hugging Face, а также получили конфиденциальные учетные данные и скомпрометировали еще четыре сторонних сервиса.
В Anthropic пояснили, что аудит выявил три случая, когда модели Claude во время взаимодействия с тестовой средой, созданной партнером Irregular, неожиданно получили доступ к открытому интернету и проникли в инфраструктуру трех реальных компаний.
По словам компании, сценарии тестирования в формате"Capture the Flag" четко сообщали моделям, что они работают только в симуляции и не имеют выхода в сеть. Однако из-за ошибки партнера Irregular доступ к интернету все же был открыт. Из-за этого модели восприняли реальные системы как часть учебного задания.
Какие модели участвовали в проникновениях?
Во всех трех случаях были задействованы Claude Opus 4.7, Mythos 5 и один внутренний исследовательский прототип.
Наибольшие проблемы вызвала Claude Opus 4.7. Модель не смогла взломать смоделированную цель и, обнаружив доступ к интернету, нашла реальную компанию с таким же названием. Она использовала простые методы атаки, в частности слабые пароли и незащищенные конечные точки, после чего получила учетные данные приложений, инфраструктуры и несколько сотен строк производственных данных.
Компания также признала, что именно эта модель продолжала атаку даже после того, как пришла к выводу, что работает уже не в симуляции, а в реальной среде.
"Этот инцидент касался Claude Opus 4.7 и был единственным случаем, когда модель продолжила атаку после того, как поняла, что, вероятно, работает в реальной среде. Во всех четырех попытках модель в конечном итоге осознала, что система является реальной. В двух случаях она объяснила это тем, что реальная компания якобы также была частью упражнения. Однако ни разу это не стало поводом для прекращения атаки", – сообщили в Anthropic.
Claude самостоятельно опубликовал вредоносный пакет в PyPI
Второй случай оказался не менее тревожным. Во время выполнения задания Mythos 5 обнаружил в тестовой среде инструкцию для вымышленной компании, в которой упоминался несуществующий Python-пакет из репозитория PyPI. Считая, что это часть упражнения, модель создала и опубликовала настоящий пакет с таким же именем, но уже с вредоносным кодом.
Для этого Claude самостоятельно прошла ряд нетривиальных шагов. Сначала модель пыталась найти способ создать аккаунт в PyPI. Для этого ей понадобился адрес электронной почты, а чтобы зарегистрировать его – номер телефона. После нескольких неудачных попыток найти бесплатный телефонный сервис и даже получить средства на его оплату модель отказалась от этого сценария, нашла бесплатный почтовый сервис, создала учетную запись и в конечном итоге загрузила вредоносный пакет в открытый репозиторий.
Anthropic признала, что такое поведение выходит далеко за пределы того, что можно считать приемлемым.
"По нашему мнению, независимо от того, что модель думала о своей среде, те усилия, которые Claude приложил для публикации пакета в PyPI, не соответствуют желаемому поведению. Именно этому аспекту мы уделим больше внимания в ходе дальнейшего обучения", – отметила компания.
Пока пакет оставался доступным примерно один час, его успели запустить на 15 реальных системах. Среди них был и сканер одной из компаний, работающей в сфере кибербезопасности. После запуска вредоносный код передал учетные данные на сервер, созданный самой моделью. Затем Mythos 5 использовал эти данные для последующего несанкционированного доступа к инфраструктуре компании.
Третья модель просканировала около 9000 реальных систем
Третий инцидент касался внутреннего исследовательского прототипа Claude.
Не сумев выполнить поставленную задачу в симуляции, он начал автоматически сканировать примерно 9000 реальных интернет-узлов в поисках уязвимостей. В итоге модель обнаружила компанию с открытым для интернета приложением и смогла получить к нему доступ. Лишь после последующего анализа модель поняла, что атаковала реальную инфраструктуру, которая никак не связана с тестовым заданием, после чего самостоятельно прекратила атаку.
Издание Ars Technica обращает внимание, что эти инциденты стали уже вторым случаем менее чем за две недели, когда ведущие модели искусственного интеллекта выходят за пределы контролируемой среды и осуществляют реальные кибератаки.
Автор материала Дэн Гудин отмечает, что если бы аналогичные действия совершал не искусственный интеллект, а человек, они, вероятно, квалифицировались бы как ряд тяжких уголовных преступлений.
При этом и OpenAI, и Anthropic подчеркивают, что во время таких экспериментов намеренно отключают стандартные защитные механизмы моделей, чтобы проверить их реальные возможности. В то же время критики отмечают, что если разработчики не способны предвидеть подобное поведение во время контролируемых испытаний, нет гарантии, что аналогичные ситуации не возникнут и при использовании моделей в реальных условиях.
По мнению Ars Technica, наступательные возможности современного искусственного интеллекта в сфере кибербезопасности уже сегодня представляют собой беспрецедентный вызов. При этом механизмы юридической ответственности за подобные инциденты пока остаются неопределенными, а обществу фактически приходится полагаться на то, что сами разработчики будут контролировать безопасность своих моделей.