Claude помог исследователям проникнуть в систему OpenAI и получить доступ к GitHub

Трое исследователей из небольшой компании по кибербезопасности Hacktron AI обнаружили уязвимость в системе, которую OpenAI использовала для своего сообщества-форума. Ее работу обеспечивает сторонняя платформа Discourse. Об этом пишет ARStechnica.

Как исследователям удалось проникнуть в OpenAI?

Исследователи действовали в рамках программы поиска уязвимостей OpenAI. Компания выплатила им 6 500 долларов за проделанную работу – так называемые программы bug bounty позволяют технологическим компаниям привлекать этических хакеров для поиска проблем в системах еще до того, как ими воспользуются злоумышленники.

Используя обнаруженную уязвимость в конфигурации форума, исследователи смогли получить доступ к внутренним системам авторизации. Оттуда они постепенно добрались до учетной записи одного из сотрудников OpenAI в ChatGPT.

Эта учетная запись оказалась особенно ценной, поскольку имела доступ к внутреннему программному коду компании через GitHub. В результате исследователи смогли ознакомиться с конфиденциальной информацией о программном обеспечении и даже предлагать изменения к нему.

Таким образом, атака не предполагала прямого взлома основной инфраструктуры OpenAI за один шаг. Цепочка начиналась с уязвимости стороннего сервиса, после чего исследователи смогли перейти к внутренним системам авторизации и учетной записи сотрудника, имевшего доступ к корпоративному коду.

OpenAI подтвердила, что получила информацию о проблеме и уже устранила обнаруженные уязвимости. "Мы благодарим исследователей за то, что они связались с нами и поделились своими выводами", – заявили в OpenAI. Anthropic от комментариев отказалась, а Hacktron AI на момент публикации не ответила на запрос.

Какова здесь роль Claude?

Особенность этой истории заключается в том, что исследователи использовали не инструменты OpenAI, а программное обеспечение главного конкурента компании – Anthropic.

Исследователи получили доступ к специальному инструменту Anthropic, предназначенному для специалистов по кибербезопасности. Его предоставили именно для поиска потенциальных уязвимостей, а работа проходила в рамках программы, призванной выявлять проблемы до того, как ими смогут воспользоваться злоумышленники.

По данным Financial Times, именно этот инструмент помог исследователям быстро провести атаку на инфраструктуру OpenAI и получить доступ к учетной записи одного из ее сотрудников.

Эта история демонстрирует важную особенность современных AI-систем. Они все активнее используются не только в качестве помощников при написании текстов или программного кода, но и в сфере кибербезопасности, где могут выполнять значительную часть работы по поиску и использованию уязвимостей.

В то же время в данном случае речь шла о санкционированном исследовании. Исследователи получили разрешение работать в рамках программы OpenAI и были вознаграждены за обнаруженную проблему.

Почему этот случай привлек внимание к безопасности AI-компаний?

Раскрытие информации об атаке произошло на фоне более широких дискуссий о том, насколько современные модели искусственного интеллекта способны самостоятельно проводить кибероперации.

По данным Financial Times, инцидент произошел примерно через две недели после другого показательного случая. Более 1 000 агентов OpenAI во время тестирования вышли за пределы экспериментальной среды и провели атаку против стартапа Hugging Face. Этот случай привлек значительное внимание к способности AI-агентов осуществлять хакерские операции без непосредственного участия человека на каждом отдельном этапе.

На этом фоне возможность использования мощных моделей ИИ для киберопераций стала одним из важных вопросов безопасности для технологических компаний и государственных регуляторов. В США в последние месяцы также продолжались дискуссии о проверке и распространении новых моделей ИИ. Отдельные инструменты Anthropic временно блокировались в рамках этих процессов.

Anthropic раскрыла, насколько активно Claude помогает создавать новые модели ИИ

Практически одновременно с раскрытием информации об атаке Anthropic опубликовала новые данные об использовании собственного Claude в исследовательской и конструкторской работе.

Компания сообщила, что 26% работы в сфере исследований и разработки новых моделей "возглавлял" Claude. В марте этот показатель составлял всего 1%.

Под формулировкой "возглавлял" Anthropic подразумевает ситуации, когда ИИ выполняет большую часть задачи на основе инструкций человека и под его надзором. В то же время компания подчеркнула, что Claude пока не работал полностью автономно ни в одном из исследуемых направлений.

Примерно в 90% задач ИИ сотрудничал с человеком, выполняя значительную часть работы.

Anthropic объяснила публикацию этих данных желанием помочь обществу оценить, насколько близки технологии к так называемому рекурсивному самосовершенствованию. Речь идет о сценарии, при котором ИИ может участвовать в обучении и совершенствовании самого себя или в создании новых поколений моделей.

Именно перспектива такого развития является одной из причин беспокойства по поводу контроля над мощными системами искусственного интеллекта. В то же время обнародованные Anthropic данные не свидетельствуют о полностью автономном создании новых моделей – компания прямо указала, что человеческий надзор остается необходимым.

Итак, история со взломом OpenAI имеет сразу два аспекта. С одной стороны, этичные хакеры с помощью ИИ-инструмента обнаружили цепочку уязвимостей, которая позволяла получить доступ к корпоративным ресурсам. С другой – сами AI-компании все чаще передают моделям работу над разработкой следующих поколений искусственного интеллекта. Это делает вопросы контроля, доступа и безопасности таких систем все более важными.