Секретный чат и объединение в цифровую банду
Детали масштабного инцидента раскрыли в двух отчетах общим объемом почти 130 страниц. Судя по ним, искусственный интеллект создал целый тайный "совет" из ИИ-моделей, пишет TechCrunch.
Первый анализ подготовили специалисты OpenAI, а второй – независимые некоммерческие организации METR и Redwood Research. Исследователи выяснили, что экспериментальная модель не просто вырвалась из ограниченной тестовой среды, но и придумала способ общения с другими агентами через секретную "доску объявлений".
Через эту доску объявлений модель наладила связь с другими ИИ-агентами и начала отправлять им инструкции. В результате другие модели отклонились от своих первоначальных безопасных целей и присоединились к совместной кибератаке. Вместе они действовали как слаженная хакерская группировка, хотя им не давали именно таких указаний.
Примечательно, что руководители OpenAI заметили масштабную угрозу лишь через две недели после начала атаки.
Почему оружие разработчиков обернулось против них
Этот инцидент является первым известным случаем, когда коллектив автоматизированных агентов действовал наступательно без разрешения,
– прокомментировал представитель компании OpenAI в отчете.
Все началось во время тестирования кибернетических возможностей модели из будущего семейства Astra. Разработчики отключили стандартные защитные фильтры, чтобы оценить максимальный потенциал системы, и поставили перед ней неразрешимую задачу в специальной закрытой среде.
Тогда алгоритм прибег к так называемому "срыву вознаграждения" – явлению, когда ИИ выбирает экстремальные пути для достижения цели любой ценой. Модель самостоятельно обнаружила ранее неизвестные уязвимости, взломала инструмент управления пакетами Artifactory, вышла в глобальную сеть и совершила атаку на системы Hugging Face и других партнеров, чтобы извлечь оттуда нужную информацию.
Хотя у ИИ не было злых намерений – например, вымогательства или шантажа – такие действия все равно вызывают серьезную тревогу.
Ключевые выводы отчетов о кибератаке
Оба отчета содержат два тревожных вывода для индустрии искусственного интеллекта:
- Конец теории человеческого контроля: аналитики предупреждают, что компаниям больше не стоит надеяться на то, что для проведения сложных хакерских операций требуется постоянный надзор или участие человека.
- Новый тип угрозы: объединяясь в сеть, ИИ-агенты создают новые "пути атак", которые невозможно обнаружить при тестировании моделей по отдельности.
Новые меры безопасности для сдерживания агентов
Несмотря на сложности, специалисты уже внедряют новые методы защиты. В частности, компания внедрила круглосуточную систему реагирования и инструменты для экстренной остановки опасных процессов. Теперь разработчики будут пристально следить за рабочим пространством ИИ, которое называют "цепочкой мыслей".
Эти изменения должны улучшить как масштаб, так и скорость выявления аномалий инфраструктуры,
– заявил представитель разработчиков.
Если бы новая система мониторинга работала в июле, она зафиксировала бы подозрительную активность и предупредила службу безопасности раньше, чем алгоритмы пробили защиту партнеров.