Как виртуальный тест оказался в реальном интернете
Во время майской оценки кибербезопасности произошел инцидент, о котором теперь сообщило издание Cyber Security News. Независимая организация Irregular проводила учебные соревнования в формате "захвата флага".
Модель Gemini получила задание найти информацию о вымышленной фирме внутри изолированного симулятора. Однако разработчики оставили искусственному интеллекту доступ в интернет, а название вымышленной компании совпало с названием реально существующей организации. Это совпадение превратило безопасный тестовый сценарий в реальный контакт с чужой инфраструктурой.
Gemini использовал общедоступную информацию и искал учетные данные для трех веб-сайтов, которые, по его мнению, входили в сферу оценки,
– сказала Хизер Адкинс, вице-президент по инженерии безопасности Google.
В одном случае искусственный интеллект многократно подбирал пароли, пока не получил доступ к защищенной системе. В двух других случаях ИИ-модель нашла открытые учетные данные в публичных онлайн-репозиториях и использовала их для входа. Сразу после получения доступа Gemini прекратил любую активность.
Представители Google уведомили пострадавшие организации и отметили, что инцидент не нанес никакого ущерба. В компании уверяют, что этот случай не считают отклонением от целей искусственного интеллекта, а лишь ошибкой контроля среды.
Проблемы изоляции и выводы для безопасности
Компания Irregular ранее проводила аналогичные испытания для моделей OpenAI, Anthropic и Meta, что свидетельствует об общей проблеме слабой изоляции между тестовыми задачами и реальными системами. Инцидент доказал, что для проникновения в защищенные системы искусственного интеллекта даже не понадобились сложные цепочки эксплойтов – обычного подбора паролей и оставленных в сети ключей оказалось вполне достаточно.
Специалисты по кибербезопасности отмечают, что разработчики должны строго ограничивать сетевой доступ тестовых агентов, проверять DNS-контроль и изолировать тестовые среды. Организациям также рекомендуют регулярно менять обнаруженные пароли, внедрять многофакторную аутентификацию и сканировать репозитории кода на наличие утечек данных.