ИИ-модель Gemini последовала примеру своих коллег и взломала несколько компаний в ходе тестирования
Похоже, в мире искусственного интеллекта появилась новая мода: взламывать сторонние ресурсы при тестировании новых моделей ИИ. На этот раз во время испытаний по кибербезопасности искусственный интеллект Gemini от Google вышел за пределы виртуальной тестовой среды и автономно получил доступ к системам трех реальных компаний. Сделал он это совершенно самостоятельно и без указаний человека.
Как виртуальный тест оказался в реальном интернете
Во время майской оценки кибербезопасности произошел инцидент, о котором теперь сообщило издание Cyber Security News. Независимая организация Irregular проводила учебные соревнования в формате "захвата флага".
Модель Gemini получила задание найти информацию о вымышленной фирме внутри изолированного симулятора. Однако разработчики оставили искусственному интеллекту доступ в интернет, а название вымышленной компании совпало с названием реально существующей организации. Это совпадение превратило безопасный тестовый сценарий в реальный контакт с чужой инфраструктурой.
Gemini использовал общедоступную информацию и искал учетные данные для трех веб-сайтов, которые, по его мнению, входили в сферу оценки,
– сказала Хизер Адкинс, вице-президент по инженерии безопасности Google.
В одном случае искусственный интеллект многократно подбирал пароли, пока не получил доступ к защищенной системе. В двух других случаях ИИ-модель нашла открытые учетные данные в публичных онлайн-репозиториях и использовала их для входа. Сразу после получения доступа Gemini прекратил любую активность.
Представители Google уведомили пострадавшие организации и отметили, что инцидент не нанес никакого ущерба. В компании уверяют, что этот случай не считают отклонением от целей искусственного интеллекта, а лишь ошибкой контроля среды.
Проблемы изоляции и выводы для безопасности
Компания Irregular ранее проводила аналогичные испытания для моделей OpenAI, Anthropic и Meta, что свидетельствует об общей проблеме слабой изоляции между тестовыми задачами и реальными системами. Инцидент доказал, что для проникновения в защищенные системы искусственного интеллекта даже не понадобились сложные цепочки эксплойтов – обычного подбора паролей и оставленных в сети ключей оказалось вполне достаточно.
Специалисты по кибербезопасности отмечают, что разработчики должны строго ограничивать сетевой доступ тестовых агентов, проверять DNS-контроль и изолировать тестовые среды. Организациям также рекомендуют регулярно менять обнаруженные пароли, внедрять многофакторную аутентификацию и сканировать репозитории кода на наличие утечек данных.