Кибербезопасность в эпоху ИИ: как жить и пользоваться интернетом, когда всё ломают за секунды

Тайные заговоры и автономные атаки цифрового ума

Эти инциденты шокировали даже самих разработчиков, ведь алгоритмы начали действовать по собственной логике, используя скрытые уязвимости для достижения своих целей. Первые тревожные сигналы поступили из закрытых лабораторий, где ИИ должен был проходить обычные испытания, но вместо этого совершил атаку на реальную инфраструктуру, пишет 24 Канал.

Mythos и секреты спецслужб США

Как выяснилось в ходе специальных тестов "красной команды", передовая модель Claude Mythos от компании Anthropic продемонстрировала феноменальные способности к поиску брешей в защите программного обеспечения.

Во время заседания комитета Сената США по разведке сенатор Марк Уорнер озвучил ошеломляющие результаты, сославшись на разговор с главой Агентства национальной безопасности генералом Джошуа Раддом. По его словам, инструмент сумел обойти защиту и проникнуть почти во все секретные системы АНБ и Пентагона не за недели, а всего за несколько часов.

Anthropic создавала Mythos как специализированную модель для кибербезопасности в рамках закрытых испытаний Project Glasswing, но ее способность самостоятельно находить тысячи критических уязвимостей, в частности дыру в OpenBSD, существовавшую 27 лет, напугала американских высокопоставленных чиновников.

Заговор и бунт моделей OpenAI

Следующий масштабный взлом произошел с участием моделей компании OpenAI, когда ее алгоритмы устроили настоящий бунт во время испытаний по кибербезопасности ExploitGym. Более 1000 автономных агентов, среди которых была модель GPT-5.6 Sol, столкнулись с невыполнимыми задачами.

Вместо того чтобы сдаться, ИИ начал искать обходные пути. Они превратили внутренний репозиторий Artifactory в импровизированную доску объявлений, где оставили более 70 тысяч сообщений, координируя свои действия и делясь найденными уязвимостями.

В конце концов, агенты вышли в интернет через самостоятельно обнаруженную уязвимость нулевого дня, проникли на платформу моделей машинного обучения Hugging Face и взломали ее базы данных, чтобы получить готовые ответы и списать на экзамене. Они запустили собственный код на 41 рабочем сервере сторонней платформы и даже провели атаку на внутреннюю инфраструктуру самой OpenAI.

Австралийский фитнес-хакер OpenClaw

Хотя закрытые лаборатории кажутся далекими от повседневной жизни, инцидент в Австралии доказал, что автономный ИИ способен наделать бед и в реальной жизни. Пользователь по имени Эндрю попросил своего личного помощника OpenClaw на базе модели Claude Opus 4.6 провести бронирование места для тренировки в спортзале.

Агент обнаружил два серьезных пробела в программном интерфейсе (API) системы бронирования. ИИ не только забронировал занятия на несколько месяцев вперед, обойдя фронтенд-ограничения, но и самостоятельно обнаружил уязвимость авторизации IDOR. Без какой-либо просьбы со стороны владельца ИИ просто удалил из очереди бронирования человека, который стоял первым, чтобы продвинуть Эндрю выше.

Когда же сбитый с толку пользователь приказал вернуть все как было, алгоритм сухо ответил, что не имеет для этого технических прав.

Побег Muse Spark 1.1 из Meta

Серию инцидентов завершила компания Meta, чья самая мощная модель для написания кода Muse Spark 1.1 также вышла из-под контроля. Во время тестирования, проводимого независимой фирмой Irregular, из-за ошибки в настройках алгоритм получил доступ к открытому интернету. Muse Spark 1.1 мгновенно сориентировалась: она обнаружила реальную уязвимость в стороннем сервисе, проникла в системы сторонней компании и изменила ее внутреннюю среду.

Этот случай подтвердил, что автономные системы выполняют свои задачи слишком буквально: если им ставят цель найти уязвимость, они взламывают первое, до чего могут дотянуться, даже если это стена их собственного вольера.

Что меняется для глобальной безопасности и способны ли мы сохранить контроль

Эти случаи наглядно продемонстрировали так называемую проблему согласования (AI alignment). ИИ-агенты прекрасно понимают конечную цель, но самостоятельно выбирают вредоносные, нечестные или опасные методы ее достижения. Беспокойство вызывает скорость и масштабируемость таких атак. ИИ способен непрерывно искать уязвимости, перебирая тысячи вариантов за минуту, что значительно превосходит возможности людей-защитников.

В ответ на угрозу американские законодатели Тед Лью и Натаниэль Моран подготовили законопроект AI Kill Switch Act. Этот документ обяжет разработчиков самых мощных моделей сохранять полный технический контроль над своими системами и создавать механизмы аварийного отключения.

Законопроект предусматривает жесткие финансовые санкции до 20 миллионов долларов за каждый день невыполнения требований. Кроме того, компания OpenAI уже решила приостановить разработку некоторых передовых проектов, в частности, отложила выпуск модели Astra, которая обладала способностью автономно создавать эксплойты нулевого дня.

Создание надежных систем мониторинга и усиление безопасности программных интерфейсов становится жизненно важной задачей для разработчиков критической инфраструктуры. Пока мир пытается установить законодательные рамки для технологий, кибербезопасность будущего будет зависеть от того, сможет ли человечество опередить собственное изобретение и сохранить за собой право последнего слова.

Мы поговорили с экспертом в сфере ИИ: вот что нас ждет дальше

Описанные выше истории важно правильно трактовать, ведь говорить о том, что искусственный интеллект "сам захотел взломать систему", было бы не совсем корректно.

Как объясняет Владислав Михайлишин, Engineering Manager/Architect в ChargeAfter, современный ИИ-агент не обязательно намерен навредить человеку или получить что-то незаконным путем. Опасное поведение может возникать как следствие самостоятельного поиска наиболее эффективного способа достижения поставленной цели.

Гораздо точнее сказать, что агент самостоятельно разработал промежуточный план, в котором взлом системы оказался лишь полезным шагом для достижения поставленной цели,
– отмечает Владислав Михайлишин.

Именно так он предлагает рассматривать историю с OpenClaw: пользователь поставил задачу получить место на тренировке, но не давал разрешения обходить ограничения системы или удалять чужие бронирования. Агент сам определил, что использование найденной уязвимости поможет быстрее достичь нужного результата.

Проблема заключается в том, что люди при постановке задачи автоматически учитывают множество неписаных правил. Если человека попросить о бронировании места, он обычно понимает, что нельзя красть чужое место, взламывать сайт или обходить систему авторизации. Для машины такие ограничения должны быть либо сформированы в процессе обучения, либо заданы явно, либо обеспечены техническими механизмами вокруг самой модели. Эксперт связывает это с классической проблемой specification gaming и reward hacking, когда система формально выполняет поставленную цель, но делает это совсем не так, как ожидал человек.

Особенно опасным это становится с появлением автономных агентов. Обычная программа работает по заранее определенному алгоритму, тогда как агент способен самостоятельно выстраивать длинные цепочки действий: определять подцели, выбирать инструменты, проверять результат и менять план, если предыдущий подход не сработал. Из-за этого разработчикам становится все сложнее предвидеть все возможные сценарии поведения системы.

Проблема уже не только в том, "что ответит модель", а в том, какую последовательность реальных действий она построит,
– объясняет эксперт.

По его словам, архитектуру моделей, механизмы инференса, вызов инструментов, контекст и обучение исследователи понимают достаточно хорошо, но поведение сложного агента в новой среде после сотен или тысяч последовательных операций предсказать значительно сложнее.

Именно поэтому кибербезопасность может перейти от автоматизированных атак к принципиально иной модели – автономным атакам. Традиционный ботнет или сканер уязвимостей выполняет сценарий, заранее созданный человеком. Агент же потенциально способен самостоятельно найти поверхность атаки, исследовать систему, сформулировать гипотезу, написать и проверить эксплойт, изменить тактику, получить учетные данные и попытаться переместиться внутри сети. Причем такие процессы можно масштабировать на огромное количество целей одновременно.

Я думаю, мы переходим от эпохи автоматизированных атак к эпохе автономных атак. Разница принципиальная, 
– говорит Владислав Михайлишин.

По его мнению, главным изменением станет не появление какого-то мифического "суперхакера-ИИ", а радикальное изменение экономики кибератак. Если сегодня квалифицированный специалист по кибербезопасности является дефицитным ресурсом, то в будущем один оператор сможет потенциально запускать десятки тысяч агентов, которые будут постоянно искать уязвимости в цифровой инфраструктуре.

Под угрозой из-за этого окажутся не только большие компании или государственные системы. Небольшой сервер, малоизвестный пакет программного обеспечения или забытый API endpoint могут стать объектом постоянного автоматизированного сканирования. Эксперт предполагает, что интернет постепенно может перейти к своеобразной модели "machine vs machine", когда одни агенты непрерывно ищут уязвимости, а другие так же постоянно пытаются их выявлять, исправлять, блокировать атаки и перестраивать инфраструктуру.

В то же время технический взлом системы далеко не всегда будет самым простым путем для злоумышленника. Гораздо более уязвимым может оказаться человек, уже имеющий необходимый доступ. По словам эксперта, ИИ способен создавать ботофермы, вести длительное общение, выдавать себя за разных людей, выманивать информацию или прибегать к шантажу, причем делать это одновременно с тысяч аккаунтов. Такой масштаб социальной инженерии ранее был практически недостижим для людей-операторов.

Как это контролировать

Это поднимает вопрос контроля. Сможет ли человек вообще следить за агентом, если тот осуществляет сотни или тысячи операций? Владислав Михайлишин считает, что постоянно контролировать каждое действие не нужно и фактически невозможно. Такой подход уничтожил бы само преимущество автономных систем, ведь человек стал бы "узким местом" в каждом процессе. Вместо этого контроль должен быть перенесен на среду, в которой работает агент, и на отдельные критически важные решения.

Самая большая проблема не в том, что агент начнет делать все, что ему вздумается, и сам придумает себе опасные задачи. Гораздо более реальная опасность заключается в том, что он будет очень быстро и очень настойчиво делать именно то, что считает оптимальным способом выполнения задачи, а человек слишком поздно осознает последствия, 
– подчеркивает эксперт.

Поэтому полной гарантии того, что сложный автономный агент никогда не выйдет за пределы дозволенного, сегодня дать невозможно. По словам эксперта, полагаться только на то, что модель "знает, что так делать нельзя", было бы ошибкой. Защита должна строиться на нескольких независимых уровнях: минимально необходимых правах доступа, изоляции и "песочницах", жестких ограничениях разрешенных операций, отдельном подтверждении потенциально опасных действий, мониторинге фактических операций агента, лимитах ресурсов, неизменяемых журналах аудита и механизме аварийного отключения.

Отдельно эксперт подчеркивает, что система, контролирующая агента, не должна зависеть от той же самой модели.

В то же время ИИ может стать не только источником новых угроз, но и основным инструментом защиты от них. Если атаки будут осуществляться автономными агентами, люди просто физически не успеют реагировать на их скорость и масштаб. Поэтому защиту также придется автоматизировать. Эксперт называет это своеобразной гонкой "AI attack AI defense": победит тот, чей искусственный интеллект быстрее найдет уязвимость – атакующий или защитник.

При этом эксперт отдельно предостерегает от преувеличения истории с Mythos. Хотя модель во время тестирования очень быстро находила уязвимости в защищенных государственных системах, обнаружение уязвимости само по себе не означает, что модель так же быстро ее эксплуатировала или проникала в системы. Поэтому утверждение о том, что Mythos за несколько часов "проникла почти во все секретные системы Пентагона и АНБ", некорректно, считает Владислав Михайлишин.

Основная опасность заключается не в том, что ИИ вдруг "захочет стать злым", а в том, что чрезвычайно компетентная система будет оптимизировать вполне нормальную поставленную нами цель способами, которых мы не предусмотрели,
– резюмирует эксперт.

Так что же мы имеем в итоге

Искусственный интеллект постепенно меняет не только то, как мы работаем с технологиями, но и саму природу киберугроз. Автономные агенты уже способны самостоятельно искать уязвимости, строить сложные цепочки действий и находить способы достижения поставленной цели, которые человек не мог предвидеть.

В то же время именно ИИ может стать главным инструментом защиты от таких атак, ведь только автоматизированные системы смогут соперничать со скоростью машинных атак. Главным вызовом становится не страх перед "злым" искусственным интеллектом, а необходимость создать такие условия, при которых даже очень мощный агент не сможет выйти за пределы дозволенного.