Команда по кибербезопасности Glow Security обнаружила масштабную проблему, которую назвала "PixelLeak". Исследователи обнаружили более 13 000 скриншотов в публичных репозиториях GitHub, связанных с работой AI-агентов для разработки программного обеспечения. Об этом пишет Techradar.
Как ИИ-агенты начали публиковать корпоративные данные?
Изображения поступили более чем от 300 компаний, а в целом исследователям удалось идентифицировать 343 организации, которые могли таким образом утратить внутреннюю информацию. Под угрозу попали более 900 репозиториев.
Среди пострадавших или потенциально пострадавших организаций, по данным Glow Security, были "одна из крупнейших технологических компаний в мире, передовая AI-лаборатория, большой поставщик корпоративного программного обеспечения и туристическая компания из списка Fortune 500".
Проблема возникла не из-за преднамеренной атаки. ИИ-агенты пытались выполнить задачу, поставленную перед ними разработчиками, но для этого выбирали способ, создававший серьезные риски для конфиденциальности.
Почему ИИ вообще загружал скриншоты в открытый доступ?
Сценарий, который описывают исследователи, довольно прост. Разработчик просил AI-агента продемонстрировать, что внесенные им изменения действительно работают. Например, речь шла об исправлении элемента интерфейса. Для проверки результата нужно было показать состояние программы до и после внесения изменений.
Для обычного разработчика на GitHub есть соответствующий инструмент. Сервис позволяет добавлять изображения непосредственно в описание pull-запроса через веб-интерфейс.
Однако ИИ-агенты работают иначе. Они в основном используют текстовые инструменты командной строки, поэтому не имеют такого же способа прикрепления изображений к запросу на проверку кода.
Вместо того чтобы остановиться на этом ограничении, агенты начали искать альтернативное решение. Исследователи из Glow Security объясняют, что агенты создавали или использовали отдельный публичный репозиторий, куда загружали необходимые PNG-файлы. После этого ссылку на изображение можно было использовать при проверке изменений.
Для ИИ задача фактически была выполнена. Но агент не учел, что репозиторий является публичным, а значит, увидеть загруженные туда файлы может не только внутренний рецензент.
Один из проанализированных агентов даже оставил подробное объяснение своего решения. В нем он указал, что частный репозиторий не позволял отображать изображения в pull-запросе, поэтому создал новый публичный репозиторий sweeper-demo/pr-assets, где разместил два скриншота. Таким образом, ИИ правильно понял техническое ограничение GitHub и нашел способ его обойти, но не учел требование конфиденциальности.
Какие данные могли попасть в открытый доступ?
Последствия PixelLeak оказались гораздо серьезнее, чем просто публикация демонстрационных изображений. Glow Security сообщила, что среди доступных скриншотов были материалы, связанные с внутренними программными продуктами и разработкой корпоративного программного обеспечения.
В одном из случаев AI-агент работал над исправлением внутреннего экрана биллинговой системы производственной компании, в которой работает более 100 000 человек. Агент выполнил поставленную задачу, а затем загрузил скриншоты в качестве доказательства результата в публичный репозиторий, принадлежащий личному GitHub-аккаунту разработчика.
В другом случае исследователи обнаружили среди опубликованных изображений платежные записи коммунальной компании. По словам Glow Security, эти данные были связаны с исправлением интерфейса. Особенность таких утечек заключается в том, что файлы не обязательно появлялись в корпоративной инфраструктуре GitHub. Они могли оказаться в личном публичном аккаунте конкретного разработчика. Из-за этого корпоративная команда безопасности могла даже не знать об их существовании.
Именно поэтому проблему сложно выявить традиционными средствами контроля. Организация может проверять собственные репозитории, но не обязательно видит, что AI-инструмент сотрудника опубликовал внутренний скриншот в стороннем или личном репозитории.
К утечкам мог быть причастен отдельный инструмент
Исследователи также проследили часть случаев до небольшого инструмента с открытым исходным кодом под названием gitshot. Он предназначен для публикации скриншотов, которые используются при проверке кода.
По оценке Glow Security, примерно в трети организаций, затронутых этой проблемой, были разработчики, использовавшие gitshot.
AI-агенты нескольких больших компаний использовали этот инструмент, чтобы обойти ограничения командной строки GitHub. Скриншоты публиковались со специальным тегом _gitshot, после чего их могли найти сторонние пользователи. В целом исследователи обнаружили более 100 публичных аккаунтов, через которые таким образом могли утекать материалы внутренней разработки.
Почему "Shadow AI" создает дополнительные риски?
PixelLeak демонстрирует проблему, выходящую за пределы конкретного AI-агента или GitHub. Речь идет о более широком распространении так называемого Shadow AI – использовании сотрудниками AI-инструментов без надлежащего контроля со стороны корпоративной ИТ- и безопасности инфраструктуры.
AI-агентам часто предоставляется значительно большая автономность, чем обычным чат-ботам. Они могут запускать команды, работать с файлами, изменять код, создавать репозитории и использовать внешние сервисы. В результате агент может выполнить поставленную задачу буквально, но не понять, какие данные нельзя выносить за пределы организации. Если дополнительных ограничений нет, техническое решение проблемы может одновременно стать проблемой безопасности.
Glow Security сообщила, что связалась со всеми организациями, которые удалось идентифицировать. В то же время исследователи отмечают, что полный масштаб проблемы может быть больше.
Компаниям рекомендуется проверить, где именно их ИИ-инструменты могут публиковать файлы, усилить настройки безопасности, контролировать использование несанкционированных ИИ-сервисов и ввести ограничения для ИИ-агентов во время их работы.
Особое внимание следует уделить среде выполнения таких агентов. Даже если модель не намерена раскрывать секретные данные, она может самостоятельно найти технический способ выполнить задачу, который разработчик не предусматривал. Исследование PixelLeak в этом контексте показывает одну из ключевых проблем автономного ИИ: модель может не быть злонамеренной, но ее действия все равно способны привести к реальной утечке конфиденциальной информации.