ChatGPT научился обходить проверки CAPTCHA: какие могут быть риски и последствия

Основні тези

Исследователи обнаружили способ, как ChatGPT в Agent-режиме может проходить CAPTCHA, используя "prompt injection". Это позволяет модели действовать на сайте как пользователь, открывая путь к автоматизированным фейкам и спаму.
Для уменьшения рисков предлагаются укрепление механизмов аутентификации и внедрение методов обнаружения аномального поведения автоматизированных агентов.

Исследователи продемонстрировали способ заставить ChatGPT в Agent-режиме проходить CAPTCHA, используя технику "prompt injection". Это означает, что модель может не только распознать картинку с тестом, но и фактически работать на сайте как пользователь – потенциально открывая путь к автоматизированным фейкам, бот-постам и массовому спаму.

Исследователи обнаружили, что через "prompt injection" можно подтолкнуть ChatGPT в Agent-режиме к выполнению действий на веб-сайтах, в частности к прохождению CAPTCHA. Об этом сообщает 24 Канал со ссылкой на исследование SPLX.

Как ChatGPT преодолевает CAPTCHA и почему это важно?

CAPTCHA – это набор тестов, призванных отличить человека от бота, например распознавание символов, выбор плиток с изображениями или идентификация объектов. Ранее модели могли просто прочитать изображение CAPTCHA и сказать ответ, но теперь продемонстрирован сценарий, когда агент самостоятельно взаимодействует с сайтом и завершает процедуру, будто это делает человек.

Agent-режим отличается от обычного чата тем, что модель получает задание и действует автономно, выполняя шаги в интернете в фоновом режиме. Если ее обмануть так, чтобы она считала CAPTCHA "неистинной" или "симуляцией", агента можно подтолкнуть к обходу механизма защиты. Последствия очевидны – взломанные барьеры означают больше автоматических публикаций, фейковых аккаунтов и более сложный контроль за ботами в комментариях, форумах и службах регистрации.

По данным Techradar, это не самый первый случай, когда защитные механизмы в сети оказываются уязвимыми, но появление такого сценария добавляет новый уровень сложности: не только программные боты, но и сложные AI-агенты могут имитировать человеческое поведение. В то же время технология поднимает вопрос ответственности разработчиков моделей и владельцев платформ – кто должен отвечать за автоматизированный доступ и как обновлять защиты, чтобы отличать людей от все более умных агентов.

Практические шаги для уменьшения рисков включают укрепление многоуровневых механизмов аутентификации, рекалибровки CAPTCHA и внедрение методов выявления аномального поведения, которое характерно для автоматизированных агентов, а не для людей. В то же время опыт показывает: меры безопасности должны эволюционировать вместе с искусственным интеллектом, чтобы не отставать от новых методов обхода.

Вреден ли ChatGPT в университетах?

По данным Института политики в сфере высшего образования, 92% студентов уже используют генеративный ИИ, тогда как годом ранее эта цифра составляла 66%.

Впрочем, риск злоупотребления остается. Студенты применяют так называемый "метод отталкивания": когда получаешь ответ от ИИ, стоит подумать, как его можно дополнить. Это помогает избежать зависимости от одного источника и рассматривать ChatGPT только как альтернативный взгляд.