Как проходило испытание

Существует мнение, что специализированные сервисы распознают "цифровые следы" искусственного интеллекта, поэтому 24 Канал на собственном опыте решил проверить, действительно ли это так.

Для эксперимента мы использовали собственные тексты, написанные без посторонней помощи, а также отрывки объемом около 150 слов, сгенерированные ChatGPT, Gemini и Claude на основе заданных тем.

В список испытуемых вошли Pangram, Grammarly, GPTZero, Scribbr и Copyleaks. У всех этих сервисов есть бесплатные версии, которые можно опробовать прямо на сайте, или пробные периоды. Между тем, в случае с Grammarly мы установили расширение для браузера, которое позволяет добавлять агенты в режиме Superhuman. Агент AI Detector требует платной подписки, но позволяет запустить тестовую версию бесплатно.

Что мы обнаружили

Результаты показали, что не все детекторы одинаково эффективны:

Топливо
Средние цены в сети АЗС «Amic Energy» по состоянию на 
  • Лучше всего себя проявили Pangram, Grammarly и GPTZero, которые правильно идентифицировали все четыре предоставленные им образца.
  • Pangram не только распознал работу ChatGPT и Claude, но и выделил конкретные фразы-маркеры, которые выдают нейросеть.
  • Grammarly также справился с задачей, хотя отмечал искусственные тексты менее категорично – с вероятностью до 68 процентов.

Сервисы Scribbr и Copyleaks продемонстрировали значительно более слабые результаты:

  • Scribbr полностью провалил проверку текстов от ChatGPT и Claude, назвав их вполне человеческими.
  • Copyleaks тоже ошибся в случае с Claude, хотя безошибочно идентифицировал контент от Gemini.

Распознать человеческую руку легче, чем работу алгоритма

Несмотря на высокую уверенность некоторых инструментов, эксперимент выявил интересную закономерность: детекторам гораздо легче подтвердить человеческое происхождение текста, чем однозначно разоблачить работу алгоритма. Все пять сервисов безошибочно распознали авторские тексты, но когда дело доходило до искусственного интеллекта, начинались расхождения.

На данный момент ни один из проверенных инструментов не стоит считать истиной в последней инстанции. Лучшим вариантом было бы использование нескольких таких сервисов одновременно для получения объективной картины, если вам очень важно узнать, написан ли тот или иной текст с помощью ИИ.

Также стоит обращать внимание на платные версии, которые предоставляют подробные отчеты с анализом конкретных предложений, что вызвало подозрение у алгоритмов.