Як проходило випробування

Існує думка, що спеціалізовані сервіси бачать "цифрові сліди" штучного інтелекту, тож 24 Канал на власному досвіді вирішив перевірити, чи це дійсно так.

Для експерименту ми використали власні тексти, написані без сторонньої допомоги, а також уривки обсягом близько 150 слів, які згенерували ChatGPT, Gemini та Claude на основі заданих тем.

До списку піддослідних потрапили Pangram, Grammarly, GPTZero, Scribbr і Copyleaks. Усі ці сервіси мають безплатні версії, які можна випробувати прямо на сайті, або пробні періоди. Тим часом у випадку Grammarly ми встановили розширення для браузера, яке дозволяє додавати агентів у режимі Superhuman. Агент AI Detector вимагає платної підписки, але дозволяє запустити тестову версію безплатно.

Що ми виявили

Результати показали, що не всі детектори однаково ефективні:

Пальне
Середні ціни в мережі АЗС «Amic Energy» станом на 
  • Найкраще себе проявили Pangram, Grammarly та GPTZero, які правильно ідентифікували всі чотири надані їм зразки.
  • Pangram не лише розпізнав роботу ChatGPT та Claude, а й виділив конкретні фрази-маркери, які видають нейромережу.
  • Grammarly також впорався із завданням, хоча позначав штучні тексти менш радикально – на рівні до 68 відсотків імовірності.

Сервіси Scribbr та Copyleaks продемонстрували значно слабші результати:

  • Scribbr повністю провалив перевірку текстів від ChatGPT та Claude, назвавши їх цілком людськими.
  • Copyleaks теж помилився у випадку з Claude, хоча без помилок ідентифікував контент від Gemini.

Розпізнати людську руку легше, ніж роботу алгоритма

Попри високу впевненість деяких інструментів, експеримент виявив цікаву закономірність: детекторам набагато легше підтвердити людське походження тексту, ніж однозначно викрити роботу алгоритму. Всі п'ять сервісів безпомилково впізнали авторські тексти, але коли справа доходила до штучного інтелекту, почалися розбіжності.

Наразі жоден із перевірених інструментів не варто вважати істиною в останній інстанції. Найкращим варіантом було б використання кількох таких сервісів одночасно для отримання об'єктивної картини, якщо вам дуже важливо дізнатися, чи написаний той чи інший текст за допомогою ШІ.

Також варто звертати увагу на платні версії, які надають детальні звіти з аналізом конкретних речень, що викликали підозру алгоритмів.