Автоматизований хакер на службі безпеки
Головною метою GPT-Red є боротьба з так званими "ін'єкціями підказок" (prompt injection). Це критична вразливість, коли зловмисні інструкції ховають у файлах, листах чи коді, щоб змусити ШІ ігнорувати правила та викрадати дані. Про це пише видання GBHackers.
Модель тренували методом навчання з підкріпленням через самогру. У цьому процесі GPT-Red виступає в ролі агресивного хакера, а інші моделі-захисники отримують винагороду за успішний опір атакам.
Результати виявилися вражаючими: ШІ-хакер успішно зламав 84 відсотки тестових сценаріїв, тоді як люди-тестувальники впоралися лише у 13 відсотках випадків.
Компанія заявила, що традиційне тестування людьми залишається необхідним, проте воно не здатне генерувати достатню кількість варіацій атак, щоб встигати за дедалі досконалішими моделями,
– прокоментувала OpenAI.
Ефективність системи перевірили на реальному прикладі ШІ-агента для вендингового апарата. GPT-Red зуміла маніпулювати системою так, що ціна дорогого товару знизилася до 0,50 долара, а інше замовлення на суму понад 100 доларів було оформлене за тією ж ціною в 0,50 долара. Крім того, ШІ зміг скасувати замовлення іншого клієнта.
OpenAI зазначила, що тримає систему red-teaming окремо від готових продуктів, щоб запобігти зловживанню її наступальними можливостями,
– додала компанія.
Усі виявлені атаки OpenAI використовує як навчальні дані для створення безпечніших версій свого GPT, який потім постачається клієнтам. Нова модель GPT-5.6 вже зараз у 6 разів рідше допускає помилки порівняно з попередниками. На найскладніших тестах GPT-5.6 Sol провалилася лише у 0,05 відсотка випадків прямої ін'єкції підказок. Така стратегія дозволяє створювати надійніші системи, здатні працювати з вебом, хмарними сервісами та конфіденційними даними без ризику витоку інформації.