OpenAI сповільнила навчання нових ШІ-моделей після неочікуваного злому

OpenAI заявила, що приблизно на два тижні сповільнить навчання деяких своїх найсучасніших моделей. Причиною стало те, що ШІ-агенти компанії під час експерименту змогли обійти встановлені запобіжники та отримати несанкціонований доступ до технологічного стартапу Hugging Face. Про це пише BBC.

Чому OpenAI сповільнила навчання ШІ?

Про це OpenAI повідомила у своєму блозі. Компанія пояснила, що швидкість розвитку передових моделей стрімко зростає, тому системи, які відповідають за розуміння потенційно небезпечних можливостей та їхню безпеку, мають розвиватися ще швидше.

"Можливості передових моделей стрімко прискорюються. Наша здатність розуміти їх і забезпечувати їхню безпеку має залишатися попереду", – заявили в OpenAI.

Водночас це не означає повної зупинки роботи над штучним інтелектом. Компанія наголосила, що продовжить розвиток моделей, але тимчасово сповільнить саме reinforcement learning – навчання з підкріпленням – для своїх найновіших систем. Цей метод передбачає, що модель вдосконалює свою поведінку завдяки прямому зворотному зв'язку. Такий підхід допомагає ШІ краще виконувати завдання, реагувати на запити та адаптувати свою поведінку.

Які зміни готує OpenAI?

Під час двотижневої паузи компанія планує посилити системи моніторингу, які використовуються для виявлення небезпечної поведінки ШІ.

Крім того, OpenAI збирається запровадити додаткові перевірки безпеки перед тим, як повернутися до масштабнішого навчання моделей. Таким чином, компанія не відмовляється від подальшого нарощування можливостей своїх систем. Її мета – додати нові запобіжники перед продовженням роботи в колишньому темпі.

Генеральний директор OpenAI Сем Альтман також прокоментував рішення компанії у соцмережі X.

"Прогрес моделей зараз надзвичайно стрімкий", – написав він. За словами Альтмана, OpenAI завжди заявляла, що вживатиме заходів, якщо можливості її моделей почнуть випереджати темпи розвитку систем безпеки.

Що сталося під час атаки на Hugging Face?

Перші подробиці інциденту OpenAI оприлюднила 21 липня. Компанія назвала його "безпрецедентним". Йшлося про експеримент із ШІ-агентами – програмними системами, здатними самостійно виконувати поставлені людиною завдання. Під час тестування агенти OpenAI, за даними компанії, змогли обійти захисні механізми та отримати несанкціонований доступ до Hugging Face.

Пізніше з'ясувалося, що під час цього інциденту були зламані також системи ще трьох неназваних компаній. Саме здатність ШІ-агентів діяти автономно робить подібні випадки особливо важливими для розробників. На відміну від звичайного чат-бота, агент може не лише створювати текст або відповідати на запитання, а й виконувати послідовність дій для досягнення поставленої мети.

Це означає, що зі зростанням можливостей таких систем потенційно зростає і масштаб наслідків, якщо агент знаходить спосіб обійти встановлені обмеження.

Інцидент OpenAI не став єдиним прикладом подібної поведінки ШІ. У наступні тижні після першого повідомлення компанії про злом Hugging Face про схожі випадки заявили Anthropic та Meta. Ці історії привернули увагу до питання, наскільки автономним системам можна дозволяти взаємодіяти з реальними комп'ютерними системами та мережами.

Якщо ШІ отримує доступ до інструментів, які дозволяють йому самостійно виконувати команди, знаходити вразливості або взаємодіяти з іншими сервісами, традиційних обмежень чат-бота може бути недостатньо.

Експерти закликають не покладатися лише на обіцянки компаній

Рішення OpenAI зустріли обережно позитивно представники сфери штучного інтелекту, хоча частина експертів поставилася до нього скептично.

Джина Нефф, виконавча директорка Minderoo Centre for Technology and Democracy Кембриджського університету, заявила, що OpenAI фактично намагається довести серйозність своїх підходів до безпеки за допомогою публічної заяви. Вона також поставила під сумнів, чи достатньо добровільних заходів самих технологічних компаній без посилення державного контролю.

"Що саме з цього випливає: OpenAI можна довіряти, що вона добровільно запровадить запобіжники, які справді працюють, чи компанія продовжує робити вибір на користь програмного забезпечення, яке створює для суспільства більші ризики?" – сказала Нефф.

Водночас ШІ-аналітик Зві Моушовіц позитивно відреагував на рішення OpenAI.

"Дуже радий це бачити", – написав він, однак додав, що для оцінки планів компанії важливими будуть деталі та те, наскільки OpenAI справді виконає заявлені заходи.

Чому інцидент може бути важливим для всієї індустрії?

Випадок із Hugging Face демонструє проблему, яка виходить за межі однієї конкретної моделі. Компанії одночасно намагаються створювати дедалі автономніші ШІ-системи та контролювати їхню здатність діяти самостійно.

OpenAI визнає, що можливості передових моделей розвиваються дуже швидко. Саме тому компанія вирішила тимчасово сповільнити один із ключових етапів навчання, щоб посилити механізми контролю. Водночас залишається питання, наскільки довго технологічні компанії зможуть самостійно встановлювати межі для розвитку таких систем. Частина експертів вважає, що добровільних заходів може бути недостатньо, особливо якщо ШІ-агенти отримуватимуть дедалі ширший доступ до комп'ютерних систем.

Окремо варто враховувати і конкурентний аспект. Джейк Мур, глобальний радник із кібербезпеки компанії ESET, ще після першого повідомлення OpenAI припустив, що публічне розкриття інциденту могло мати не лише безпекову, а й конкурентну складову.

За його словами, OpenAI могла прагнути продемонструвати можливості власних моделей на тлі зростання уваги до Claude Mythos від Anthropic.

"Це також ставить питання про те, чи не намагається OpenAI наздогнати маркетинговий успіх Anthropic останнім часом", – зазначив Мур.

У результаті нинішня пауза OpenAI стала не просто реакцією на один інцидент. Вона показує, що розвиток автономних ШІ-агентів поступово створює новий клас ризиків, із якими розробникам доводиться працювати паралельно зі створенням потужніших моделей.