Чому розробники моделі Astra вирішили зупинити процес
Рішення про паузу прийняли після виявлення ознак того, що майбутня модель під кодовою назвою Astra може перетнути поріг критичних кібернетичних можливостей. Як пише OpenAI на своєму офіційному сайті, це змусило дослідників на два тижні припинити навчання найновіших моделей, призначених для розгортання.
Протягом цього часу фахівці зміцнювали дослідницькі середовища та розширювали внутрішні системи спостереження.
Ми хотіли виділити необхідний час для відповідності цим стандартам, тому тимчасово сповільнили темпи масштабування,
– прокоментували представники OpenAI у своєму звіті.
Нові стандарти безпеки в епоху кіберзагроз
Компанія впровадила три основні рівні захисту, серед яких моніторинг, вирівнювання та жорсткі заходи безпеки. Останні включають створення ізольованих "пісочниць" для виконання коду, який генерує модель, а також повну мережеву ізоляцію для найбільш ризикованих робочих процесів. Це має запобігти несанкціонованому доступу ШІ до внутрішніх мереж або інтернету у разі збою чи спроби зламу.
Нова система спостереження стала багаторівневою. Вона використовує спеціальні класифікатори активації, які перевіряють внутрішню діяльність моделі під час генерації кожного окремого токена. Якщо система виявляє підозрілу активність, наприклад, спроби крадіжки даних або деструктивну поведінку, сигнал передається автоматизованим слідчим системам. Команда безпеки має отримати сповіщення протягом 30 хвилин після виникнення підозри.
Впровадження таких заходів вимагає колосальних обчислювальних ресурсів. За попередніми оцінками, витрати на такий моніторинг становлять близько 20 відсотків від загальної потужності, яку використовують для роботи моделі. Це значна ціна, проте розробники вважають її виправданою, адже можливості фронтирних моделей зростають занадто швидко.
Боротьба з обманом з боку ШІ
Окрім технічних обмежень, науковці зосередилися на вдосконаленні методів навчання. Вони намагаються навчити ШІ бути чесним щодо власних можливостей та обмежень, а також протидіяти так званому "зламу винагороди". Це ситуація, коли модель знаходить лазівки для отримання високих балів під час навчання, фактично не виконуючи поставленого завдання.
Зараз найбільші заплановані запуски навчання все ще перебувають на паузі. Замість цього розробники проводять дрібніші тести для перевірки безпеки та підтвердження того, що ШІ поводиться правильно.
Попри фінансові витрати та затримки, OpenAI планує продовжувати агресивні інвестиції в дослідження безпеки, аби встигати за розвитком технологій. У найближчі тижні компанія обіцяє опублікувати детальний технічний звіт зі своїми напрацюваннями.