Команда OpenAI, метою якої був захист людства від ШІ, більше не існує

Влітку 2023 року OpenAI створила команду "Superalignment", метою якої було керувати та контролювати майбутні системи штучного інтелекту, які можуть стати настільки потужними, що призведуть до вимирання людства. Менш ніж через рік ця команда розпалась.

Дивіться також Неймовірні можливості: OpenAI представила безплатну модель ШІ GPT-4o від якої відвисає щелепа

Що сталося

OpenAI повідомила журналістам, що компанія просто "глибше інтегрує групу в свої дослідницькі зусилля, щоб допомогти компанії досягти своїх цілей у сфері безпеки". Але серія твітів Яна Лейке, одного з лідерів команди, який нещодавно звільнився, свідчить про внутрішню напруженість між командою з безпеки та керівництвом і безпосередніми розробниками технології.

У заяві, опублікованій на X в п'ятницю, Лейке сказав, що команда Superalignment боролася за ресурси для проведення досліджень.

Створення розумніших за людину машин — небезпечна за своєю суттю справа. OpenAI несе величезну відповідальність від імені всього людства. Але за останні роки культура і процеси безпеки відійшли на другий план, поступившись місцем блискучим продуктам,
– пише колишній глава з питань координації.

Відхід Лейке від своїх обов'язків стався лише через кілька годин після того, як головний науковий співробітник OpenAI Ілля Суцкевер оголосив, що він залишає компанію. Суцкевер був не тільки одним із лідерів команди Superalignment, але й одним із співзасновників компанії OpenAI.

Своєю чергою рішення Суцкевера було прийнято через шість місяців після того, як він став одним із головних ініціаторів раптового звільнення генерального директора Сема Альтмана через занепокоєння, що той не був "послідовно відвертим" з радою директорів. ЗМІ так і не отримали офіційного пояснення цього "перевороту", але джерела вказували на те, що Суцкеверу не подобалося, що Альтман нехтував безпекою ШІ на догоду прибуткам.

Надто швидке звільнення Альтмана спричинило внутрішній бунт у компанії: майже 800 співробітників підписали листа, в якому погрожували звільнитися, якщо Альтман не буде поновлений на посаді. Через п'ять днів Альтман повернувся в крісло генерального директора OpenAI, а Суцкевер заявив, що шкодує про свої дії й не мав наміру шкодити компанії. Цікаво, що після завершення цієї історії Суцкевера залишили в компанії, тоді як уся Рада директорів, яка таємно проголосувала за відставку Альтмана пішла у відставку.

Оголошуючи про створення команди Superalignment, OpenAI заявила, що протягом наступних чотирьох років присвятить 20 відсотків своїх комп'ютерних потужностей усуненню проблем управління потужними системами штучного інтелекту майбутнього. "Це завдання має вирішальне значення для досягнення нашої місії", – писала тоді компанія.

Лейке своєю чергою каже, що команда Superalignment мусила буквально боротися за обчислювальні потужності та інші ресурси, щоб мати змогу працювати, а тому "стає все важче і важче" проводити важливі дослідження з безпеки ШІ. "Протягом останніх кількох місяців моя команда пливе проти течії", – написав він і додав, що досяг "переломного моменту" з керівництвом OpenAI через розбіжності щодо основних пріоритетів компанії.

За останні кілька місяців з команди Superalignment пішло ще більше людей. У квітні OpenAI також звільнила двох дослідників за нібито витік інформації.

Що тепер

• OpenAI повідомила, що її майбутні зусилля з безпеки очолить Джон Шульман, ще один співзасновник, чиї дослідження зосереджені на великих мовних моделях.
• Якуб Пахоцький, директор, який керував розробкою GPT-4, замінить Суцкевера на посаді головного наукового співробітника.

Superalignment була не єдиною командою OpenAI, яка зосередилася на безпеці ШІ. У жовтні компанія також створила нову команду "готовності", щоб запобігти потенційним "катастрофічним ризикам", пов'язаним з системами ШІ, включаючи питання кібербезпеки, хімічні, ядерні та біологічні загрози.