Витоки свідчать про серйозну драму всередині OpenAI, яка передувала звільненню Сема Альтмана

Як пише джерело, напередодні вигнання генерального директора OpenAI Сема Альтмана кілька штатних дослідників написали листа до Ради директорів, попередивши про потужне й потенційно небезпечне відкриття в сфері штучного інтелекту. Цей лист, про який ми чуємо вперше, разом із алгоритмом ШІ нібито стали ключовими подіями перед тим, як правління звільнило Альтмана.

Дивіться також OpenAI спробувала злитися з конкурентною фірмою Anthropic на тлі кризи, але там відмовили

Драма номер один: потужний штучний інтелект

Джерела посилаються на лист як на один із чинників серед довшого списку претензій до Альтмана, серед яких були побоювання щодо занадто швидкої комерціалізації досягнень ще до того, як будуть зрозумілими наслідки. Журналісти Reuters не змогли отримати копію цього листа або поговорити з працівниками, які його написали.

Судячи з наявних даних, мова йде про проєкт під назвою Q* (вимовляється як "Q-Star"), який може стати проривом у тривалих пошуках компанією так званого універсального штучного інтелекту (AGI) – автономної ШІ-системи, яка перевершує людину у виконанні більшості економічно цінних завдань. Маючи величезні обчислювальні ресурси (OpenAI співпрацює з Microsoft, користуючись її апаратними ресурсами, зокрема серверами Azure), нова модель змогла вирішити певні математичні завдання.

Дослідники вважають математику межею розвитку генеративного ШІ. Наразі генеративний ШІ добре вміє писати і перекладати, статистично передбачаючи кожне наступне підходяще слово, а відповіді на одне й те саме запитання можуть дуже різнитися. Але опанування здатності до математики, де є лише одна правильна відповідь, означає, що алгоритм матиме більші можливості для міркувань, подібні до людського інтелекту. Це може бути застосовано, наприклад, у нових наукових дослідженнях, вважають учені. На відміну від калькулятора, який може виконувати обмежену кількість операцій, AGI може узагальнювати, вчитися й осмислювати.

У своєму листі до Ради дослідники підкреслили досконалість ШІ та його потенційну небезпеку, повідомили джерела, не уточнюючи, про які саме проблеми безпеки йдеться в листі. Серед науковців уже давно точаться дискусії про небезпеку, яку становлять високоінтелектуальні машини, наприклад, чи можуть вони вирішити, що знищення людства є корисним.

Дослідники також звернули увагу на роботу групи "вчених зі штучного інтелекту", існування якої підтвердили численні джерела. За словами одного з учасників групи, сформованої шляхом об'єднання попередніх команд "Code Gen" і "Math Gen", вони досліджували, як оптимізувати існуючі моделі ШІ, щоб поліпшити їхні міркування і, зрештою, виконувати наукову роботу. Альтман же очолював зусилля, спрямовані на те, щоб зробити ChatGPT одним з найбільш швидкозростаючих програмних додатків в історії, тож саме він відповідальний за це відкриття. Він уже натякав на якийсь прорив, заявляючи, що "великі досягнення вже на носі", й розповідаючи про "нові горизонти", при відкритті яких він був присутній.

ЗМІ також активно й не раз за останні дні писали про те, що однією з теорій про причини звільнення директора стало його нехтування питаннями безпеки. Альтман начебто надавав більше значення комерціалізації та швидшому просуванню ШІ, ніж намаганням робити алгоритм безпечним для людства. Так, у 2018 році з компанії йде Ілон Маск, пізніше заявивши, що він стурбований тим, як OpenAI розвиває свій продукт. У 2020 році компанію покидає Даріо Амодей, забираючи з собою кількох однодумців та засновуючи нову компанію Anthropic та штучного інтелекту Claude. Нарешті, минулого тижня проти Альтмана повстає Ілля Суцкевер, якому належать найбільші відкриття та розробки в ChatGPT, також звинувачуючи Альтмана в нехтуванні безпекою.

Дивіться також Ризики ШІ такі високі, що ми повинні знати, чому OpenAI звільнила Сема Альтмана, – Ілон Маск

Драма номер два: напруга між Семом Альтманом і членами правління

Матеріал іншого видання вказує на те, що напруженість в OpenAI була високою ще до виходу ChatGPT у 2022 році, але досягла вищої точки нещодавно. Хоча ззовні все виглядало добре, за лаштунками між Семом Альтманом і радою директорів OpenAI, очевидно, були серйозні розбіжності, пише New York Times. Як повідомляє джерело, спираючись на розповіді кількох неназваних інсайдерів, драма, яка вибухнула на публіку за останні п'ять днів, назрівала давно, хоча один конкретний конфлікт, схоже, став головним каталізатором.

Генеральний директор зустрівся з Хелен Тонер, дослідницею безпеки ШІ з Джорджтаунського університету, яка входила до складу ради директорів, щоб обговорити її жовтневий аналітичний звіт. У ньому вона критикувала протоколи безпеки OpenAI, вихваляючи при цьому протоколи безпеки конкурента Anthropic, ШІ Claude. 

Альтман висловив незадоволення Тонер, заявивши, що її стаття поставила OpenAI під загрозу на тлі триваючого розслідування Федеральної торгової комісії США щодо компанії через витік даних, який призвів до витоку особистої інформації користувачів.

Тонер, зі свого боку, захищала статтю як рекомендацію щодо академічної політики і не більше, але Альтман на це не повівся. За словами людей, які говорили з NYT на умовах анонімності, він навіть порушив питання про те, чи не було б доречно вивести експерта з безпеки ШІ зі складу ради.

Цей аргумент, схоже, став одним з останніх цвяхів у розкриту труну Альтмана: Тонер разом із співзасновником OpenAI Іллею Суцкевером та іншими членами правління Ташею МакКоулі та Адамом Д'Анджело проголосували за виключення генерального директора через звинувачення в тому, що він не був "послідовно відвертим у своїх комунікаціях" з керівним органом.

Згідно з матеріало New York Times, Тонер твердо стояла на своєму, що Альтман не повинен очолювати OpenAI після того, як Суцкевер заговорив про необхідність докласти більших зусиль до питань безпеки. Під час перших обговорень щодо відновлення Альтмана на посаді вона заявила, що оскільки статут компанії передбачає створення ШІ, який "принесе користь усьому людству", було б краще знищити компанію за відсутності Альтмана, ніж знову бачити його на посаді генерального директора.

Не дивно, що після повернення Сема Альтмана Тонер була виключена з ради директорів OpenAI разом із Суцкевером і МакКоулі.