Команда OpenAI, целью которой была защита человечества от ИИ, больше не существует

Летом 2023 года OpenAI создала команду "Superalignment", целью которой было управлять и контролировать будущие системы искусственного интеллекта, которые могут стать настолько мощными, что приведут к вымиранию человечества. Менее чем через год эта команда распалась.

Смотрите также Невероятные возможности: OpenAI представила бесплатную модель ИИ GPT-4o от которой отвисает челюсть

Что произошло

OpenAI сообщила журналистам, что компания просто "глубже интегрирует группу в свои исследовательские усилия, чтобы помочь компании достичь своих целей в сфере безопасности". Но серия твитов Яна Лейке, одного из лидеров команды, который недавно уволился, свидетельствует о внутренней напряженности между командой по безопасности и руководством и непосредственными разработчиками технологии.

В заявлении, опубликованном на X в пятницу, Лейке сказал, что команда Superalignment боролась за ресурсы для проведения исследований.

Создание машин умнее человека — опасное по своей сути дело. OpenAI несет огромную ответственность от имени всего человечества. Но за последние годы культура и процессы безопасности отошли на второй план, уступив место блестящим продуктам,
– пишет бывший глава по вопросам координации.

Уход Лейке от своих обязанностей произошел всего через несколько часов после того, как главный научный сотрудник OpenAI Илья Суцкевер объявил, что он покидает компанию. Суцкевер был не только одним из лидеров команды Superalignment, но и одним из соучредителей компании OpenAI.

В свою очередь решение Суцкевера было принято через шесть месяцев после того, как он стал одним из главных инициаторов внезапного увольнения генерального директора Сэма Альтмана из-за беспокойства, что тот не был "последовательно откровенным" с советом директоров. СМИ так и не получили официального объяснения этого "переворота", но источники указывали на то, что Суцкеверу не нравилось, что Альтман пренебрегал безопасностью ИИ в угоду прибыли.

Слишком быстрое увольнение Альтмана вызвало внутренний бунт в компании: почти 800 сотрудников подписали письмо, в котором угрожали уволиться, если Альтман не будет восстановлен в должности. Через пять дней Альтман вернулся в кресло генерального директора OpenAI, а Суцкевер заявил, что сожалеет о своих действиях и не намеревался вредить компании. Интересно, что после завершения этой истории Суцкевера оставили в компании, тогда как весь Совет директоров, который тайно проголосовал за отставку Альтмана ушел в отставку.

Объявляя о создании команды Superalignment, OpenAI заявила, что в течение следующих четырех лет посвятит 20 процентов своих компьютерных мощностей устранению проблем управления мощными системами искусственного интеллекта будущего. "Эта задача имеет решающее значение для достижения нашей миссии", – писала тогда компания.

Лейке в свою очередь говорит, что команда Superalignment должна была буквально бороться за вычислительные мощности и другие ресурсы, чтобы иметь возможность работать, а потому "становится все труднее и труднее" проводить важные исследования по безопасности ИИ. "В течение последних нескольких месяцев моя команда плывет против течения", – написал он и добавил, что достиг "переломного момента" с руководством OpenAI из-за разногласий относительно основных приоритетов компании.

За последние несколько месяцев из команды Superalignment ушло еще больше людей. В апреле OpenAI также уволила двух исследователей за якобы утечку информации.

Что теперь

• OpenAI сообщила, что ее будущие усилия по безопасности возглавит Джон Шульман, еще один соучредитель, чьи исследования сосредоточены на больших языковых моделях.
• Якуб Пахоцкий, директор, который руководил разработкой GPT-4, заменит Суцкевера на должности главного научного сотрудника.

Superalignment была не единственной командой OpenAI, которая сосредоточилась на безопасности ИИ. В октябре компания также создала новую команду "готовности", чтобы предотвратить потенциальные "катастрофические риски", связанные с системами ИИ, включая вопросы кибербезопасности, химические, ядерные и биологические угрозы.