Увольнению Сэма Альтмана предшествовала серьезная драма внутри OpenAI

Как пишет источник, накануне изгнания генерального директора OpenAI Сэма Альтмана несколько штатных исследователей написали письмо Совету директоров, предупредив о мощном и потенциально опасном открытии в сфере искусственного интеллекта. Это письмо, о котором мы слышим впервые, вместе с алгоритмом ИИ якобы стали ключевыми событиями перед тем, как правление уволило Альтмана.

Смотрите также OpenAI попыталась слиться с конкурентной фирмой Anthropic на фоне кризиса, но там отказали

Драма номер один: мощный искусственный интеллект

Источники ссылаются на письмо как на один из факторов среди длинного списка претензий к Альтману, среди которых были опасения относительно слишком быстрой коммерциализации достижений еще до того, как будут понятны последствия. Журналисты Reuters не смогли получить копию этого письма или поговорить с сотрудниками, которые его написали.

Судя по имеющимся данным, речь идет о проекте под названием Q* (произносится как "Q-Star"), который может стать прорывом в длительных поисках компанией так называемого универсального искусственного интеллекта (AGI) - автономной ИИ-системы, превосходящей человека в выполнении большинства экономически ценных задач. Имея огромные вычислительные ресурсы (OpenAI сотрудничает с Microsoft, пользуясь ее аппаратными ресурсами, в частности серверами Azure), новая модель смогла решить определенные математические задачи.

Исследователи считают математику пределом развития генеративного ИИ. Сейчас генеративный ИИ хорошо умеет писать и переводить, статистически предсказывая каждое следующее подходящее слово, а ответы на один и тот же вопрос могут сильно отличаться. Но овладение способностью к математике, где есть только один правильный ответ, означает, что алгоритм будет иметь большие возможности для рассуждений, подобные человеческому интеллекту. Это может быть применено, например, в новых научных исследованиях, считают ученые. В отличие от калькулятора, который может выполнять ограниченное количество операций, AGI может обобщать, учиться и осмысливать.

В своем письме в Совет исследователи подчеркнули совершенство ИИ и его потенциальную опасность, сообщили источники, не уточняя, о каких именно проблемах безопасности идет речь в письме. Среди ученых уже давно ведутся дискуссии об опасности, которую представляют высокоинтеллектуальные машины, например, могут ли они решить, что уничтожение человечества является полезным.

Исследователи также обратили внимание на работу группы "ученых по искусственному интеллекту", существование которой подтвердили многочисленные источники. По словам одного из участников группы, сформированной путем объединения предыдущих команд "Code Gen" и "Math Gen", они исследовали, как оптимизировать существующие модели ИИ, чтобы улучшить их рассуждения и, в конце концов, выполнять научную работу. Альтман же возглавлял усилия, направленные на то, чтобы сделать ChatGPT одним из самых быстрорастущих программных приложений в истории, так что именно он ответственен за это открытие. Он уже намекал на некий прорыв, заявляя, что "большие достижения уже на носу", и рассказывая о "новых горизонтах", при открытии которых он присутствовал.

СМИ также активно и не раз за последние дни писали о том, что одной из теорий о причинах увольнения директора стало его пренебрежение вопросами безопасности. Альтман якобы придавал больше значения коммерциализации и быстрому продвижению ИИ, чем попыткам делать алгоритм безопасным для человечества. Так, в 2018 году из компании уходит Илон Маск, позже заявив, что он обеспокоен тем, как OpenAI развивает свой продукт. В 2020 году компанию покидает Дарио Амодей, забирая с собой нескольких единомышленников и основывая новую компанию Anthropic и искусственного интеллекта Claude. Наконец, на прошлой неделе против Альтмана восстает Илья Суцкевер, которому принадлежат крупнейшие открытия и разработки в ChatGPT, также обвиняя Альтмана в пренебрежении безопасностью.

Смотрите также Риски ИИ так высоки, что мы должны знать, почему OpenAI уволила Сэма Альтмана, – Илон Маск

Драма номер два: напряжение между Сэмом Альтманом и членами правления

Материал другого издания указывает на то, что напряженность в OpenAI была высока еще до выхода ChatGPT в 2022 году, но достигла высшей точки недавно. Хотя снаружи все выглядело хорошо, за кулисами между Сэмом Альтманом и советом директоров OpenAI, очевидно, были серьезные разногласия, пишет New York Times. Как сообщает источник, опираясь на рассказы нескольких неназванных инсайдеров, драма, разразившаяся на публику за последние пять дней, назревала давно, хотя один конкретный конфликт, похоже, стал главным катализатором.

Генеральный директор встретился с Хелен Тонер, исследовательницей безопасности ИИ из Джорджтаунского университета, которая входила в состав совета директоров, чтобы обсудить ее октябрьский аналитический отчет. В нем она критиковала протоколы безопасности OpenAI, восхваляя при этом протоколы безопасности конкурента Anthropic, ИИ Claude.

Альтман выразил недовольство Тонер, заявив, что ее статья поставила OpenAI под угрозу на фоне продолжающегося расследования Федеральной торговой комиссии США в отношении компании из-за утечки данных, которая привела к утечке личной информации пользователей.

Тонер, со своей стороны, защищала статью как рекомендацию по академической политике и не более, но Альтман на это не повелся. По словам людей, говоривших с NYT на условиях анонимности, он даже поднял вопрос о том, не было бы уместно вывести эксперта по безопасности ИИ из состава совета.

Этот аргумент, похоже, стал одним из последних гвоздей в раскрытый гроб Альтмана: Тонер вместе с соучредителем OpenAI Ильей Суцкевером и другими членами правления Ташей МакКоули и Адамом Д'Анджело проголосовали за исключение генерального директора из-за обвинений в том, что он не был "последовательно откровенным в своих коммуникациях" с руководящим органом.

Согласно материалу New York Times, Тонер твердо стояла на своем, что Альтман не должен возглавлять OpenAI после того, как Суцкевер заговорил о необходимости приложить больше усилий к вопросам безопасности. Во время первых обсуждений по восстановлению Альтмана в должности она заявила, что поскольку устав компании предусматривает создание ИИ, который "принесет пользу всему человечеству", было бы лучше уничтожить компанию в отсутствие Альтмана, чем снова видеть его на посту генерального директора.

Неудивительно, что после возвращения Сэма Альтмана Тонер была исключена из совета директоров OpenAI вместе с Суцкевером и МакКоули.