Американская компания Anthropic, известная прежде всего благодаря семейству моделей Claude, призвала мировое сообщество рассмотреть возможность временного замедления или даже приостановления разработки мощных систем искусственного интеллекта. Об этом пишет Techxplore.
Смотрите также АНБ применяет новую ИИ-модель Mythos против Ирана и Китая, хотя называет Anthropic врагом
Почему Anthropic заговорила о приостановлении развития ИИ?
В новом отчете компания заявила, что современные передовые модели уже демонстрируют признаки все большей автономности, а скорость их развития может опередить способность общества создавать необходимые механизмы контроля и безопасности.
По мнению авторов документа, глобальная пауза могла бы дать время на развитие научных исследований в сфере согласования целей искусственного интеллекта с человеческими интересами, а также на создание соответствующих правовых и общественных институтов.
"Мы считаем, что для мира было бы полезно иметь возможность замедлить или временно приостановить развитие передового искусственного интеллекта, чтобы общественные структуры и исследования безопасности могли успевать за развитием технологии", – отметили в Anthropic.
Однако компания признает, что такая инициатива будет иметь смысл только при условии глобальной координации.
Почему реализовать такую паузу будет чрезвычайно сложно?
В Anthropic отмечают, что одностороннее решение отдельной компании не принесет результата. Если один из крупных разработчиков прекратит создание новых моделей, его конкуренты просто продолжат работу и получат преимущество.
Именно поэтому компания говорит о необходимости международного соглашения между ведущими игроками рынка и государствами, прежде всего между США и Китай. По замыслу Anthropic, участники должны не только согласиться на ограничения, но и создать механизмы проверки их выполнения.
В отчете отмечается, что без международной координации правительствам и компаниям придется принимать сложные решения по безопасности под постоянным давлением конкуренции и геополитического соперничества.
При чем здесь ядерное оружие?
Anthropic сравнивает потенциальное регулирование искусственного интеллекта с договорами о контроле над ядерными вооружениями.
Впрочем, компания признает, что в случае ИИ ситуация даже сложнее. Если строительство ракетных шахт или ядерных объектов относительно легко отследить, то обучение новых моделей искусственного интеллекта значительно проще скрыть от сторонних наблюдателей.
Соучредитель Anthropic Джек Кларк в интервью BBC Newsnight описал проблему так:
"Нужно иметь возможность убрать ногу с педали газа и нажать на тормоз. Сейчас индустрия искусственного интеллекта имеет педаль газа, но не имеет педали тормоза".
Компания сообщила, что в ближайшие месяцы планирует организовать встречи с участием чиновников, ученых, общественных организаций и конкурентов для обсуждения потенциальных механизмов контроля. Что такое рекурсивное самосовершенствование ИИ?
Одной из главных причин беспокойства Anthropic называет процесс, который исследователи определяют как "рекурсивное самосовершенствование".
Речь идет о сценарии, при котором искусственный интеллект начинает самостоятельно создавать все лучшие версии себя с минимальным участием человека.
По данным компании, современные системы уже существенно ускоряют разработку новых моделей ИИ. Это создает своеобразный цикл обратной связи, когда искусственный интеллект все активнее помогает совершенствовать следующие поколения искусственного интеллекта.
В отчете отмечается, что до полноценного рекурсивного самосовершенствования отрасль еще не дошла, а сам сценарий не является неизбежным. Впрочем, авторы документа предупреждают, что он может стать реальностью быстрее, чем правительства и общество успеют подготовиться.
Политика, деньги и борьба за первенство
Предложение Anthropic уже вызвало споры в технологической индустрии и политических кругах США. Критики компании считают, что акцентирование внимания на худших сценариях может быть способом затормозить конкурентов под предлогом заботы о безопасности.
Особенно остро вопрос стоит из-за технологического соперничества между США и Китаем. Многие американские политики и руководители технологических компаний убеждены, что любое замедление развития ИИ может дать Пекину стратегическое преимущество в одной из важнейших технологических гонок XXI века.
В то же время президент США Дональд Трамп недавно заявил, что во время визита в Пекин обсуждал с китайской стороной возможное сотрудничество в сфере безопасности искусственного интеллекта. Кроме того, на этой неделе Трамп подписал указ, который позволяет правительству проводить предварительную проверку мощных американских моделей ИИ в течение 30 дней до их публичного запуска.
Отдельно внимание привлекает и тот факт, что Anthropic вспомнила собственную модель Mythos, которая из-за мощных возможностей в сфере кибербезопасности пока доступна только ограниченному кругу проверенных организаций.
Возможна ли глобальная пауза на практике?
Несмотря на громкое заявление Anthropic, реализация такого сценария выглядит маловероятной в ближайшем будущем. Конкуренция между технологическими гигантами усиливается, а инвестиции в искусственный интеллект уже измеряются сотнями миллиардов долларов.
Однако само появление подобных призывов от одного из ведущих разработчиков ИИ демонстрирует, насколько серьезно индустрия начала относиться к рискам сверхмощных систем. Если раньше дискуссии о потере контроля над искусственным интеллектом в основном оставались в академической среде, то теперь они все чаще звучат непосредственно от компаний, которые создают эти технологии.