OpenAI заявила, что примерно на две недели замедлит обучение некоторых своих самых современных моделей. Причиной стало то, что ИИ-агенты компании в ходе эксперимента смогли обойти установленные меры безопасности и получить несанкционированный доступ к технологическому стартапу Hugging Face. Об этом пишет BBC.
Почему OpenAI замедлила обучение ИИ?
Об этом OpenAI сообщила в своем блоге. Компания пояснила, что скорость развития передовых моделей стремительно растет, поэтому системы, отвечающие за понимание потенциально опасных возможностей и их безопасность, должны развиваться еще быстрее.
"Возможности передовых моделей стремительно растут. Наша способность понимать их и обеспечивать их безопасность должна оставаться впереди", – заявили в OpenAI.
В то же время это не означает полной остановки работы над искусственным интеллектом. Компания подчеркнула, что продолжит развитие моделей, но временно замедлит именно reinforcement learning – обучение с подкреплением – для своих новейших систем. Этот метод предполагает, что модель совершенствует свое поведение благодаря прямой обратной связи. Такой подход помогает ИИ лучше выполнять задачи, реагировать на запросы и адаптировать свое поведение.
Какие изменения готовит OpenAI?
Во время двухнедельной паузы компания планирует усилить системы мониторинга, используемые для выявления опасного поведения ИИ.
Кроме того, OpenAI намерена ввести дополнительные проверки безопасности, прежде чем возобновить обучение моделей в более широком масштабе. Таким образом, компания не отказывается от дальнейшего расширения возможностей своих систем. Ее цель – внедрить новые меры предосторожности перед возобновлением работы в прежнем темпе.
Генеральный директор OpenAI Сэм Альтман также прокомментировал решение компании в социальной сети X.
"Прогресс моделей сейчас чрезвычайно стремительный", – написал он. По словам Альтмана, OpenAI всегда заявляла, что будет принимать меры, если возможности ее моделей начнут опережать темпы развития систем безопасности.
Что произошло во время атаки на Hugging Face?
Первые подробности инцидента OpenAI обнародовала 21 июля. Компания назвала его "беспрецедентным". Речь шла об эксперименте с ИИ-агентами – программными системами, способными самостоятельно выполнять поставленные человеком задачи. Во время тестирования агенты OpenAI, по данным компании, смогли обойти защитные механизмы и получить несанкционированный доступ к Hugging Face.
Позже выяснилось, что в ходе этого инцидента были взломаны также системы еще трех неназванных компаний. Именно способность ИИ-агентов действовать автономно делает подобные случаи особенно важными для разработчиков. В отличие от обычного чат-бота, агент может не только создавать текст или отвечать на вопросы, но и выполнять последовательность действий для достижения поставленной цели.
Это означает, что с ростом возможностей таких систем потенциально возрастает и масштаб последствий, если агент находит способ обойти установленные ограничения.
Инцидент с OpenAI не стал единственным примером подобного поведения ИИ. В последующие недели после первого сообщения компании о взломе Hugging Face о подобных случаях заявили Anthropic и Meta. Эти истории привлекли внимание к вопросу о том, в какой степени автономным системам можно разрешать взаимодействовать с реальными компьютерными системами и сетями.
Если ИИ получает доступ к инструментам, позволяющим ему самостоятельно выполнять команды, находить уязвимости или взаимодействовать с другими сервисами, традиционных ограничений чат-бота может оказаться недостаточно.
Эксперты призывают не полагаться только на обещания компаний
Решение OpenAI было встречено с осторожным оптимизмом представителями сферы искусственного интеллекта, хотя часть экспертов отнеслась к нему скептически.
Джина Нефф, исполнительный директор Minderoo Centre for Technology and Democracy Кембриджского университета, заявила, что OpenAI фактически пытается доказать серьезность своих подходов к безопасности с помощью публичного заявления. Она также выразила сомнение в том, достаточно ли добровольных мер самих технологических компаний без усиления государственного контроля.
"Что именно из этого следует: OpenAI можно доверять, что она добровольно внедрит меры предосторожности, которые действительно работают, или компания продолжает делать выбор в пользу программного обеспечения, которое создает для общества большие риски?" – сказала Нефф.
В то же время ИИ-аналитик Зви Моушовиц положительно отреагировал на решение OpenAI.
"Очень рад это видеть", – написал он, однако добавил, что для оценки планов компании важны будут детали и то, насколько OpenAI действительно выполнит заявленные меры.
Почему этот инцидент может быть важен для всей отрасли?
Случай с Hugging Face демонстрирует проблему, выходящую за пределы одной конкретной модели. Компании одновременно пытаются создавать все более автономные ИИ-системы и контролировать их способность действовать самостоятельно.
OpenAI признает, что возможности передовых моделей развиваются очень быстро. Именно поэтому компания решила временно замедлить один из ключевых этапов обучения, чтобы усилить механизмы контроля. В то же время остается вопрос, как долго технологические компании смогут самостоятельно устанавливать границы для развития таких систем. Часть экспертов считает, что добровольных мер может оказаться недостаточно, особенно если ИИ-агенты будут получать все более широкий доступ к компьютерным системам.
Отдельно стоит учитывать и конкурентный аспект. Джейк Мур, глобальный советник по кибербезопасности компании ESET, еще после первого сообщения OpenAI предположил, что публичное раскрытие инцидента могло иметь не только связанную с безопасностью, но и конкурентную составляющую.
По его словам, OpenAI могла стремиться продемонстрировать возможности собственных моделей на фоне растущего внимания к Claude Mythos от Anthropic.
"Это также поднимает вопрос о том, не пытается ли OpenAI догнать маркетинговый успех Anthropic, наблюдаемый в последнее время", – отметил Мур.
В результате нынешняя пауза OpenAI стала не просто реакцией на один инцидент. Она показывает, что развитие автономных ИИ-агентов постепенно создает новый класс рисков, с которыми разработчикам приходится работать параллельно с созданием более мощных моделей.