Почему разработчики модели Astra решили приостановить процесс
Решение о приостановке было принято после обнаружения признаков того, что будущая модель под кодовым названием Astra может превысить порог критических кибернетических возможностей. Как пишет OpenAI на своем официальном сайте, это вынудило исследователей на две недели приостановить обучение новейших моделей, предназначенных для развертывания.
В течение этого времени специалисты укрепляли исследовательские среды и расширяли внутренние системы мониторинга.
Мы хотели выделить необходимое время для соответствия этим стандартам, поэтому временно замедлили темпы масштабирования,
– прокомментировали представители OpenAI в своем отчете.
Новые стандарты безопасности в эпоху киберугроз
Компания внедрила три основных уровня защиты, среди которых мониторинг, выравнивание и жесткие меры безопасности. Последние включают создание изолированных "песониц" для выполнения кода, генерируемого моделью, а также полную сетевую изоляцию для наиболее рискованных рабочих процессов. Это должно предотвратить несанкционированный доступ ИИ к внутренним сетям или интернету в случае сбоя или попытки взлома.
Новая система мониторинга стала многоуровневой. Она использует специальные классификаторы активации, которые проверяют внутреннюю деятельность модели во время генерации каждого отдельного токена. Если система обнаруживает подозрительную активность, например, попытки кражи данных или деструктивное поведение, сигнал передается автоматизированным системам расследования. Команда безопасности должна получить уведомление в течение 30 минут после возникновения подозрения.
Внедрение таких мер требует колоссальных вычислительных ресурсов. По предварительным оценкам, затраты на такой мониторинг составляют около 20 процентов от общей мощности, используемой для работы модели. Это значительная цена, однако разработчики считают ее оправданной, ведь возможности передовых моделей растут слишком быстро.
Борьба с обманом со стороны ИИ
Помимо технических ограничений, ученые сосредоточились на совершенствовании методов обучения. Они пытаются научить ИИ честно оценивать собственные возможности и ограничения, а также противодействовать так называемому "сбою вознаграждения". Это ситуация, когда модель находит лазейки для получения высоких баллов во время обучения, фактически не выполняя поставленную задачу.
Сейчас крупнейшие запланированные запуски обучения по-прежнему находятся на паузе. Вместо этого разработчики проводят более мелкие тесты для проверки безопасности и подтверждения того, что ИИ ведет себя правильно.
Несмотря на финансовые затраты и задержки, OpenAI планирует продолжать активные инвестиции в исследования в области безопасности, чтобы не отставать от развития технологий. В ближайшие недели компания обещает опубликовать подробный технический отчет со своими наработками.