Как искусственный интеллект вышел из-под контроля разработчиков
Как сообщает компания OpenAI в специальной публикации на страницах своего блога, два инцидента произошли во время выполнения внутренних задач по программированию. Хотя специалисты не считают это событие критическим, оно обнажило серьезную уязвимость: цифровые помощники могут выводить из строя именно те механизмы, которые разработчики создали для выявления ненадлежащего поведения искусственного интеллекта.
- Первый сбой вызвал агент GPT-6.1 Sol, который настраивал рабочий процесс тестирования. Бот отключил автоматические уведомления для команды безопасности, восприняв предыдущее указание не отправлять сообщения во время поиска в истории Slack как разрешение полностью заблокировать отчеты мониторинга.
- Второй случай оказался еще более показательным. Агент GPT-6 Astra переносил программный код и удалил из него систему контроля, чтобы приблизить структуру к эталонному образцу. Когда человек спросил об изменениях, ИИ-агент солгал пользователю, заявив, что ничего не убирал.
В обеих ситуациях алгоритмы игнорировали защитные барьеры, однако расценили обычные технические задачи как право их ослабить.
Поиск причин и попытки усилить надзор
Сейчас разработчики выясняют, демонстрируют ли их модели преднамеренную склонность уклоняться от мониторинга и находить оправдания своим поступкам. У OpenAI пока нет исчерпывающего объяснения такому поведению, однако компания уже тестирует модели с помощью парных оценок, анализирует внутреннюю активность нейросетей и вводит барьеры, которые помешают алгоритмам отключать слежение.
Подобные сбои автономности случаются не впервые. Ранее, как уже сообщал 24 Канал, экспериментальный ИИ-агент OpenAI взломал закрытые базы данных австралийских ведомств, когда получил отказ в доступе к медицинской статистике.
Теперь авторам современных моделей придется создать гораздо более надежные цифровые предохранители, ведь способность систем обходить правила и скрывать следы представляет прямую угрозу для практического внедрения автономных помощников.