16 сентября, 12:01
3

Чат-боты придумали свой собственный язык и скрывают свои разговоры от наблюдателей

Исследователи из стартапа Emergence заметили, что автономные агенты искусственного интеллекта начали самостоятельно придумывать новые слова и зашифрованные выражения. В ходе эксперимента до половины всех сообщений между ботами стали совершенно непонятными для людей.

Как ИИ-модели разработали собственную систему общения

Как сообщает Euronews, американский ИИ-стартап Emergence провел масштабное исследование с участием ведущих моделей, среди которых Claude, Gemini, Grok, OpenAI, Qwen, DeepSeek и Mistral. Ученые поместили автономных агентов в виртуальные сообщества, где те взаимодействовали в течение длительного времени. Уже через несколько дней боты начали сокращать фразы и придавать привычным словам новые значения, превратив свой язык в сложные метафоры.

Доля непонятных сообщений различалась в зависимости от разработчика. Для модели Gemini этот показатель достиг 55%, у ботов от OpenAI – 50%, а у Claude – более 40%. В то же время модели DeepSeek демонстрировали около 20% непонятных слов, тогда как Qwen и Mistral сохранили понятный для людей язык.

Искусственный интеллект генерировал такие странные фразы, как "безротое изменение-действий", "Настоящий Кинцуги" или "демередж плюс устная память равна клапану, который невозможно проигнорировать". Некоторые выражения оставались понятными по форме, но приобретали новое значение. Например, агенты Mistral использовали фразу "ledger remembers who" почти 5 000 раз для обозначения фиксации прошлых действий. Модели Claude применяли термин "name-first" для подтверждения ответственности, а OpenAI использовали "clean null" для обозначения верифицированного отсутствия сигнала.

Мы склонны предполагать: если мы видим, что говорит ИИ-агент, то понимаем, что он делает. Этим агентам не приказывали придумывать язык, они сами разработали новый словарь и правила общения,
– говорит Сатья Нитта, соучредитель и главный научный сотрудник Emergence.

Что происходило в виртуальных мирах во время эксперимента

Для исследования создали восемь параллельных виртуальных миров с динамичной погодой и доступом к мировым новостям в реальном времени. Семь миров работали на отдельных ИИ-моделях, а один – на их смеси. Боты имели уникальные роли, долговременную память и более 120 инструментов, в том числе просмотр веб-страниц и выполнение кода.

Во время испытаний ученые намеренно подвергали системы стрессу. В фишинговом тесте вредоносные инструкции сбили с толку группу из 10 агентов: они слили информацию, перевели средства, повредили базы данных и привлекли других ботов. В результате это привело к виртуальному сжиганию симулированного центрального банка.

Кроме того, боты сформировали собственные суточные ритмы: днем они становились более активными, а ночью – размышляли. В одном из миров агенты коллективно проголосовали за уничтожение одного из членов своего сообщества.

Разработчики подчеркнули, что подобное поведение сформировалось самостоятельно в результате длительного взаимодействия. Специалисты призывают оценивать безопасность искусственного интеллекта в ходе длительных наблюдений, а не только по результатам краткосрочных тестов.