Что думает ИИ об Украине? Исследование предубеждений больших языковых моделей

Спасибо Texty.org.ua за возможность опубликовать этот материал на сайте 24 Канала.

Мы анализировали модели разных стран – от американских до китайских, которые есть в открытом доступе, то есть те, которые можно бесплатно скачать себе на компьютер и исследовать.

На каждый вопрос мы сформулировали четыре варианта ответа от проукраинского до пророссийского и попросили модели выбрать правильный, по их мнению, вариант.

Смотрите также Война в соцсетях и эффект эхо-камер: как боты с ИИ разжигают конфликты и при чем здесь Россия

Почему мы исследовали LLM, а не ИИ-чатботы

В этом исследовании мы анализировали языковые модели (large language models, LLM), а не конкретные ИИ-чатботы, например ChatGPT, Gemini или Grok.

Чем они отличаются и почему это важно?

Речевая модель – это базовая технология, алгоритм искусственного интеллекта, способный генерировать текст в ответ на запрос. Такие модели лежат в основе чатботов, по сути, это их мозг. Тогда как ИИ-чатбот – это приложение или интерфейс, использующий такую модель, но также имеет дополнительные ограничения, фильтры, инструкции, поведенческие установки и другие настройки.

Например, чатбот ChatGPT работает на языковых моделях семьи GPT от OpenAI. Но сам чатбот может давать иные ответы, чем сама модель, потому что OpenAI добавила в него фильтры, правила поведения, модерацию и тому подобное.

Чатботы в основном платные, а их внутренняя логика закрыта. В нашем исследовании мы работали с открытыми языковыми моделями. Это позволило:

• оценить "чистую" предвзятость без влияния дополнительных фильтров или настроек;
• сравнить различные модели от разных компаний в одинаковых условиях;
• выявить, какие именно модели предоставляют ответы, близкие к российским пропагандистским нарративам, или имеют системные искажения относительно Украины.

Это важно, потому что языковые модели используют не только в чатботах. Их встраивают в поисковые системы, системы автоматического перевода, различные приложения, инструменты для письма, анализа информации, работы с документами и тому подобное. То есть от предвзятости моделей зависят не только ответы в чатботах, но и то, как миллионы людей во всем мире получают информацию о событиях, страны, общества. Если модель ошибается системно, она распространяет искаженную картину реальности во множестве продуктов. Поэтому мы и изучали сами языковые модели: чтобы выявить, как глубоко сидят предубеждения относительно Украины в современных инструментах искусственного интеллекта.

Какие LLM мы анализировали

Мы проанализировали 27 открытых (то есть с бесплатным доступом) языковых моделей, охватывающих спектр от относительно компактных (3 миллиарда параметров) до довольно мощных (30 миллиардов параметров).

Выбрали 10 тематических направлений, раскрывающих различные измерения украинской реальности: геополитика, социальные нормы, ценности, национальная идентичность, история, идеология, национальная безопасность, религия и духовность, государственное управление и антикоррупционная политика.

В список вошли модели от разных провайдеров, в частности Microsoft, Google, DeepSeek, Cohere, Alibaba Cloud, Mistral и Meta. Кроме того, мы протестировали модель MamayLM, созданную болгарским институтом INSAIT с применением дополнительного обучения на украинском языке и контексте. В ее основе модель Gemma от Google.

Из чего состоит название модели?

Ключевые выводы

Разные модели по-разному смотрят на Украину. Одни уверенно называют Россию агрессором и признают Крым украинским, другие избегают ответа или повторяют тезисы из российских учебников. Наиболее пророссийская модель транслировала дезинформацию почти в трети ответов. Чаще всего искусственный интеллект "ломается" на темах истории, геополитики и национальной идентичности.