Искусственный интеллект обходится дешевле, если вы общаетесь на этом языке

Как работает скрытый "налог токенизатора"

Если два человека зададут искусственному интеллекту один и тот же вопрос на разных языках, итоговая сумма за услугу может существенно отличаться. Согласно исследованию Коалиции за языковое равенство в исследованиях ИИ (Coalition for Language Equity in AI Research), о котором сообщило издание Rest of World, использование моделей обходится заметно дороже тем, кто формулирует запросы не на английском языке. Специалисты назвали это явление скрытым "налогом токенизатора", поскольку ни один счет прямо не указывает на дополнительную наценку.

Модели искусственного интеллекта воспринимают слова не так, как это делает человек. Специальный инструмент – токенизатор – разбивает входной текст на небольшие фрагменты, или токены. Их можно сравнить с фишками в казино: каждый запрос и каждый ответ расходуют определенное количество фишек, а компании в основном взимают плату за объем использованных единиц.

Проблема заключается в том, что разные языки требуют разного количества токенов для передачи одной и той же мысли. Даже среди 20 самых популярных языков интернета самые дорогие варианты расходуют в 1,5–5 раз больше токенов, чем самые экономичные. Когда же аналитики расширили выборку до 200 языков, разница в стоимости в отдельных моделях выросла в 17 раз.

Почему языковое неравенство угрожает качеству работы ИИ

Последствия этой проблемы выходят далеко за пределы финансовых затрат. Стартап в Киеве вынужден переплачивать за каждый запрос и ответ, тогда как его конкурент из Нью-Йорка не несет таких затрат. Кроме того, большее количество токенов замедляет генерацию и уменьшает доступное рабочее пространство модели – так называемое окно контекста, то есть объем текста, который алгоритм удерживает в памяти одновременно.

Это похоже на работу репетитора: способность запоминать предыдущие ошибки и объяснения студента – часть хорошего урока,
– прокомментировал соучредитель фонда Activate AI Пратьюш Чоудхури.

Он добавил, что быстрое заполнение контекстного окна языками, мало представленными в интернете, напрямую ухудшает качество сервиса. Инструмент начинает быстрее забывать детали разговора, медленнее отвечает и работает значительно хуже для тех, кто не владеет доминирующим языком, на котором технологию обучали с самого начала и на котором говорят ее создатели.

Влияние алфавита и пути преодоления проблемы

Редкость языка – не единственный фактор дискриминации. Исследователи обнаружили, что важную роль играет письменность. Например, астурийский язык имеет немного носителей и отсутствует в огромном архиве Common Crawl, однако выигрывает благодаря латинскому алфавиту и сходству с итальянским. Зато языки с редкими системами письменности – бирманский, тибетский, тифинаг, кхмерский, лаосский или ол-чики – систематически терпят наибольшие потери почти во всех тестируемых моделях.

Многие токенизаторы до сих пор оптимизированы для английского и других языков с большим объемом данных,
– заявил генеральный директор Maya Research Дхимант Редди.

Он подчеркнул, что корень проблемы кроется в дефиците качественных цифровых материалов, но одного лишь сбора новых баз данных недостаточно. Хотя цены на токены постепенно снижаются, полное устранение разрыва требует от ведущих лабораторий сознательно проектировать токенизаторы с учетом сложных систем письменности и различных языковых систем.

Для устранения дисбаланса эксперты предлагают рассматривать языковую эффективность как обязательный критерий качества продукта наряду с точностью, скоростью и надежностью. В частности, разработчики должны открыто публиковать таблицы затрат для разных языков и брать на себя обязательства по улучшению работы с менее представленными языковыми группами.