Математическая слепота в океане лингвистической пластичности
Современный этап развития больших языковых моделей (LLM) характеризуется выраженной асимметрией возможностей. Модели демонстрируют высокий уровень компетентности при создании художественных текстов, генерации поэзии с соблюдением сложных метрических канонов и построении гибких метафор. В то же время базовые арифметические вычисления, точный подсчет символов и последовательное отслеживание состояний остаются источником систематических ошибок даже для самых продвинутых систем. 24 Канал исследовал этот вопрос.
Таке расхождение не является следствием недостаточности обучающих данных, а возникает из-за фундаментальных архитектурных ограничений трансформеров, специфику математического представления информации и теоретические ограничения параллельных вычислительных схем, о чем говорится в масштабном исследовании о препятствиях для дискретного мышления, опубликованном в ACL Anthology.
Токенизация как главное препятствие
Главной причиной "математической тупости" нейросетей является процесс токенизации. Компьютеры не понимают человеческую речь напрямую – они оперируют числами. Трансформеры разбивают текст на фрагменты, которые называются токенами. Это не отдельные буквы, а целые блоки символов. Например, популярный токенизатор cl100k_base от OpenAI воспринимает слово "strawberry" не как последовательность из 10 букв, а как три отдельных цифровых идентификатора: "Str", "aw" и "berry".
Когда пользователь спрашивает, сколько букв "r" содержится в этом слове, модель пытается найти ответ в этих трех блоках. Таким образом, у нас есть три варианта ответа – одна, ноль и две буквы. Поскольку векторные представления (эмбединги) токенов кодируют общую семантику, внутренняя символьная структура внутри них оказывается "запутанной". Модель просто не "видит" отдельных букв, так же как человек не видит нитей в запутанной веревке, не распутав ее.
Тот же механизм проявляется в арифметике. Алгоритм токенизации часто игнорирует позиционную структуру чисел. Число 87439 может быть разбито на токены "874" и "39". В результате модель воспринимает "874" как единый атомарный символ, аналогичный целому слову, а не как комбинацию цифровых разрядов с соответствующими весами. Это делает невозможным систематическое усвоение правил сложения или умножения. Любое изменение в форматировании, например, добавление запятой (12,345 вместо 12345), полностью меняет последовательность токенов, сбивая ИИ с толку.
Теория аппроксимации
Второй барьер лежит в плоскости теории аппроксимации. Нейросети по своей природе являются непрерывными интерполяторами, которые лучше всего работают с "гладкими" функциями, где небольшие изменения входа приводят к небольшим изменениям выхода. Творческие задачи, такие как написание стихов, идеально подходят под это описание, ведь замена одного слова синонимом не разрушает смысл сонета.
Однако дискретная математика работает иначе. В арифметике ошибка в одном разряде (например, при переносе единицы при сложении) приводит к катастрофически неправильному результату. Эти резкие разрывы функций создают для трансформеров геометрические "провалы", которые они пытаются сгладить, что и приводит к ошибкам.
Третье ограничение
Третье ограничение связано со схемотехнической сложностью и коммуникационным "узким местом". Трансформеры создавались как максимально параллельные архитектуры, чтобы ускорить их обучение. Однако математические алгоритмы, такие как длинное деление, по своей сути являются последовательными: каждый следующий шаг зависит от предыдущего. Имея фиксированное количество слоев, модель пытается выполнить все шаги параллельно за один проход, что неизбежно приводит к снижению точности при увеличении разрядности чисел.
Как разработчики пытаются выйти из этой ситуации
Несмотря на эти ограничения, разработчики нашли обходные пути. Наиболее эффективным оказался метод "цепочки мыслей" (Chain of Thought). Когда модель заставляют расписывать задачу пошагово, она генерирует промежуточные токены, которые фактически расширяют ее "вычислительную глубину".
Новые и относительно новые модели, такие как семейство o1 от OpenAI (проект под кодовым названием "Strawberry"), используют масштабное обучение с подкреплением, чтобы самостоятельно проверять свои шаги и корректировать траекторию анализа.
Это позволяет ИИ наконец безошибочно считать буквы "r" в названии клубники, что показывает фундаментальная архитектура трансформеров, ориентированная на вероятностное творчество, а не на железную логику чисел.