Как компактная модель превзошла гигантов
Согласно публикации в издании TechRadar, разработчики из Vambo AI создали новую языковую модель MORENA. Она поддерживает 12 африканских языков, среди которых нигерийский пиджин, игбо, йоруба, хауса, суахили, шона, зулу, коса, киньяруанда, тсвана, африкаанс и ндебеле, а также английский, французский и программный код.
В ключевом бенчмарке MORENA показала результат 1,408 бит на байт (bpb), став лучшей среди 26 протестированных систем. Ближайший конкурент, модель Lugha-Llama-8B, имела более чем в пять раз больше параметров, но набрала лишь 1,423 bpb. В то же время модель Gemma с 12 миллиардами параметров потребляет примерно в 11 раз больше вычислительных ресурсов, демонстрируя худшие показатели на том же тексте.
Секрет эффективности и особенности обучения
Большинство проектов для африканских языков адаптирует существующие варианты Llama, что вынуждает сохранять словарь, ориентированный на английский язык. Команда Vambo AI пошла по другому пути и разработала токенизатор и наборы данных с нуля. Благодаря этому MORENA кодирует африканский текст в 1,39 раза эффективнее, чем Gemma 3, и в 1,53 раза лучше, чем Llama 3.2.
Обучение модели проходило в несколько этапов: сначала она использовала 251,7 миллиарда токенов во время предварительного обучения, а затем еще 63 миллиарда токенов на промежуточном этапе. Для разработки потребовалось более 22 000 часов работы графических процессоров A100, а стоимость использованных ресурсов оценивается в 40 000 долларов. Проект поддержали организации UNDP, AIHub4SD и CINECA.
Решение для любых устройств
Помимо основной версии на 1,5 миллиарда параметров, разработчики выпустили более компактные модификации на 0,5 миллиарда и 0,2 миллиарда параметров. Вариант на 0,5 миллиарда обогнал другие внешние системы на 11 из 12 языков. Нановерсия на 0,2 миллиарда обходится в 58 раз дешевле, чем Lugha-Llama-8B, и генерирует 104 токена в секунду на одном видеоускорителе A100.
Разработчики также создали версию, совместимую с обычными центральными процессорами. Она работает в автономном режиме даже на ноутбуке, что делает ее доступной в условиях отсутствия стабильного доступа к мощным графическим ускорителям.