Як компактна модель перевершила гігантів
Згідно з публікацією у виданні TechRadar, розробники з Vambo AI створили нову мовну модель MORENA. Вона підтримує 12 африканських мов, серед яких нігерійський піджин, ігбо, йоруба, хауса, суахілі, шона, зулу, коса, кіньяруанда, тсвана, африкаанс та ндебеле, а також англійську, французьку та програмний код.
У ключовому бенчмарку MORENA здобула результат 1,408 біта на байт (bpb), ставши найкращою серед 26 протестованих систем. Найближчий конкурент, модель Lugha-Llama-8B, мала понад у п'ять разів більше параметрів, але набрала лише 1,423 bpb. Водночас модель Gemma на 12 мільярдів параметрів споживає приблизно в 11 разів більше обчислювальних ресурсів, демонструючи гірші показники на тому ж тексті.
Секрет ефективності та особливості навчання
Більшість проєктів для африканських мов адаптує існуючі варіанти Llama, що змушує зберігати словник, орієнтований на англійську мову. Команда Vambo AI пішла іншим шляхом і розробила токенізатор та набори даних з нуля. Завдяки цьому MORENA кодує африканський текст у 1,39 раза ефективніше за Gemma 3 та у 1,53 раза краще за Llama 3.2.
Навчання моделі проходило у кілька етапів: спочатку вона використала 251,7 мільярда токенів під час попереднього навчання, а потім ще 63 мільярди токенів на середньому етапі. Для розробки знадобилося понад 22 000 годин роботи графічних процесорів A100, а вартість використаних ресурсів оцінюють у 40 000 доларів. Проєкт підтримали організації UNDP, AIHub4SD та CINECA.
Рішення для будь-яких пристроїв
Окрім основної версії на 1,5 мільярда параметрів, розробники випустили менші модифікації на 0,5 мільярда та 0,2 мільярда параметрів. Варіант на 0,5 мільярда обігнав інші зовнішні системи у 11 з 12 мов. Нановерсія на 0,2 мільярда обходиться в 58 разів дешевше за Lugha-Llama-8B і генерує 104 токени на секунду на одному відеоприскорювачі A100.
Розробники також створили версію, сумісну зі звичайними центральними процесорами. Вона працює в автономному режимі навіть на ноутбуку, що робить її доступною в умовах без стабільного доступу до потужних графічних прискорювачів.