Новий ШІ змоделювали за зразком людського мозку, і він перевершив усе, що ми досі мали
- Сінгапурські вчені створили новий тип штучного інтелекту – ієрархічну модель міркувань (HRM), яка перевершує сучасні великі мовні моделі в логічних завданнях.
- HRM, маючи лише 27 мільйонів параметрів та використовуючи всього 1000 зразків для навчання, показала чудові результати в тестах, обігнавши інші моделі в складних завданнях.
Сінгапурські вчені створили новий тип штучного інтелекту, архітектура якого натхненна роботою людського мозку. Ця модель демонструє значно кращі результати в завданнях на логічне мислення порівняно з провідними великими мовними моделями, такими як ChatGPT, при цьому будучи набагато ефективнішою.
У чому секрет ефективності нового ШІ?
Розробка, що отримала назву "ієрархічна модель міркувань" (Hierarchical Reasoning Model, HRM), була створена фахівцями сінгапурської компанії Sapient. Її ключова особливість полягає у принципово іншому підході до обробки інформації, який копіює ієрархічні процеси в людському мозку й працює у різних часових масштабах. Це означає, що різні ділянки моделі інтегрують дані протягом різних проміжків часу – від мілісекунд до хвилин.
Дивіться також Це медична революція: новий штучний інтелект може кардинально змінити розробку ліків
На відміну від більшості сучасних великих мовних моделей (LLM), які використовують метод "ланцюжка думок" (chain-of-thought), розбиваючи складне завдання на простіші етапи, HRM діє інакше. Дослідники з Sapient вважають, що підхід LLM має суттєві недоліки, серед яких – високі вимоги до обсягу даних, значна затримка та крихкість у декомпозиції завдань.
Натомість HRM виконує послідовні логічні завдання за один прохід, використовуючи для цього два модулі:
- Один, високорівневий, відповідає за повільне, абстрактне планування.
- Інший, низькорівневий, забезпечує швидкі та деталізовані обчислення.
Ця архітектура нагадує те, як різні відділи людського мозку обробляють інформацію. Модель працює за допомогою техніки, відомої як "ітеративне уточнення", покращуючи точність рішення шляхом багаторазового вдосконалення початкового припущення. Це відбувається через короткі спалахи "мислення", після кожного з яких система вирішує, чи продовжувати процес, чи надати остаточну відповідь.
Які результати показує нова модель?
Такий підхід дозволив досягти вражаючої ефективності. Модель HRM має всього 27 мільйонів параметрів і для її навчання знадобилося лише 1000 зразків. Для порівняння, передові LLM оперують мільярдами або навіть трильйонами параметрів.
Під час тестування в складному бенчмарку ARC-AGI, призначеному для оцінки наближення до штучного загального інтелекту (AGI), HRM показала чудові результати.
- У тесті ARC-AGI-1 модель набрала 40,3%, обійшовши o3-mini-high від OpenAI (34,5%), Claude 3.7 від Anthropic (21,2%) та Deepseek R1 (15,8%).
- У ще складнішому тесті ARC-AGI-2 HRM набрала 5%, тоді як її конкуренти показали значно нижчі результати.
- Крім того, модель досягла майже ідеальної продуктивності в розв'язанні складних головоломок судоку та пошуку оптимальних шляхів у лабіринтах, із чим звичайні LLM не могли впоратися.
Варто зазначити, що наукова стаття, яка описує модель, ще не пройшла рецензування. Після того як розробники відкрили код моделі, організатори бенчмарку ARC-AGI спробували відтворити результати. Вони підтвердили заявлені цифри, але зробили несподіване відкриття: на їхню думку, значний приріст продуктивності був зумовлений не стільки ієрархічною архітектурою, скільки недостатньо задокументованим процесом уточнення під час навчання.