Складна архітектура, що лежить в основі таких великих мовних моделей, як ChatGPT, які містять мільярди складних обчислювальних вузлів, вже давно страждає від величезного енергоспоживання, спричиненого численними зверненнями до пам'яті та складними взаємозв'язками.
Читайте на сайті OpenAI дозволяє компаніям самостійно вдосконалювати GPT-3․5 за допомогою власних даних
Один з перспективних підходів до вирішення цієї проблеми полягає в інтеграції пам'яті та обчислювальних блоків в окремі мікросхеми. І IBM, і Intel наважилися піти в цьому напрямку, створивши чіпи, в яких кожен нейрон отримує спеціальну пам'ять для виконання своїх функцій. Альтернативна тактика передбачає виконання операцій безпосередньо в пам'яті, що було продемонстровано на прикладі пам'яті з фазовою зміною.
Революційне рішення IBM
IBM стала лідером у цій галузі, представивши революційний чіп, заснований на технології фазової пам'яті, що демонструє відчутний крок до функціонального процесора штучного інтелекту. Розроблене обладнання здатне виконувати завдання з розпізнавання мови з величезною точністю, працюючи при цьому зі значно меншим енергоспоживанням.
Ця унікальна поведінка виявилася особливо сприятливою для тонкощів нейронних мереж. У цих мережах окремі вузли інтерпретують вхідні сигнали і, виходячи з притаманних їм станів, модулюють ступінь ретрансляції цих сигналів. Внутрішні характеристики фазової пам'яті дозволяють представити цю модуляцію як окремий біт пам'яті, що функціонує в аналоговому режимі.
Цікаво Google готує справжнього "вбивцю" ChatGPT: ШІ Gemini вийде вже цієї осені
Традиційно зберігання даних базується на двох фундаментальних станах – увімкненому та вимкненому – ретельно розроблених для мінімізації помилок при зберіганні даних. Однак новаторський аспект тут полягає в адаптивності цієї пам'яті до гами проміжних значень між бінарними станами "увімкнено" і "вимкнено", що фактично відображає аналогову поведінку.
Ця аналогія з аналоговою поведінкою проводить паралелі з регулюванням рівня гучності звуку, де кожна градація відповідає безперервному спектру потенційних значень. Ці проміжні значення можуть бути використані для представлення різної сили або ступеня важливості зв'язків у нейронних мережах.
Хоча інноваційні кроки IBM в цьому напрямку заслуговують на увагу, останнє втілення мікросхеми означає стрибок до практичного процесора. Маючи всі необхідні компоненти для полегшення взаємозв'язку між окремими вузлами, чіп відкалібрований для сумісної роботи з розширеними мовними моделями.
Основою нового чіпа є компонент, який отримав назву "плитка" – сукупність хрестиків, що утворюють сітку 512 на 2,048 окремих бітів пам'яті з фазовою зміною. Один чіп містить 34 такі плитки, що в сумі дає вражаючу сукупність близько 35 мільйонів біт пам'яті зі змінною фазою.
Гнучкість процесора дозволяє динамічно маніпулювати міцністю з'єднання, що визначається різною кількістю бітів. Крім того, процесор підтримує зв'язок між мікросхемами, що полегшує делегування складних завдань між кількома мікросхемами.
Дивіться також Тепер навіть Paint отримає власний штучний інтелект
У реальній демонстрації дослідники використали можливості процесора для вирішення завдань розпізнавання мови. Процесор продемонстрував виняткову продуктивність, досягнувши 12,4 трильйона операцій на ват споживаної енергії на піку, що значно перевершує традиційні процесори, які виконують аналогічні завдання.
Однак важливо підкреслити, що оптимізація процесора адаптована до певного типу нейронних мереж. Крім того, він менш придатний для завдань навчання ШІ, що вимагає спеціальних модифікацій процесу навчання нейронних мереж. Попри те, що процесор не є універсальним рішенням для ШІ, він обіцяє помітне зниження енергоспоживання, прокладаючи більш екологічний курс для майбутніх досягнень ШІ.