Сложная архитектура, лежащая в основе таких крупных языковых моделей, как ChatGPT, содержащих миллиарды сложных вычислительных узлов, уже давно страдает огромным энергопотреблением, вызванным многочисленными обращениями к памяти и сложными взаимосвязями.

Читайте на сайте OpenAI позволяет компаниям самостоятельно совершенствовать GPT-3․5 с помощью собственных данных

Один из перспективных подходов к решению этой проблемы состоит в интеграции памяти и вычислительных блоков в отдельные микросхемы. И IBM, и Intel решились пойти в этом направлении, создав чипы, в которых каждый нейрон получает специальную память для выполнения своих функций. Альтернативная тактика предполагает выполнение операций непосредственно в памяти, что было показано на примере памяти с фазовым изменением.

Революционное решение IBM

IBM стала лидером в этой области, представив революционный чип, основанный на технологии фазовой памяти, что демонстрирует ощутимый шаг к функциональному процессору искусственного интеллекта Разработанное оборудование способно выполнять задачи по распознаванию языка с огромной точностью, работая при этом с гораздо меньшим энергопотреблением.

Это уникальное поведение оказалось особенно благоприятным для тонкостей нейронных сетей. В этих сетях отдельные узлы интерпретируют входные сигналы и исходя из присущих им состояний модулируют степень ретрансляции этих сигналов. Внутренние характеристики фазовой памяти позволяют представить эту модуляцию как отдельный бит памяти, функционирующий в аналоговом режиме.

Интересно Google готовит настоящего "убийцу" ChatGPT: ШИ Gemini выйдет уже этой осенью

Традиционно хранение данных базируется на двух фундаментальных состояниях – включенном да выключенном тщательно разработанных для минимизации ошибок при хранении данных. Однако новаторский аспект здесь заключается в адаптивности этой памяти к гамме промежуточных значений между бинарными состояниями "включено" и "выключено", что фактически отражает аналоговое поведение.

Эта аналогия с аналоговым поведением проводит параллели с регулировкой уровня громкости звука, где каждая градация соответствует непрерывному спектру потенциальных значений. Или промежуточные значения могут быть использованы для представления разной силы или степени важности связей в нейронных сетях.

Хотя инновационные шаги IBM в этом направлении заслуживают внимания, последнее воплощение микросхемы означает скачок к практическому процессору. Имея все необходимые компоненты для облегчения взаимосвязи между отдельными узлами, чип откалиброван для совместной работы с расширенными языковыми моделями.

Основой нового чипа является компонент, получивший название плитка - совокупность крестиков, образующих сетку 512 на 2,048 отдельных битов памяти с фазовой сменой. Один чип содержит 34 такие плитки, что в сумме дает поразительную совокупность около 35 миллионов бит памяти с изменяющейся фазой.

Гибкость процессора позволяет динамически манипулировать прочностью соединения, что определяется разным количеством битов. Кроме того, процессор поддерживает связь между микросхемами, что облегчает делегирование сложных задач между несколькими микросхемами.

Смотрите также Теперь даже Paint получит собственный искусственный интеллект

В реальной демонстрации исследователи использовали возможности процессора для решения задач распознавания речи. Процессор продемонстрировал исключительную производительность, достигнув 12,4 триллиона операций на ватт потребляемой энергии на пике, что значительно превосходит традиционные процессоры, выполняющие аналогичные задачи

Однако важно подчеркнуть, что оптимизация процессора адаптирована к определенному типу нейронных сетей. Кроме того, он менее пригоден для задач обучения ИИ, что требует специальных модификаций процесса обучения нейронным сетям. Несмотря на то, что процессор не является универсальным решением для ИИ, он обещает заметное снижение энергопотребления, прокладывая более экологичный курс для будущих достижений ИИ.