От компактных смартфонов до мощных кластеров

Инженеры технологического гиганта обнародовали подробный отчет о том, какие именно языковые модели могут локально выполнять различные устройства. Для запуска базовых алгоритмов с 14 миллиардами активных параметров пользователям понадобится iPhone или iPad с 16 гигабайтами объединенной памяти, пишет Wccftech.

Хотя разработчики ориентируются на скорость передачи данных в 76 гигабайт в секунду, новые чипы A20 Pro уже превышают этот показатель и обеспечивают 115,2 гигабайта в секунду.

Ноутбуки MacBook Air и компьютеры Mac mini с 64 гигабайтами памяти способны поддерживать модели на 70 миллиардов параметров. Более мощные версии MacBook Pro с 128 гигабайтами объединенной памяти легко справляются с нейронными сетями на 120 миллиардов параметров.

Настоящими лидерами стали настольные станции Mac Studio. Одно такое устройство с чипом M5 Ultra, 512 гигабайтами памяти и пропускной способностью 1,2 терабайта в секунду работает с моделями до 480 миллиардов параметров. Если объединить четыре станции Mac Studio в единый кластер с 2 терабайтами памяти, система сможет обрабатывать гигантские модели на 1,6 триллиона параметров.

Впрочем, такое решение требует огромных финансовых затрат. Один топовый Mac Studio стоит 10 700 долларов, а комплект из четырёх устройств обойдётся в 43 196 долларов. Для полноценного запуска самых ресурсоемких алгоритмов понадобится система из восьми блоков стоимостью 86 392 доллара, доставку которой в США приходится ждать от 15 до 17 недель.

Топливо
Средние цены в сети АЗС «Amic Energy» по состоянию на 

Несмотря на отсутствие точных названий поддерживаемых нейросетей, опубликованные данные позволяют оценить будущее развитие персональных вычислений и локального искусственного интеллекта.