3 
Від компактних смартфонів до потужних кластерів
Інженери технологічного гіганта оприлюднили детальний звіт про те, які саме мовні моделі можуть локально виконувати різні пристрої. Для запуску базових алгоритмів із 14 мільярдами активних параметрів користувачам знадобиться iPhone або iPad із 16 гігабайтами об'єднаної пам'яті, пише Wccftech.
Хоча розробники орієнтуються на швидкість передачі даних у 76 гігабайт на секунду, нові чипи A20 Pro вже перевищують цей показник і забезпечують 115,2 гігабайта на секунду.
Ноутбуки MacBook Air та комп'ютери Mac mini з 64 гігабайтами пам'яті здатні підтримувати моделі на 70 мільярдів параметрів. Потужніші версії MacBook Pro з 128 гігабайтами об'єднаної пам'яті легко справляються з нейромережами на 120 мільярдів параметрів.
Справжніми лідерами стали настільні станції Mac Studio. Один такий пристрій із чипом M5 Ultra, 512 гігабайтами пам'яті та пропускною здатністю 1,2 терабайта на секунду працює з моделями до 480 мільярдів параметрів. Якщо об'єднати чотири станції Mac Studio у єдиний кластер із 2 терабайтами пам'яті, система зможе обробляти гігантські моделі на 1,6 трильйона параметрів.
Втім, таке рішення вимагає величезних фінансових витрат. Один топовий Mac Studio коштує 10 700 доларів, а комплект із чотирьох пристроїв обійдеться у 43 196 доларів. Для повноцінного запуску найважчих алгоритмів знадобиться система з восьми блоків за 86 392 долари, на доставку яких у США доводиться чекати від 15 – 17 тижнів.
Попри відсутність точних назв підтримуваних нейромереж, опубліковані дані дозволяють оцінити майбутній розвиток персональних обчислень та локального штучного інтелекту.