Наразі важко сказати, наскільки заявлені характеристики будуть відповідати дійсності на практиці, адже процесори, які Google використовує у своїх смартфонах, завжди недотягували до розробок Qualcomm, а тим більше Apple, при тому, що чипи Tensor подаються як призначені спеціально для роботи зі штучним інтелектом. Поки що світовим лідером у розробці мікросхем для ШІ є NVIDIA. Поряд із нею свої рішення розробляють Microsoft з її Maia 100 AI Accelerator та Amazon з її Trainium2.

Дивіться також Незабаром прямо в Chrome з'явиться функція "Допоможи мені написати" на основі штучного інтелекту

Що відомо про нові чипи

Cloud TPU v5p – це найпотужніший і найефективніший TPU (Cloud Tensor Processing Unit) від Google сьогодні. Кожен блок TPU v5p складається з 8 960 чипів, поєднаних між собою за допомогою високошвидкісного міжчипового з'єднання з удвічі вищою пропускною здатністю в 4800 гігабітів за секунду на кожен чип. Це забезпечує високу швидкість передачі даних і оптимальну продуктивність. Google не збирається зупинятися на досягнутому й заявляє, що цифри стрибка майбутніх поколінь нас вразять.

  • У порівнянні з TPU v4, нещодавно випущений v5p має вдвічі більшу кількість FLOPS (операцій з плаваючою комою в секунду) і втричі більшу пропускну здатність оперативної пам'яті.
  • Коли справа доходить до навчання моделей, TPU v5p демонструє стрибок у швидкості навчання LLM у 2,8 раза.
  • Google також створив простір, щоб вичавити більше обчислювальної потужності, оскільки TPU v5p "у 4 рази більш масштабований, ніж TPU v4 з точки зору загальної кількості доступних FLOPs на модуль".

Гіперкомп'ютер

Компанія також згадує про щось, що називає "гіперкомп'ютером ШІ". Це "набір елементів, призначених для спільної роботи для забезпечення сучасних робочих навантажень ШІ". Google об'єднала оптимізовані за продуктивністю обчислення, оптимальне зберігання даних разом з рідинним охолодженням, щоб використовувати всі ці можливості разом, щоб досягти найвищої продуктивності. Імовірно, мова йде про якісь потужні сервери, побудовані за останніми інноваціями в сфері.

Працює все на відповідному програмному забезпеченні, яке гарантує "найкращу продуктивність" для обладнання. Ось короткий огляд нещодавно доданих програмних ресурсів у гіперкомп'ютері штучного інтелекту:

  • Широка підтримка популярних фреймворків ML, таких як JAX, TensorFlow і PyTorch, доступна прямо з коробки. І JAX, і PyTorch працюють на основі компілятора OpenXLA для побудови складних мовних моделей. XLA слугує фундаментальною основою, що дозволяє створювати складні багатошарові моделі (навчання Llama 2 та виведення на хмарних TPU за допомогою PyTorch/XLA). Він оптимізує розподілені архітектури на широкому спектрі апаратних платформ, забезпечуючи просту у використанні та ефективну розробку моделей для різноманітних випадків застосування ШІ (AssemblyAI використовує JAX/XLA та Cloud TPU для великомасштабного мовлення ШІ).
  • Відкрите та унікальне програмне забезпечення Multislice Training та Multihost Inferencing, відповідно, робить масштабування, навчання та обслуговування робочих навантажень простими та легкими. Розробники можуть масштабувати до десятків тисяч чипів для підтримки високих робочих навантажень ШІ.
  • Глибока інтеграція з Google Kubernetes Engine (GKE) та Google Compute Engine забезпечує ефективне управління ресурсами, узгодженість операційних середовищ, автоматичне масштабування, автоматичне резервування пулів вузлів, автоматичну контрольну точку, автоматичне відновлення та своєчасне відновлення після збоїв.

Революційний підхід Google до штучного інтелекту цілком очевидний завдяки новому набору апаратних і програмних елементів, які готові зламати бар'єри, що обмежують галузь. Буде цікаво подивитися, як нові обчислювальні блоки Cloud TPU v5p у поєднанні з гіперкомп'ютером AI допоможуть у поточних розробках, але одне можна сказати напевно: вони, безсумнівно, посилять конкуренцію.