Google запускає TPU 8tx і TPU 8i Max, завершуючи чотирисистемну лінійку чіпів восьмого покоління AI

Google розширила свій портфель TPU восьмого покоління двома новими системами — TPU 8tx для безпечного, конфіденційного висновку та TPU 8i Max для масивних контекстних вікон — вперше компанія поставила чотири системи TPU за один рік.

У публікації в блозі, опублікованій у понеділок, Google сказав, що ці два доповнення розроблені для профілю робочого навантаження, який майже не існував, коли перший TPU був запущений десять років тому: групи автономних агентів міркують над величезними контекстними вікнами та обробляють конфіденційні корпоративні дані. «Оскільки обчислення переходять від масштабу людини до рівня агента, підприємствам потрібні прискорювачі, які можуть обмірковувати величезні контекстні вікна моделей ШІ», — написала компанія. «Крім того, деякі високорегульовані клієнти вимагають спеціалізованих можливостей шифрування для унікальних робочих навантажень». For more context on this story, see our ongoing more AI stories.

Система для кожного етапу життєвого циклу Agentic

Восьме покоління почалося на Google Cloud Next у квітні з TPU 8t, створеного для широкомасштабного навчання, та TPU 8i, створеного для міркувань у реальному часі. Google назвав у 2,7 рази кращу продуктивність навчання для 8t і на 80% кращий висновок ціна-продуктивність для 8i порівняно з попереднім поколінням.

Двоє новоприбулих розділили територію, що залишилася. За словами Google, чотири системи разом надають клієнтам «спеціально створений прискорювач для кожного етапу життєвого циклу агента»: TPU 8t для навчання масштабування, TPU 8i для обґрунтування з низькою затримкою, TPU 8tx для конфіденційних обчислень і TPU 8i Max для великих контекстних вікон і найвищої щільності обчислень на стійку.

TPU 8tx: безпека, вбудована в обладнання

TPU 8tx оптимізовано для безпечного та конфіденційного висновку та, як зазначає Google, також добре підходить для невеликого навчання. Цільовий клієнт чітко визначений: регульовані підприємства та уряди, які використовують прикордонні або власні моделі та автономні агенти разом із своїми найбільш конфіденційними даними.

Інженерний підхід усуває давню напругу в безпечних обчисленнях. Дані зазвичай шифруються під час зберігання або передачі, але їх потрібно розблокувати в пам’яті, поки комп’ютер їх обробляє — у той момент, коли вони найбільш відкриті. Побудований на тому ж кремнієвому процесорі, що й TPU 8t, у поєднанні з центральними процесорами AMD EPYC 5-го покоління, TPU 8tx забезпечує безпеку безпосередньо на апаратному рівні, зберігаючи конфіденційні дані та ваги моделі захищеними та ізольованими навіть під час активного використання.

Система використовує ту саму мережу з низькою затримкою «Boardfly», яку Google створив для міркувань у реальному часі, що означає, що вона може обробляти обчислення рівня навчання та швидкі висновки одночасно. Google каже, що це дозволяє організаціям точно налаштовувати моделі за допомогою приватних даних, розділяти великі моделі на менші та навчати агентів за допомогою навчання з підкріпленням в одній системі — без перенесення конфіденційних даних між окремими кластерами.

TPU 8i Max: атака на стіну пам'яті

TPU 8i Max справляється з зовсім іншими обмеженнями. «Коли десятки агентів штучного інтелекту працюють разом над цілою програмною кодовою базою або годинами відео одночасно, пропускна здатність пам’яті швидко стає вузьким місцем», — пише Google. Відповідь компанії архітектурна: два чіпи TPU 8i з низькою затримкою об’єднані в єдиний корпус.

У результаті вийшла система, яка масштабує обчислення та пам’ять паралельно, забезпечуючи подвійне обчислення, подвоєну SRAM і подвоєну пропускну здатність HBM у порівнянні з TPU 8i. І оскільки TPU 8i Max вміщує вдвічі більше кремнію в межах існуючої стійки, Google каже, що центри обробки даних можуть розгортати значно більше обчислювальної потужності на квадратний фут і на ват, що має значення, коли потужність і простір є обов’язковими обмеженнями для розширення потужності ШІ.

Чому системи, а не мікросхеми

Важливим нюансом у заяві в понеділок є те, що Google розглядає їх як нові системи, а не як нові мікросхеми. Розробка чіпа, як пояснює компанія, — це багаторічний процес створення мільярдів транзисторів, пов’язаний фізикою та часовими рамками виробництва. Систему — те, як обчислення, мережі, сховище та упаковка розташовані навколо чіпа — можна налаштувати набагато швидше.

Ця модульність є основою стратегії гіперкомп’ютерів зі штучним інтелектом Google, і саме вона дозволила створити чотири спеціалізовані системи в одному поколінні. Google також підкреслив, скільки власної інфраструктури штучного інтелекту зараз повертається до створення апаратного забезпечення: компанія використовує систему навчання підкріплення AlphaChip від DeepMind, і каже, що Gemini тепер допомагає розробляти макети мікросхем «за години, а не за тижні». Google називає це «справжнім спільним дизайном» і унікальною відмінністю.

Конкурентний контекст

Розширення відбувається на тлі загострення конкуренції серед прискорювачів ШІ. Розгортання TPU привернуло увагу своєю роллю в обслуговуванні моделей за межами власних стін Google — компанія зазначає, що TPU тепер забезпечують навчання та обслуговування її моделей Gemini, агентських робочих навантажень, служб клієнтів Google Cloud, а останнім часом — пряме розгортання TPU у власних центрах обробки даних клієнтів. Google описує TPU як «бізнес, що швидко розвивається».

Висвітлення оголошення, включно з матеріалами з TechPowerUp і Electronics Weekly, сформулювало цей крок у явно конкурентних умовах — Google розширює лінійку нестандартних силіконів, оскільки вона використовує робочі навантаження штучного інтелекту, які інакше могли б працювати на апаратному забезпеченні NVIDIA. NVIDIA, зі свого боку, продовжує поставляти послідовні покоління власних стелажних систем, залишаючи покупцям інфраструктури штучного інтелекту все більш вірогідний вибір між комерційним і індивідуальним кремнієм.

Що це означає для розробників

Для розробників практична значущість полягає не так у будь-якому окремому тесті, а більше у відповідності. Команди, які розробляють агентські продукти, які працюють із довгими документами, великими кодовими базами чи розширеним відеоконтекстом, досягають максимальної пропускної здатності пам’яті, яку не вирішують необроблені FLOPS — проблема, для якої створено 8i Max. Команди у сфері фінансів, охорони здоров’я та уряду, які не могли перемістити конфіденційні робочі навантаження до спільної інфраструктури, оскільки дані потрібно було розшифровувати під час обробки, тепер мають апаратну підтримку в 8tx.

Google поєднав новини про апаратне забезпечення з повідомленнями про доступність програмного забезпечення, вказуючи на нещодавні анонси PyTorch і заявлену мету зробити TPU «такими ж простими у використанні, як апаратне забезпечення загального призначення». У понеділок компанія провела трансляцію, щоб детально розповісти про нові системи, і повідомила, що клієнти можуть ознайомитися з повною лінійкою інфраструктури на веб-сайті Google Cloud.

Будьте попереду ШІ

Нестандартний кремній стає стратегічним полем битви для розробки ШІ. Будьте попереду ШІ за допомогою AI Buzz Wire — охоплення обладнання ШІ, моделей і компаній, які їх створюють.

Читати більше новин AI →