Google розширив свою лінійку TPU восьмого покоління двома новими спеціалізованими системами: TPU 8i Max, яка поєднує два чіпи висновків в одному пакеті для довгоконтекстних агентських робочих навантажень, і TPU 8tx, розроблену для конфіденційного апаратно-ізольованого висновку, призначеного для регульованих підприємств і урядів. Tom's Hardware повідомила про доповнення в четвер.
Цей крок завершує сімейство, яке Google започаткував у квітні з TPU 8t, призначеного для широкомасштабного навчання штучному інтелекту, і TPU 8i, створеного для роботи з висновками загального призначення, наприклад вибірки, обслуговування та міркування. З новими варіантами лінійка восьмого покоління тепер охоплює навчання, стандартний висновок, безпечний висновок і агентний висновок максимальної пропускної здатності — матриця варіантів, яка відображає те, наскільки по-різному підприємства тепер використовують апаратне забезпечення ШІ. Ця новина про мікросхеми є частиною нашого останнього розвитку ШІ висвітлення ринку обладнання ШІ.
Що роблять нові чіпи
TPU 8i Max містить два чіпи 8i в одному корпусі, подвоюючи обчислення, SRAM і пропускну здатність пам’яті з високою пропускною здатністю в порівнянні з оригінальним 8i. Розробка націлена на довгоконтекстну агентську роботу — сценарії, у яких агенти штучного інтелекту передають дуже великі робочі контексти в багатоетапних завданнях.
Tom’s Hardware сформулював подвоєння пропускної здатності як спосіб обійти те, що Google називає стіною пам’яті, вузьким місцем пропускної здатності, яке стає гострим, «коли десятки агентів штучного інтелекту працюють разом над цілою кодовою базою програмного забезпечення». Більші контекстні вікна — з більшими моделями, орієнтованими на близько 1 мільйона токенів — означають більші кеші KV, частково зберігаються в SRAM, і кожен новий згенерований токен повинен зчитувати цей кеш із пам’яті. Подвоєння пропускної здатності HBM в одному пакеті атакує саме це вузьке місце, і публікація зазначила, що це інший шлях від підходу Nvidia, який полягає в поєднанні другого типу чіпа для декодування з рівнем зберігання для контексту.
Тим часом TPU 8tx побудований на тому ж кремнієвому процесорі, що й раніше анонсований 8t, орієнтований на навчання, але налаштований на конфіденційні обчислення: апаратно-ізольований висновок для регульованих підприємств і урядів, яким потрібні підтвердження того, що їхні дані та моделі захищені під час обробки. Система замінює центральні процесори Axion на базі Arm, які використовувалися 8t і 8i, на процесор AMD EPYC 5-го покоління та використовує мережеву мережу Boardfly від Google.
Примітно, що Google ще не поділився детальними специфікаціями, цінами чи датами доставки будь-якої нової системи, тому покупці наразі мають візуалізацію та позиціонування, а не продукти, які можна замовити.
Візуалізації, опубліковані Google разом із оголошенням, показують плату TPU 8tx із чотирма чіпами та чотирма платами TPU 8i Max, кожна з яких містить по два чіпи в одній упаковці — це фізична ілюстрація того, наскільки сімейство восьмого покоління відійшло від одночіпової моделі прискорювачів попередніх поколінь.
TPU Sync: програмний рівень для пам’яті агента
Окрім кремнію, Google покладається на програмне забезпечення для вирішення проблеми пам’яті агента. TPU Sync — це «рівень стану моделі для кластерів TPU» із відкритим вихідним кодом, який за мілісекунди автоматично роз’єднує масивні кеш-пам’яті KV із чіпа, переміщуючи їх у хост DRAM і, експериментально, у спільне сховище.
За словами Google, це може скоротити затримку передачі кешу KV більш ніж на 90% із відповідним збільшенням часу до першого токена — затримки, яку відчуває користувач, перш ніж система штучного інтелекту починає відповідати. Для агентських робочих навантажень, де один сеанс може включати десятки послідовних викликів моделі, кожен з яких потребує доступу до того самого накопиченого контексту, керування кеш-пам’яттю стає таким же важливим, як і необроблені обчислення.
Чому це важливо для ринку обладнання ШІ
TPU стали бізнесом, що швидко розвивається для Google, яка претендує на майже 100 клієнтів для чіпів, включаючи Meta, чиє впровадження TPU Google у своїх центрах обробки даних стало одним із найзначніших конкурентних вторгнень на територію Nvidia. За словами компанії, більш модульний підхід, який Google застосовує до сімейства восьмого покоління, дозволяє постачати спеціалізовані системи «за кілька місяців, а не за роки», сприяючи зростанню клієнтів.
Час оголошення вражає. Розширення чіпів Google відбулося в той самий день, коли Nvidia оголосила, що генеральний директор Дженсен Хуанг пішов у відставку, а фінансовий директор Колетт Кресс призначено тимчасовим генеральним директором — надзвичайне порушення лідерства в тій самій компанії, чиї графічні процесори домінують на ринку, на якому TPU від Google відмовляються. Ці дві події не пов’язані між собою, але разом вони підкреслюють, наскільки конкурентоспроможним і нестабільним став ринок інфраструктури ШІ.
Для підприємств, які оцінюють інфраструктуру штучного інтелекту, доповнення свідчать про те, що вибір розширюється: оптимізований для навчання кремній, загальний висновок, безпечний висновок для регульованих даних і пакети максимальної пропускної здатності для груп агентів стають окремими категоріями продуктів, а не універсальними прискорювачами. Коли Google опублікує інформацію про ціни та доступність, практичне питання для покупців полягатиме в тому, чи подвоєна пропускна здатність 8i Max перетворюється на достатню пропускну здатність для парків агентів, щоб виправдати перевагу над стандартним розгортанням 8i.
Модульність також має логіку з боку постачання. Замість того, щоб роками чекати, поки дизайн наступного покоління перейде через повний апаратний стек, Google може рекомбінувати існуючий кремній — як це було зроблено, перемістивши 8t кремнію в пакет із захищеним висновком з іншим центральним процесором — щоб швидше охопити сегменти ніші, зберігаючи при цьому загальний стек програмного забезпечення для всіх варіантів. Ця швидкість сама по собі є конкурентною зброєю на ринку, де вимоги клієнтів змінюються щокварталу.
---
Будьте попереду ШІОтримуйте останні новини штучного інтелекту, аналіз і прориви — усе в одному місці.
Читати більше новин AI →
