Google rozšířil svou řadu TPU osmé generace o dva nové specializované systémy: TPU 8i Max, který kombinuje dva inferenční čipy v jednom balíčku pro dlouhodobou pracovní zátěž agentů, a TPU 8tx, vytvořený pro důvěrné, hardwarově izolované odvození zaměřené na regulované podniky a vlády. Tom's Hardware oznámil přírůstky ve čtvrtek.

Tento krok završuje rodinu, kterou Google začal v dubnu s TPU 8t, určeným pro rozsáhlá školení AI, a TPU 8i, vytvořený pro univerzální práci s odvozením, jako je vzorkování, podávání a uvažování. S novými variantami nyní řada osmé generace pokrývá školení, standardní vyvozování, bezpečné vyvozování a agentní vyvozování s maximální šířkou pásma – matici možností, která odráží, jak rozdílně nyní podniky používají hardware AI. Tato zpráva o čipu je součástí našeho [nejnovějšího vývoje AI] (https://aibuzzwire.news) pokrytí na trhu hardwaru AI.

Co dělají nové čipy

TPU 8i Max vkládá dva čipy 8i do jednoho pouzdra, čímž zdvojnásobuje výpočetní kapacitu, paměť SRAM a šířku pásma paměti s velkou šířkou pásma oproti původnímu 8i. Návrh se zaměřuje na dlouhodobou práci agentů – scénáře, ve kterých agenti AI nesou velmi rozsáhlé pracovní kontexty napříč vícekrokovými úkoly.

Tom's Hardware zarámoval zdvojnásobení šířky pásma jako způsob, jak obejít to, co Google nazývá paměťová zeď, úzké hrdlo šířky pásma, které se stává akutním, „když desítky agentů AI spolupracují v rámci celé softwarové kódové základny“. Větší kontextová okna – u větších modelů zaměřených na přibližně 1 milion tokenů – znamenají větší KV mezipaměti, částečně uložené v SRAM, a každý nově vygenerovaný token musí tuto mezipaměť načíst zpět z paměti. Zdvojnásobení šířky pásma HBM v jediném balíčku útočí právě na toto úzké místo a publikace poznamenala, že jde o odlišnou cestu od přístupu Nvidie spárování druhého typu čipu pro dekódování s úložnou vrstvou pro kontext.

TPU 8tx je mezitím postaven na stejném křemíku jako dříve oznámený 8t zaměřený na školení, ale je nakonfigurován pro důvěrné výpočty: hardwarově izolované odvození pro regulované podniky a vlády, které potřebují důkaz, že jejich data a modely jsou během zpracování chráněny. Systém vyměňuje hostitelské procesory Axion založené na Armu používané 8t a 8i za procesor AMD EPYC 5. generace a přijímá síť Boardfly společnosti Google.

Je pozoruhodné, že společnost Google ještě nesdělila podrobné specifikace, ceny nebo data dodání pro oba nové systémy, takže kupující mají v současné době spíše vykreslování a umístění než objednávané produkty.

Vykreslení zveřejněná společností Google spolu s oznámením ukazuje desku TPU 8tx se čtyřmi čipy a čtyřmi deskami TPU 8i Max, z nichž každá nese dva čipy v jednom balení – fyzická ilustrace toho, jak daleko se rodina osmé generace odchýlila od modelu akcelerátoru dřívějších generací s jedním čipem.

TPU Sync: softwarová vrstva pro paměť agenta

Kromě křemíku se Google při řešení problému paměti agenta opírá o software. TPU Sync je open-source „vrstva modelového stavu pro clustery TPU“, která automaticky vrství masivní KV mezipaměti mimo čip během milisekund a přesouvá je dolů do hostitelské DRAM a experimentálně sdíleného úložiště.

Podle společnosti Google to může snížit latenci přenosu KV-cache o více než 90 %, s odpovídajícími zisky v čase do prvního tokenu – zpoždění, které uživatel zažívá, než systém AI začne reagovat. Pro agentní pracovní zátěže, kde jedna relace může zahrnovat desítky sekvenčních modelových volání, z nichž každé potřebuje přístup ke stejnému nahromaděnému kontextu, se stává správa mezipaměti stejně důležitá jako nezpracovaný výpočet.

Proč je to důležité pro trh hardwaru AI

TPU se staly rychle rostoucím byznysem pro Google, který si nárokuje téměř 100 zákazníků na čipy – včetně Meta, jejíž přijetí Google TPU ve svých datových centrech znamenalo jeden z nejvýznamnějších konkurenčních invazí na území Nvidie. Modulárnější přístup, který Google u osmé generace zaujímá, mu podle společnosti umožňuje dodávat specializované systémy „v řádu měsíců, nikoli let“, což napomáhá růstu zákazníků.

Načasování oznámení je zarážející. Rozšiřování čipů Google dorazilo ve stejný den, kdy Nvidia oznámila, že generální ředitel Jensen Huang rezignoval, přičemž finanční ředitelka Colette Kress byla jmenována dočasným generálním ředitelem – mimořádné narušení vedení právě ve společnosti, jejíž GPU dominují trhu, na kterém se TPU od Googlu odštěpují. Tyto dvě události spolu nesouvisejí, ale společně zdůrazňují, jak konkurenční a nestabilní se stal trh s infrastrukturou AI.

Pro podniky, které vyhodnocují infrastrukturu AI, dodatky signalizují, že se výběr rozšiřuje: křemík optimalizovaný pro školení, obecná inference, bezpečná inference pro regulovaná data a balíčky s maximální šířkou pásma pro flotily agentů se stávají samostatnými kategoriemi produktů spíše než univerzálními akcelerátory. Když Google zveřejní podrobnosti o cenách a dostupnosti, praktickou otázkou pro kupující bude, zda se zdvojnásobená šířka pásma 8i Max promítne do dostatečné propustnosti pro agentní flotily, aby ospravedlnily prémii oproti standardnímu nasazení 8i.

Modularita má také logiku na straně dodávky. Namísto čekání let na návrh nové generace, který projde celým hardwarovým balíkem, může Google rekombinovat stávající křemík – jako to udělal přesunem 8t křemíku do balíčku s bezpečným odvozením s jiným hostitelským CPU – a rychleji se tak dostat do specializovaných segmentů a zároveň zachovat společný softwarový balík pro všechny varianty. Tato rychlost je sama o sobě konkurenční zbraní na trhu, kde se požadavky zákazníků čtvrtletně mění.

---

Stay Ahead of AI

Získejte nejnovější zprávy, analýzy a průlomové informace o umělé inteligenci – vše na jednom místě.

Přečtěte si další zprávy o AI →