Google uvádí na trh TPU 8tx a TPU 8i Max, dokončuje čtyřsystémovou řadu AI čipů osmé generace

Google rozšířil své portfolio TPU osmé generace o dva nové systémy – TPU 8tx pro bezpečné, důvěrné vyvozování a TPU 8i Max pro masivní kontextová okna – což je poprvé, kdy společnost dodala čtyři systémy TPU během jediného roku.

V blogovém příspěvku zveřejněném v pondělí Google uvedl, že tyto dva doplňky jsou navrženy pro profil pracovní zátěže, který sotva existoval, když bylo před deseti lety spuštěno první TPU: flotily autonomních agentů uvažujících nad obrovskými kontextovými okny a zpracovávající citlivá podniková data. „Vzhledem k tomu, že výpočetní technika přechází z měřítka člověka na úroveň agenta, podniky požadují akcelerátory, které dokážou uvažovat v masivních kontextových oknech modelů AI,“ napsala společnost. "Někteří vysoce regulovaní zákazníci navíc požadují specializované šifrovací schopnosti pro jedinečné úlohy." For more context on this story, see our ongoing more AI stories.

Systém pro každou fázi životního cyklu agenta

Osmá generace začala na Google Cloud Next v dubnu s TPU 8t, vytvořeným pro rozsáhlé školení, a TPU 8i, vytvořeným pro uvažování v reálném čase. Google uvedl až 2,7krát lepší tréninkový výkon u 8t a o 80 % lepší odhad ceny a výkonu u 8i ve srovnání s předchozí generací.

Dva nově příchozí si rozdělili zbývající území. Jak uvedl Google, tyto čtyři systémy dohromady poskytují zákazníkům „účelový akcelerátor pro každou fázi agentního životního cyklu“: TPU 8t pro škálovací školení, TPU 8i pro uvažování s nízkou latencí, TPU 8tx pro důvěrné výpočty a TPU 8i Max pro masivní kontextová okna a nejvyšší výpočetní hustotu na rack.

TPU 8tx: Zabezpečení zabudované do hardwaru

TPU 8tx je optimalizován pro bezpečné a důvěrné vyvozování a, poznamenává Google, je také vhodný pro školení v malém měřítku. Cílový zákazník je jednoznačný: regulované podniky a vlády provozující hraniční nebo proprietární modely a autonomní agenti spolu se svými nejcitlivějšími údaji.

Inženýrský přístup se zabývá dlouhodobým napětím v oblasti bezpečných počítačů. Data jsou běžně zašifrována, když jsou uložena nebo přenášena, ale musí být odemčena v paměti, zatímco je počítač zpracovává – ve chvíli, kdy jsou nejvíce vystavena. TPU 8tx, postavený na stejném křemíku jako TPU 8t a spárovaný s hostiteli procesorů AMD EPYC 5. generace, zabudovává zabezpečení přímo do hardwarové vrstvy a udržuje citlivá data a hmotnosti modelů chráněné a izolované i při aktivním používání.

Systém využívá stejnou síť „Boardfly“ s nízkou latencí, kterou Google vytvořil pro uvažování v reálném čase, což znamená, že dokáže současně zvládnout výpočty na úrovni školení a rychlé vyvozování. Google říká, že to organizacím umožňuje dolaďovat modely pomocí soukromých dat, destilovat velké modely na menší a školit agenty prostřednictvím posilovacího učení na jediném systému – bez migrace citlivých dat mezi samostatnými clustery.

TPU 8i Max: Útok na Memory Wall

TPU 8i Max řeší zcela jiné omezení. „Když desítky agentů AI spolupracují v rámci celé softwarové kódové základny nebo hodin videa najednou, šířka pásma paměti se rychle stane překážkou,“ napsal Google. Odpověď společnosti je architektonická: dva čipy TPU 8i s nízkou latencí spojené do jednoho pouzdra.

Výsledkem je systém, který škáluje výpočetní výkon a paměť v nepřetržitém kroku – poskytuje dvojnásobný výpočetní výkon, dvojnásobnou paměť SRAM a dvojnásobnou šířku pásma HBM oproti TPU 8i. A protože TPU 8i Max zapadá dvakrát více křemíku do stávajícího racku, Google říká, že datová centra mohou nasadit výrazně větší výpočetní výkon na čtvereční stopu a na watt, což je smysluplné uvažování, když jsou výkon a podlahová plocha závaznými omezeními pro rozšiřování kapacity AI.

Proč systémy, ne čipy

Důležitou nuancí v pondělním oznámení je, že Google je koncipuje jako nové systémy spíše než jako nové čipy. Navrhování čipu, vysvětluje společnost, je mnohaletým procesem uspořádání miliard tranzistorů vázaných na fyziku a časové osy výroby. Systém – jak jsou kolem čipu uspořádány výpočty, sítě, úložiště a balení – lze upravit mnohem rychleji.

Tato modularita je jádrem strategie AI Hypercomputer společnosti Google a umožňuje čtyři specializované systémy dodávat v rámci jedné generace. Google také zdůraznil, jak velká část jeho vlastní infrastruktury umělé inteligence se nyní vrací do budování hardwaru: společnost používá výukový systém AlphaChip společnosti DeepMind a říká, že Gemini nyní pomáhá dodávat rozložení čipů „v hodinách spíše než v týdnech“. Google to nazývá „skutečným společným designem“ a jedinečným rozlišovacím znakem.

Konkurenční kontext

Expanze přistane uprostřed sílící konkurence v akcelerátorech AI. Nasazení TPU přitáhlo pozornost pro svou roli při poskytování modelů mimo vlastní zdi společnosti Google – společnost poznamenává, že TPU nyní pohání školení a obsluhu jejích modelů Gemini, agentní pracovní zátěže, zákaznické služby Google Cloud a v poslední době přímé nasazení TPU do vlastních datových center zákazníků. Google popisuje TPU jako „rychle rostoucí firmu“.

Pokrytí oznámení, včetně kousků z TechPowerUp a Electronics Weekly, zarámovalo tento krok do výslovně konkurenčních podmínek – Google rozšiřuje svou vlastní křemíkovou řadu, protože se přizpůsobuje pracovní zátěži AI, která by jinak mohla běžet na hardwaru NVIDIA. Společnost NVIDIA pokračuje v dodávání po sobě jdoucích generací svých vlastních rackových systémů, takže kupující infrastruktury AI mají stále věrohodnější volbu mezi obchodníkem a vlastním křemíkem.

Co to znamená pro vývojáře

Pro vývojáře je praktický význam méně o každém jednotlivém benchmarku, ale spíše o přizpůsobení. Týmy vytvářející agentní produkty, které se prodírá dlouhými dokumenty, velkými kódovými bázemi nebo rozšířeným kontextem videa, narážejí na stropy šířky pásma paměti, které surové FLOPS neřeší – problém, pro který je 8i Max stvořen. Týmy ve financích, zdravotnictví a státní správě, které nemohly přesunout citlivou pracovní zátěž do sdílené infrastruktury, protože data musela být během zpracování dešifrována, mají nyní v 8tx hardwarově zálohovanou možnost.

Google spojil hardwarové novinky se zprávami o přístupnosti softwaru, poukazujíc na svá nedávná oznámení PyTorch a svůj stanovený cíl učinit TPU „stejně snadno použitelné jako univerzální hardware“. Společnost v pondělí uspořádala vysílání s podrobnostmi o nových systémech a uvedla, že zákazníci mohou prozkoumat celou sestavu infrastruktury na webu Google Cloud.

Udržujte si náskok před AI

Vlastní křemík se stává strategickým bojištěm budování AI. Zůstaňte o krok před umělou inteligencí pomocí AI Buzz Wire — prolomte pokrytí hardwaru, modelů a společností, které je vyrábějí, AI.

Přečtěte si další zprávy o AI →