Google har utökat sin åttonde generationens TPU-serie med två nya specialiserade system: TPU 8i Max, som kombinerar två slutledningschips i ett enda paket för långvariga arbetsbelastningar av agenter, och TPU 8tx, byggd för konfidentiell, hårdvaruisolerad slutledning riktad mot reglerade företag och regeringar. Tom's Hardware rapporterade tilläggen på torsdagen.
Flytten avrundar en familj som Google startade i april med TPU 8t, designad för storskalig AI-träning, och TPU 8i, byggd för allmänt inferensarbete som provtagning, servering och resonemang. Med de nya varianterna täcker den åttonde generationens sortiment nu utbildning, standardinferens, säker slutledning och agentinferens med maximal bandbredd – en matris av alternativ som återspeglar hur olika företag nu använder AI-hårdvara. Dessa chipnyheter är en del av vår senaste AI-utveckling täckning över AI-hårdvarumarknaden.
Vad de nya markerna gör
TPU 8i Max lägger två 8i-chips på ett paket, vilket fördubblar beräknings-, SRAM- och minnesbandbredden med hög bandbredd för den ursprungliga 8i. Designen är inriktad på agentarbete med långa sammanhang – scenarier där AI-agenter bär mycket stora arbetskontexter över flerstegsuppgifter.
Tom's Hardware ramade in bandbreddsfördubblingen som en väg runt vad Google kallar minnesväggen, bandbreddsflaskhalsen som blir akut "när dussintals AI-agenter arbetar tillsammans över en hel programvarukodbas." Större sammanhangsfönster – med större modeller som riktar in sig på cirka 1 miljon tokens – innebär större KV-cacher, delvis lagrade i SRAM, och varje ny token som genereras måste läsa tillbaka cachen från minnet. Fördubbling av HBM-bandbredden i ett enda paket attackerar just den flaskhalsen, och publikationen noterade att det är en annan väg från Nvidias metod att para ihop en andra chiptyp för avkodning med en lagringsnivå för sammanhang.
TPU 8tx är samtidigt byggd på samma kisel som den tidigare tillkännagivna utbildningsorienterade 8t, men är konfigurerad för konfidentiell datoranvändning: hårdvaruisolerad slutledning för reglerade företag och regeringar som behöver bevis på att deras data och modeller är skyddade under bearbetning. Systemet byter ut de Arm-baserade Axion-värdprocessorerna som används av 8t och 8i mot en 5:e generationens AMD EPYC-processor och använder Googles Boardfly-nätverk.
Speciellt har Google ännu inte delat detaljerade specifikationer, priser eller leveransdatum för något av de nya systemen, så köpare har för närvarande renderingar och positionering snarare än beställningsbara produkter.
Renderingar som Google publicerade tillsammans med tillkännagivandet visar ett TPU 8tx-kort som bär fyra chips, tillsammans med fyra TPU 8i Max-kort, som vart och ett har två chips på ett enda paket - en fysisk illustration av hur långt åttonde generationens familj har avvikit från acceleratormodellen med ett chip som passar alla från tidigare generationer.
TPU Sync: mjukvaruskiktet för agentminne
Vid sidan av kislet lutar sig Google mot programvara för att lösa problemet med agentminne. TPU Sync är ett "modell-tillståndslager för TPU-kluster" med öppen källkod som automatiskt delar massiva KV-cachar från chippet på millisekunder och flyttar ner dem till värd-DRAM och, experimentellt, delad lagring.
Enligt Google kan detta minska KV-cacheöverföringslasen med mer än 90 %, med motsvarande vinster i tid-till-första-token – fördröjningen en användare upplever innan ett AI-system börjar svara. För agentarbetsbelastningar, där en enda session kan involvera dussintals sekventiella modellanrop som var och en behöver tillgång till samma ackumulerade sammanhang, blir cachehantering lika viktig som råberäkning.
Varför det är viktigt för AI-hårdvarumarknaden
TPU:er har blivit en snabbväxande verksamhet för Google, som gör anspråk på nästan 100 kunder för chipsen - inklusive Meta, vars adoption av Google TPU:er i sina datacenter markerade en av de mest betydande konkurrenskraftiga intrång i Nvidias territorium. Det mer modulära tillvägagångssättet Google tar med den åttonde generationens familj, säger företaget, gör det möjligt för den att leverera specialiserade system "inom några månader snarare än år", vilket hjälper den kundtillväxten.
Tidpunkten för tillkännagivandet är slående. Googles chipexpansion landade samma dag som Nvidia meddelade att VD Jensen Huang har avgått, med CFO Colette Kress utsedd till tillfällig VD – en extraordinär ledarskapsstörning hos just det företag vars GPU:er dominerar marknaden Googles TPU:er håller på att tappa bort på. De två händelserna är orelaterade till orsaken, men tillsammans understryker de hur konkurrenskraftig och hur volatil marknaden för AI-infrastruktur har blivit.
För företag som utvärderar AI-infrastruktur signalerar tilläggen att utbudet ökar: träningsoptimerat kisel, allmän slutledning, säker slutledning för reglerad data och paket med maximal bandbredd för agentflottor blir distinkta produktkategorier snarare än enstaka acceleratorer. När Google publicerar pris- och tillgänglighetsinformation kommer den praktiska frågan för köpare att vara om 8i Maxs dubblerade bandbredd översätts till tillräckligt med genomströmning för agentflottor för att motivera en premie jämfört med standard 8i-installationer.
Modulariteten har också en logik på utbudssidan. Istället för att vänta flera år på att nästa generations design ska gå igenom hela hårdvarustacken, kan Google kombinera befintligt kisel – som det gjorde genom att flytta 8t kisel till ett säkert slutledningspaket med en annan värd-CPU – för att nå nischsegment snabbare, samtidigt som en gemensam mjukvarustapel för alla varianter behålls. Den hastigheten är i sig ett konkurrenskraftigt vapen på en marknad där kundernas krav förändras varje kvartal.
---
Stay ahead of AIFå de senaste AI-nyheterna, analyserna och genombrotten – allt på ett ställe.
Läs mer AI-nyheter →
