Google lanserar TPU 8tx och TPU 8i Max, kompletterar fyra-systems åttonde generationens AI Chip Lineup

Google har utökat sin åttonde generationens TPU-portfölj med två nya system – TPU 8tx för säker, konfidentiell slutledning och TPU 8i Max för massiva sammanhangsfönster – vilket markerar första gången företaget har levererat fyra TPU-system under ett år.

I ett blogginlägg som publicerades på måndagen sa Google att de två tilläggen är designade för en arbetsbelastningsprofil som knappt existerade när den första TPU:n lanserades för ett decennium sedan: flottor av autonoma agenter som resonerar över enorma sammanhangsfönster och hanterar känslig företagsdata. "Med datorer som rör sig från mänsklig till agentskala, efterfrågar företag acceleratorer som kan resonera över AI-modellers massiva sammanhangsfönster", skrev företaget. "Dessutom efterfrågar vissa mycket reglerade kunder specialiserade krypteringsmöjligheter för unika arbetsbelastningar." For more context on this story, see our ongoing AI industry coverage.

Ett system för varje steg i agentlivscykeln

Den åttonde generationen började på Google Cloud Next i april med TPU 8t, byggd för storskalig träning, och TPU 8i, byggd för realtidsresonemang. Google citerade upp till 2,7 gånger bättre träningsprestanda för 8t och 80 % bättre slutsats pris-prestanda för 8i jämfört med föregående generation.

De två nyanlända delade det återstående territoriet. Som Google uttryckte det ger de fyra systemen tillsammans kunderna "en specialbyggd accelerator för varje steg i agentens livscykel": TPU 8t för uppskalningsträning, TPU 8i för resonemang med låg latens, TPU 8tx för konfidentiell datoranvändning och TPU 8i Max för massiva sammanhangsfönster och högsta beräkningstäthet per rack.

TPU 8tx: Säkerhet inbyggd i hårdvaran

TPU 8tx är optimerad för säker och konfidentiell slutledning och, noterar Google, är den också väl lämpad för småskalig träning. Målkunden är tydlig: reglerade företag och regeringar som kör gränsöverskridande eller proprietära modeller och autonoma agenter tillsammans med sina mest känsliga uppgifter.

Det tekniska tillvägagångssättet tar itu med en långvarig spänning inom säker datoranvändning. Data krypteras normalt när de lagras eller överförs, men måste låsas upp i minnet medan en dator bearbetar dem - i det ögonblick de är mest exponerade. Byggd på samma kisel som TPU 8t och parat med 5:e generationens AMD EPYC CPU-värdar, bygger TPU 8tx säkerhet direkt i hårdvarulagret, och håller känslig data och modellvikter skyddade och isolerade även när de används aktivt.

Systemet använder samma "Boardfly"-nätverk med låg latens som Google skapade för realtidsresonemang, vilket innebär att det kan hantera beräkning av träningsgrad och snabb slutledning samtidigt. Google säger att detta låter organisationer finjustera modeller med privata data, destillera stora modeller till mindre och utbilda agenter genom förstärkningsinlärning på ett enda system – utan att migrera känslig data mellan separata kluster.

TPU 8i Max: Attackerar minnesväggen

TPU 8i Max hanterar en annan begränsning helt. "När dussintals AI-agenter arbetar tillsammans över en hel programvarukodbas eller timmar av video på en gång, blir minnesbandbredden snabbt flaskhalsen", skrev Google. Företagets svar är arkitektoniskt: två TPU 8i-chips med låg latens kombinerade till ett enda paket.

Resultatet är ett system som skalar beräkning och minne i låssteg - som levererar dubbla beräkningar, dubbla SRAM och dubbla HBM-bandbredden för TPU 8i. Och eftersom TPU 8i Max passar dubbelt så mycket kisel inom det befintliga rack-fotavtrycket, säger Google att datacenter kan distribuera betydligt mer datorkraft per kvadratfot och per watt, ett meningsfullt övervägande när kraft och golvyta är de bindande begränsningarna för AI-kapacitetsexpansion.

Varför system, inte chips

En viktig nyans i måndagens tillkännagivande är att Google framställer dessa som nya system snarare än nya chips. Att designa ett chip, förklarar företaget, är en flerårig process för att lägga ut miljarder transistorer bundna av fysik och tillverkningstidslinjer. Ett system - hur beräkning, nätverk, lagring och paketering ordnas runt ett chip - kan justeras mycket snabbare.

Den modulariteten är kärnan i Googles AI-hyperdatorstrategi, och det är det som gjorde det möjligt för fyra specialiserade system att levereras inom en enda generation. Google lyfte också fram hur mycket av sin egen AI-infrastruktur som nu går tillbaka till att bygga hårdvaran: företaget använder DeepMinds AlphaChip-förstärkningssystem och säger att Gemini nu hjälper till att leverera chiplayouter "i timmar snarare än veckor." Google kallar detta "true co-design" och en unik differentiator.

Konkurrenskontexten

Expansionen landar mitt i en hårdnande konkurrens inom AI-acceleratorer. TPU-distributioner har uppmärksammats för sin roll i att betjäna modeller utanför Googles egna väggar – företaget noterar att TPU:er nu krafttränar och servar för sina Gemini-modeller, agenter, kundtjänster för Google Cloud och nu senast direkta distributioner av TPU:er i kundernas egna datacenter. Google beskriver TPU:er som "ett snabbt växande företag."

Bevakningen av tillkännagivandet, inklusive bitar från TechPowerUp och Electronics Weekly, inramade flytten i uttryckligen konkurrenskraftiga termer – Google utökar sitt anpassade kiselsortiment eftersom det uppvaktar AI-arbetsbelastningar som annars skulle kunna köras på NVIDIA-hårdvara. NVIDIA, å sin sida, har fortsatt att leverera successiva generationer av sina egna rack-skala system, vilket lämnar AI-infrastrukturköpare med ett allt mer trovärdigt val mellan handlare och anpassat kisel.

Vad det betyder för utvecklare

För utvecklare handlar den praktiska betydelsen mindre om varje enskilt riktmärke och mer om passform. Team som bygger agentprodukter som slipar igenom långa dokument, stora kodbaser eller utökade videokontexter har nått tak för minnesbandbredd som råa FLOPS inte löser – problemet 8i Max är byggd för. Team inom finans, sjukvård och myndigheter som inte kunde flytta känsliga arbetsbelastningar till delad infrastruktur eftersom data var tvungna att dekrypteras under bearbetningen har nu ett maskinvarustödt alternativ i 8tx.

Google kopplade hårdvarunyheterna med mjukvarutillgänglighetsmeddelanden, och pekade på sina senaste PyTorch-meddelanden och dess uttalade mål att göra TPU:er "lika lättanvända som hårdvara för allmänt bruk." Företaget var värd för en sändning på måndagen för att detaljera de nya systemen och sa att kunder kan utforska hela infrastruktursortimentet på Google Cloud-webbplatsen.

Ligg före AI

Anpassat kisel håller på att bli den strategiska slagfältet för AI-utbyggnaden. Ligg före AI med AI Buzz Wire – brytande täckning av AI-hårdvara, modeller och företag som bygger dem.

Läs mer AI-nyheter →