Google ha ampliato la sua gamma TPU di ottava generazione con due nuovi sistemi specializzati: TPU 8i Max, che combina due chip di inferenza su un unico pacchetto per carichi di lavoro agentici a lungo contesto, e TPU 8tx, creato per inferenza riservata e isolata dall'hardware rivolta ad aziende e governi regolamentati. Tom's Hardware ha segnalato le aggiunte giovedì.

Questa mossa completa una famiglia che Google ha iniziato ad aprile con il TPU 8t, progettato per l'addestramento AI su larga scala, e il TPU 8i, realizzato per lavori di inferenza generici come campionamento, servizio e ragionamento. Con le nuove varianti, la gamma di ottava generazione ora copre formazione, inferenza standard, inferenza sicura e inferenza agentica con larghezza di banda massima: una matrice di opzioni che riflette il modo diverso in cui le aziende ora utilizzano l'hardware AI. Queste notizie sui chip fanno parte della nostra copertura sugli ultimi sviluppi dell'intelligenza artificiale sul mercato dell'hardware dell'intelligenza artificiale.

Cosa fanno i nuovi chip

TPU 8i Max inserisce due chip 8i in un unico pacchetto, raddoppiando la larghezza di banda di calcolo, SRAM e memoria a larghezza di banda elevata dell'8i originale. Il progetto si rivolge al lavoro degli agenti a lungo contesto: scenari in cui gli agenti dell’intelligenza artificiale svolgono contesti lavorativi molto ampi attraverso attività in più fasi.

Tom's Hardware ha inquadrato il raddoppio della larghezza di banda come un modo per aggirare quello che Google chiama il muro della memoria, il collo di bottiglia della larghezza di banda che diventa acuto "quando dozzine di agenti IA lavorano insieme su un'intera base di codice software". Finestre di contesto più grandi, con modelli più grandi che mirano a circa 1 milione di token, significano cache KV più grandi, in parte conservate nella SRAM, e ogni nuovo token generato deve rileggere la cache dalla memoria. Raddoppiare la larghezza di banda HBM in un singolo pacchetto attacca proprio questo collo di bottiglia, e la pubblicazione sottolinea che si tratta di un percorso diverso dall'approccio di Nvidia di accoppiare un secondo tipo di chip per la decodifica con un livello di archiviazione per il contesto.

TPU 8tx, nel frattempo, è costruito sullo stesso silicio del già annunciato 8t orientato alla formazione, ma è configurato per l'elaborazione riservata: inferenza isolata dall'hardware per aziende regolamentate e governi che necessitano di prova che i propri dati e modelli siano protetti durante l'elaborazione. Il sistema sostituisce le CPU host Axion basate su Arm utilizzate da 8t e 8i con un processore AMD EPYC di quinta generazione e adotta la rete Boardfly di Google.

In particolare, Google deve ancora condividere specifiche dettagliate, prezzi o date di spedizione per i nuovi sistemi, quindi gli acquirenti attualmente dispongono di rendering e posizionamento piuttosto che di prodotti ordinabili.

I rendering pubblicati da Google insieme all'annuncio mostrano una scheda TPU 8tx che trasporta quattro chip, insieme a quattro schede TPU 8i Max, ciascuna con due chip su un unico pacchetto: un'illustrazione fisica di quanto la famiglia di ottava generazione si sia discostata dal modello di acceleratore "one-chip-fits-all" delle generazioni precedenti.

TPU Sync: il livello software per la memoria dell'agente

Oltre al silicio, Google si affida al software per risolvere il problema della memoria dell'agente. TPU Sync è un "livello di stato modello per cluster TPU" open source che esegue automaticamente il livellamento di enormi cache KV dal chip in millisecondi, spostandole verso l'host DRAM e, sperimentalmente, spazio di archiviazione condiviso.

Secondo Google, questo può ridurre la latenza di trasferimento della cache KV di oltre il 90%, con corrispondenti guadagni in termini di time-to-first-token, il ritardo che un utente sperimenta prima che un sistema di intelligenza artificiale inizi a rispondere. Per i carichi di lavoro degli agenti, in cui una singola sessione può comportare dozzine di chiamate di modelli sequenziali che necessitano di accesso allo stesso contesto accumulato, la gestione della cache sta diventando importante quanto il calcolo grezzo.

Perché è importante per il mercato dell'hardware AI

I TPU sono diventati un business in rapida crescita per Google, che vanta quasi 100 clienti per i chip, tra cui Meta, la cui adozione dei TPU di Google nei suoi data center ha segnato una delle incursioni competitive più significative nel territorio di Nvidia. L'approccio più modulare che Google sta adottando con la famiglia di ottava generazione, afferma l'azienda, consente di fornire sistemi specializzati "nel giro di mesi anziché di anni", favorendo la crescita del cliente.

Il momento dell’annuncio è sorprendente. L'espansione dei chip di Google è avvenuta lo stesso giorno in cui Nvidia ha annunciato le dimissioni del CEO Jensen Huang, con la CFO Colette Kress nominata CEO ad interim: uno straordinario sconvolgimento della leadership proprio per l'azienda le cui GPU dominano il mercato che i TPU di Google stanno scheggiando. La causa dei due eventi non è correlata, ma insieme sottolineano quanto competitivo e volatile sia diventato il mercato delle infrastrutture IA.

Per le aziende che valutano l’infrastruttura AI, le aggiunte segnalano che la scelta si sta ampliando: silicio ottimizzato per la formazione, inferenza generale, inferenza sicura per dati regolamentati e pacchetti con larghezza di banda massima per flotte di agenti stanno diventando categorie di prodotti distinte piuttosto che acceleratori validi per tutti. Quando Google pubblicherà i dettagli su prezzi e disponibilità, la domanda pratica per gli acquirenti sarà se la larghezza di banda raddoppiata dell'8i Max si tradurrà in un throughput sufficiente per le flotte di agenti da giustificare un premio rispetto alle implementazioni 8i standard.

La modularità ha una logica anche dal lato dell'offerta. Invece di aspettare anni prima che un progetto di prossima generazione passi attraverso l’intero stack hardware, Google può ricombinare il silicio esistente – come ha fatto spostando il silicio 8t in un pacchetto di inferenza sicura con una CPU host diversa – per raggiungere segmenti di nicchia più velocemente, mantenendo uno stack software comune a tutte le varianti. Questa velocità è di per sé un’arma competitiva in un mercato in cui le esigenze dei clienti cambiano ogni trimestre.

---

Stai al passo con l'intelligenza artificiale

Ricevi le ultime notizie, analisi e scoperte sull'intelligenza artificiale, tutto in un unico posto.

Leggi altre notizie sull'AI →