Google ha ampliato il suo portafoglio TPU di ottava generazione con due nuovi sistemi: TPU 8tx per inferenza sicura e riservata e TPU 8i Max per enormi finestre di contesto, segnando la prima volta che l'azienda ha spedito quattro sistemi TPU in un solo anno.

In un post sul blog pubblicato lunedì, Google ha affermato che le due aggiunte sono progettate per un profilo di carico di lavoro che a malapena esisteva quando venne lanciato il primo TPU dieci anni fa: flotte di agenti autonomi che ragionano su enormi finestre di contesto e gestiscono dati aziendali sensibili. "Con il passaggio dell'informatica dalla scala umana a quella degli agenti, le aziende chiedono acceleratori in grado di ragionare attraverso le enormi finestre di contesto dei modelli di intelligenza artificiale", ha scritto l'azienda. "Inoltre, alcuni clienti altamente regolamentati richiedono funzionalità di crittografia specializzate per carichi di lavoro unici." Per maggiori informazioni su questa storia, consulta la nostra ultimi sviluppi nell'IA.

Un sistema per ogni fase del ciclo di vita dell'agente

L'ottava generazione è stata lanciata al Google Cloud Next in aprile con TPU 8t, realizzato per l'addestramento su larga scala, e TPU 8i, realizzato per il ragionamento in tempo reale. Google ha citato prestazioni di allenamento fino a 2,7 volte migliori per l'8t e un rapporto prezzo-prestazioni migliore dell'80% per l'8i rispetto alla generazione precedente.

I due nuovi arrivati ​​si dividono il territorio rimanente. Come affermato da Google, i quattro sistemi insieme offrono ai clienti "un acceleratore appositamente creato per ogni fase del ciclo di vita dell'agente": TPU 8t per la formazione scale-up, TPU 8i per il ragionamento a bassa latenza, TPU 8tx per l'elaborazione riservata e TPU 8i Max per enormi finestre di contesto e la massima densità di elaborazione per rack.

TPU 8tx: sicurezza integrata nell'hardware

TPU 8tx è ottimizzato per un'inferenza sicura e riservata e, nota Google, è adatto anche alla formazione su piccola scala. Il cliente target è esplicito: imprese regolamentate e governi che utilizzano modelli di frontiera o proprietari e agenti autonomi insieme ai loro dati più sensibili.

L’approccio ingegneristico affronta una tensione di lunga data nel settore informatico sicuro. I dati vengono normalmente crittografati quando archiviati o trasmessi, ma devono essere sbloccati in memoria mentre un computer li elabora, nel momento in cui sono più esposti. Costruito sullo stesso silicio di TPU 8t e abbinato a host CPU AMD EPYC di quinta generazione, TPU 8tx integra la sicurezza direttamente nel livello hardware, mantenendo i dati sensibili e il peso dei modelli protetti e isolati anche durante l'uso attivo.

Il sistema utilizza la stessa rete "Boardfly" a bassa latenza creata da Google per il ragionamento in tempo reale, il che significa che può gestire contemporaneamente calcoli di livello formativo e inferenza rapida. Google afferma che ciò consente alle organizzazioni di mettere a punto modelli con dati privati, distillare modelli di grandi dimensioni in modelli più piccoli e formare agenti attraverso l'apprendimento per rinforzo su un unico sistema, senza migrare dati sensibili tra cluster separati.

TPU 8i Max: attacco al muro della memoria

TPU 8i Max affronta un vincolo completamente diverso. "Quando dozzine di agenti IA lavorano insieme su un'intera base di codice software o su ore di video contemporaneamente, la larghezza di banda della memoria diventa rapidamente il collo di bottiglia", ha scritto Google. La risposta dell'azienda è architettonica: due chip TPU 8i a bassa latenza combinati in un unico package.

Il risultato è un sistema che scala elaborazione e memoria in sincronia, offrendo il doppio dell'elaborazione, il doppio della SRAM e il doppio della larghezza di banda HBM del TPU 8i. E poiché TPU 8i Max occupa il doppio del silicio nell’ingombro del rack esistente, Google afferma che i data center possono distribuire una potenza di calcolo significativamente maggiore per piede quadrato e per watt, una considerazione significativa quando potenza e spazio sono i vincoli vincolanti sull’espansione della capacità dell’IA.

Perché i sistemi, non i chip

Una sfumatura importante nell'annuncio di lunedì è che Google li sta inquadrando come nuovi sistemi piuttosto che come nuovi chip. La progettazione di un chip, spiega l'azienda, è un processo pluriennale di disposizione di miliardi di transistor vincolati dalla fisica e dalle tempistiche di produzione. Un sistema, ovvero il modo in cui elaborazione, rete, storage e packaging sono organizzati attorno a un chip, può essere adattato molto più velocemente.

Questa modularità è il fulcro della strategia dell’ipercomputer AI di Google ed è ciò che ha consentito la distribuzione di quattro sistemi specializzati nell’arco di una singola generazione. Google ha anche evidenziato quanta parte della propria infrastruttura AI ora viene utilizzata per costruire l'hardware: l'azienda utilizza il sistema di apprendimento di rinforzo AlphaChip di DeepMind e afferma che Gemini ora aiuta a fornire layout di chip "in ore anziché in settimane". Google definisce questo "vero co-design" e un elemento di differenziazione unico.

Il contesto competitivo

L’espansione avviene in un contesto di crescente concorrenza negli acceleratori di intelligenza artificiale. Le implementazioni di TPU hanno attirato l'attenzione per il loro ruolo nel servire modelli al di fuori delle mura di Google: l'azienda nota che le TPU ora potenziano l'addestramento e il servizio per i suoi modelli Gemini, i carichi di lavoro degli agenti, i servizi clienti di Google Cloud e, più recentemente, le implementazioni dirette delle TPU nei data center dei clienti. Google descrive i TPU come "un business in rapida crescita".

La copertura dell'annuncio, inclusi articoli di TechPowerUp e Electronics Weekly, ha inquadrato la mossa in termini esplicitamente competitivi: Google estende la sua linea di silicio personalizzato mentre corteggia carichi di lavoro AI che altrimenti potrebbero funzionare su hardware NVIDIA. NVIDIA, da parte sua, ha continuato a fornire generazioni successive dei propri sistemi su scala rack, lasciando agli acquirenti di infrastrutture AI una scelta sempre più credibile tra silicio commerciale e personalizzato.

Cosa significa per gli sviluppatori

Per gli sviluppatori, il significato pratico non riguarda tanto il singolo benchmark quanto l’adattamento. I team che creano prodotti agenti che si districano in documenti lunghi, basi di codice di grandi dimensioni o contesti video estesi hanno raggiunto limiti di larghezza di banda di memoria che i FLOPS grezzi non risolvono: il problema per cui è stato creato 8i Max. I team del settore finanziario, sanitario e governativo che non potevano spostare carichi di lavoro sensibili su un'infrastruttura condivisa perché i dati dovevano essere decrittografati durante l'elaborazione, ora hanno un'opzione supportata da hardware in 8tx.

Google ha abbinato le notizie sull'hardware ai messaggi sull'accessibilità del software, sottolineando i suoi recenti annunci di PyTorch e il suo obiettivo dichiarato di rendere i TPU "facili da usare quanto l'hardware generico". Lunedì la società ha ospitato una trasmissione per descrivere in dettaglio i nuovi sistemi e ha affermato che i clienti possono esplorare l'intera gamma di infrastrutture sul sito Web di Google Cloud.

Stai al passo con l'intelligenza artificiale

Il silicio personalizzato sta diventando il campo di battaglia strategico per lo sviluppo dell'intelligenza artificiale. Mantieni un passo avanti rispetto all'intelligenza artificiale con AI Buzz Wire, interrompendo la copertura dell'hardware, dei modelli di intelligenza artificiale e delle aziende che li costruiscono.

Leggi altre notizie sull'AI →