Gli aspetti economici dell’infrastruttura IA sono cambiati. Secondo il dirigente di Positron AI Cameron McCaskill, che ha condiviso la cifra in un'intervista con theCUBE Research alla conferenza sul supercalcolo SC26, circa due terzi dei carichi di lavoro che attraversano oggi l'infrastruttura AI sono inferenza piuttosto che formazione. Tre anni fa, la divisione era quasi l’esatto opposto: circa l’85% di formazione e il 15% di inferenza.

Questa inversione sta silenziosamente ridisegnando la mappa di dove vive il calcolo dell’intelligenza artificiale – e spiega perché una nuova generazione di produttori di chip basati sull’inferenza sta improvvisamente aggiudicandosi accordi cloud da aziende molto più grandi di loro.

I numeri dietro il flip

"Siamo a un punto in cui circa due terzi dei carichi di lavoro gestiti attraverso queste infrastrutture di intelligenza artificiale sono inferenza mentre un terzo è formazione", ha affermato McCaskill, responsabile delle vendite e dello sviluppo aziendale di Positron, nell'intervista con Rebecca Knight e John Furrier di theCUBE Research. "Nel 2023, si trattava di 85% formazione e 15% inferenza. Quindi ora puoi capire perché l'inferenza sta guidando le decisioni economiche su come costruire le loro infrastrutture."

Lo spostamento ha un senso intuitivo. La formazione avviene in una manciata di laboratori di frontiera con cluster da miliardi di dollari. L'inferenza avviene ovunque, ogni volta che un utente suggerisce un modello e, con l'esplosione dell'adozione da parte di consumatori e aziende, la domanda aggregata di token ha travolto l'infrastruttura costruita per l'era della formazione. Alimentazione, raffreddamento e fornitura di memoria ora determinano il luogo in cui i token vengono generati tanto quanto le prestazioni grezze del chip, e ciò cambia l'hardware che vince gli affari.

La scommessa di Positron sulla memoria delle merci

Positron AI, che a settembre ha raccolto 875 milioni di dollari con una valutazione di 5 miliardi di dollari, ha costruito la sua intera strategia attorno all’era dell’inferenza. La scelta progettuale centrale dell'azienda: rinunciare alla memoria a larghezza di banda elevata (HBM), il tipo di memoria raro e costoso che ancora la maggior parte degli acceleratori di intelligenza artificiale, e costruire invece dispositivi di inferenza attorno alla memoria di base.

"Praticamente tutti gli altri nel settore utilizzano quella che viene chiamata HBM o memoria a larghezza di banda elevata. È molto limitata nella fornitura e molto costosa", ha affermato McCaskill. "Abbiamo optato per la memoria delle merci."

I compromessi sono intenzionali. La memoria di base è più economica e molto più facile da reperire, e l'architettura di Positron mantiene la potenza sufficientemente bassa per stanze raffreddate ad aria, senza bisogno di un esotico raffreddamento a liquido. Un singolo server Positron assorbe circa 4.500 watt e un rack completo dei prossimi server Titan dell'azienda può contenere circa 40 kilowatt.

La tabella di marcia avanza rapidamente. Il server Atlas di prima generazione di Positron funzionava su un chip programmabile e la società prevede di realizzare il proprio silicio all'inizio del prossimo anno per il server Titan. La società ha già effettuato implementazioni di punta: Oracle sta portando circa 340 server Atlas attivi nel suo cloud questo trimestre, secondo McCaskill, e un fornitore di neocloud ha firmato per Atlas mentre si impegna per la prossima generazione Titan.

I data center modulari diventano la sede naturale dell'inferenza

Forse la parte più importante dell’intervista riguarda la provenienza della domanda, secondo McCaskill: non campus iperscalabili, ma strutture piccole, veloci e modulari.

"Uno dei gruppi di aziende in cui stiamo assistendo a un aumento in questo momento e che si rivolge a noi per un prodotto sono questi data center modulari, dove hanno data center modulari da mezzo megawatt o 1 megawatt o 2,5 megawatt, e questi possono essere implementati molto rapidamente," ha detto. "L'obiettivo di molti di questi giocatori di inferenza è che voglio passare dalla terra e dal potere a token monetizzabili entro 90-120 giorni."

Questa tempistica – circa un quarto dalla costruzione del terreno alle entrate – è impossibile per un campus di formazione su scala gigawatt, che può richiedere anni per consentire, costruire e potenziare. I carichi di lavoro di inferenza sono più piccoli, più flessibili geograficamente e tolleranti nei confronti dei siti in cui gli operatori possono trovare pochi megawatt di energia a basso costo senza pesanti ostacoli normativi. Il risultato è un livello emergente di infrastruttura di inferenza distribuita situata in siti di telecomunicazioni, strutture di colocation e unità modulari più vicine a dove si trova effettivamente la domanda.

Cosa significa per il settore

Per i fornitori di chip, il messaggio è che il mercato dell’hardware AI si sta biforcando. La formazione continua a premiare gli acceleratori più avanzati e le tasche più profonde. L'inferenza premia diverse virtù: efficienza energetica, costo della memoria, velocità di implementazione e capacità di funzionare in normali edifici raffreddati ad aria. I fornitori ottimizzati solo per la corsa alla formazione potrebbero scoprire che il maggior volume di decisioni di distribuzione futura – in cui i token vengono effettivamente monetizzati – avviene su hardware progettato per un diverso insieme di vincoli.

Per le aziende e i clienti cloud, il cambiamento è per lo più invisibile ma sempre più consequenziale: la capacità di inferenza che arriva con incrementi da 90 a 120 giorni significa prezzi più competitivi e più opzioni geografiche per l’esecuzione di modelli vicino a utenti e dati.

E per la narrativa di costruzione del settore dell’intelligenza artificiale – spesso inquadrata come una corsa senza fine per campus gigawatt – l’inversione dell’inferenza ricorda che la curva della domanda si sta ampliando, non solo ridimensionando. La pietra miliare dei due terzi citata all'SC26 è la stima di un dirigente, ma corrisponde alla direzione riportata da tutti i principali operatori cloud: il centro di gravità dello sviluppo dell'intelligenza artificiale si sta spostando dall'addestramento dei modelli al loro servizio.

Stai al passo con l'intelligenza artificiale

Tieni traccia degli ultimi sviluppi dell'IA man mano che si verificano con AI Buzz Wire, la tua fonte di notizie sull'hardware e sull'infrastruttura dell'IA.

Leggi altre notizie sull'AI →