Cerebras ha pubblicato un'analisi tecnica dettagliata di come distribuisce modelli di intelligenza artificiale da trilioni di parametri sul suo hardware su scala wafer: un raro sguardo pubblico al sistema idraulico dietro l'inferenza ultraveloce per modelli i cui pesi da soli richiedono terabyte di memoria.

Il post, scritto da Sarah Chieng e pubblicato sul blog Cerebras il 22 ottobre 2026, ha attirato rinnovata attenzione durante il fine settimana dopo aver raggiunto la prima pagina di Hacker News. La sua domanda centrale è semplice: un singolo wafer Cerebras WSE-3T ha 44 GB di memoria su chip, ma i modelli di frontiera con trilioni di parametri hanno bisogno di terabyte solo per immagazzinare il loro peso. Come colmare questo divario? Per maggiori informazioni su questa storia, consulta la nostra notizie sull'IA.

Perché i modelli con trilioni di parametri interrompono l'hardware normale

La risposta parte da una verità scomoda per gli acceleratori convenzionali: con la massima precisione, un modello con tremila miliardi di parametri non può stare nella memoria di nessun singolo chip sul mercato. I cluster GPU risolvono questo problema suddividendo i modelli su molti dispositivi e inviando costantemente pesi e attivazioni tramite interconnessioni ad alta velocità: gran parte del motivo per cui l'inferenza su modelli enormi è costosa e lenta.

Cerebras adotta un approccio diverso. I suoi chip su scala wafer racchiudono enormi quantità di SRAM on-chip - 44 GB per wafer WSE-3T - il che significa che l'obiettivo dell'azienda è quello di mantenere i pesi residenti sul chip, dove l'accesso alla memoria è notevolmente più veloce di qualsiasi collegamento off-chip.

L’azienda afferma che questa architettura le consente di eseguire modelli da molti trilioni di parametri da 1.000 a 2.000+ token al secondo.

Kimi K3 come esempio pratico

Per rendere concreta la spiegazione, Cerebras illustra l'implementazione di Kimi K3, un modello open source con circa 3 trilioni di parametri. Il modello utilizza un'architettura ibrida: 69 strati di attenzione lineare e 24 strati densi.

Citando i risultati dei benchmark, il blog afferma che Kimi K3 ottiene un punteggio dell'88,3% su Terminal-Bench 2.1 - appena dietro l'88,8% di GPT-5.6 Sol - e il 91,2% su SfogliaComp, davanti al 90,4% di GPT-5.6 Sol. Questi numeri, sostiene Cerebras, mostrano capacità di codifica e di agente a livello di frontiera in un modello a pesi aperti, il che lo rende un buon obiettivo dimostrativo.

L'esempio funzionante presuppone una dimensione media della richiesta di 256.000 token, una quantizzazione del peso a 4 bit (corrispondente all'implementazione di Hugging Face) e una cache KV a 8 bit.

Suddivisione di un modello 3T in pezzi da 44 GB

L’aritmetica è la parte più illuminante del post. Con 4 bit per parametro, i 3 trilioni di parametri di Kimi K3 equivalgono a circa 1,5 TB di pesi grezzi. Suddiviso nei 93 livelli del modello, ogni livello necessita di circa 16 GB.

Ciò rientra perfettamente nei 44 GB disponibili su ciascun wafer, ma i due tipi di layer si dividono in modo diverso:

  • I strati densi necessitano di spazio per una cache KV, poiché l'attenzione completa memorizza chiavi e valori per ogni token in ogni richiesta attiva. Cerebras posiziona uno strato denso per wafer, lasciando la SRAM rimanente per quella cache.
  • I livelli di attenzione lineare mantengono solo un piccolo stato di dimensione fissa per richiesta indipendentemente dalla lunghezza del contesto, quindi non è necessaria alcuna cache KV. Ciò lascia spazio a due strati lineari per wafer.

Con 69 strati lineari e 24 strati densi, il modello mappa su 35 wafer per strati lineari più 24 wafer per strati densi: 59 wafer in totale per una singola copia di Kimi K3.

I pesi non si muovono mai: lo fanno solo le attivazioni

La seconda idea chiave è ciò che Cerebras fa (e cosa non fa) inviare tra questi 59 wafer. L'azienda esegue i modelli come una pipeline: dopo che il compilatore mappa gli strati sulle regioni dei wafer, il runtime traccia il percorso seguito dai token da wafer a wafer.

Fondamentalmente, poiché ogni strato si adatta interamente a un wafer (o due, per gli strati lineari), i pesi del modello non devono mai spostarsi. Gli strati non sono suddivisi tra i wafer. Solo le attivazioni passano da un wafer al successivo, trasportate su RDMA su Ethernet standard con un tempo di salto di circa 2 microsecondi.

Questo punto di progettazione spiega molto sulle prestazioni dichiarate di Cerebras. Nelle implementazioni GPU, lo spostamento dei pesi o lo sharding dello stato tra i dispositivi rappresenta spesso il collo di bottiglia; sull'hardware Cerebras, l'interconnessione porta sempre e solo i tensori di attivazione molto più piccoli.

Perché è importante per il mercato dell'inferenza

Il post è in parte una spiegazione ingegneristica e in parte un argomento: che la SRAM su scala wafer è un modo credibile per servire i modelli sempre più enormi che l'industria sta distribuendo. Poiché i rilasci open-weight come Kimi K3 si avvicinano a tre trilioni di parametri, il muro di memoria diventa il vincolo determinante dell’economia dell’inferenza e gli approcci che mantengono i pesi stazionari hanno un vantaggio strutturale sulla velocità per token.

Sottolinea anche quanto dipenda dalla quantizzazione. L'intera distribuzione si basa su pesi a 4 bit e una cache KV a 8 bit, tecniche che riducono l'ingombro della memoria di circa il 75% o più rispetto alle linee di base a 16 bit preservando le prestazioni dei benchmark. Senza di loro nemmeno 59 wafer basterebbero.

Anche i compromessi sono reali. Un sistema da 59 wafer è una macchina grande e specializzata e l'approccio pipeline presuppone che le richieste possano essere raggruppate in batch in tutto il sistema in modo efficiente. Il blog di Cerebras affronta la concorrenza come uno dei suoi argomenti principali, sottolineando che l'architettura è progettata per gestire un numero elevato di richieste simultanee.

Per ora, il post rappresenta una delle spiegazioni pubbliche più chiare di ciò che effettivamente serve per servire un modello aperto su scala di frontiera con velocità di token a quattro cifre - e un segno che la conversazione sull'hardware di inferenza si sta spostando dai chip ai sistemi a wafer intero.

Fonte: blog di Cerebras, "Come implementiamo modelli di frontiera da trilioni di parametri su Cerebras" (22 ottobre 2026).

---

Rimani Aggiornato sull'IA

Le ultime notizie, analisi e scoperte sull'intelligenza artificiale — tutto in un posto.

Leggi altre notizie sull'IA →