Cerebras a publicat o detaliere de inginerie a modului în care implementează modele AI cu un trilion de parametri pe hardware-ul său la scară wafer - o privire publică rară asupra instalațiilor din spatele inferenței ultrarapide pentru modelele ale căror greutăți necesită numai terabyți de memorie.

Postarea, scrisă de Sarah Chieng și publicată pe blogul Cerebras pe 22 octombrie 2026, a atras atenția din nou în weekend după ce a ajuns pe prima pagină a Hacker News. Întrebarea sa centrală este simplă: un singur wafer Cerebras WSE-3T are 44 GB de memorie pe cip, dar modelele de frontieră cu trilioane de parametri au nevoie de terabytes doar pentru a-și stoca greutățile. Cum remediați această diferență? For more context on this story, see our ongoing AI trends.

De ce modelele cu trilioane de parametri sparg hardware-ul normal

Răspunsul începe cu un adevăr incomod pentru acceleratoarele convenționale: la precizie maximă, un model cu trei trilioane de parametri nu poate încăpea în memoria niciunui cip de pe piață. Clusterele GPU rezolvă acest lucru prin împărțirea modelelor pe mai multe dispozitive și prin livrarea constantă a greutăților și activărilor prin interconexiuni de mare viteză - o mare parte din motivul pentru care inferența asupra modelelor uriașe este costisitoare și lentă.

Cerebras adoptă o abordare diferită. Cipurile sale de tip wafer-scale conțin cantități enorme de SRAM pe cip - 44 GB per wafer WSE-3T - ceea ce înseamnă că obiectivul companiei este să păstreze greutățile rezidente pe cip, unde accesul la memorie este dramatic mai rapid decât orice legătură off-chip.

Compania spune că această arhitectură îi permite să ruleze modele cu mai multe trilioane de parametri la 1.000 până la 2.000 de jetoane pe secundă.

Kimi K3 ca exemplu lucrat

Pentru a concretiza explicația, Cerebras parcurge implementarea Kimi K3, un model open-source cu aproximativ 3 trilioane de parametri. Modelul folosește o arhitectură hibridă: 69 de straturi de atenție liniară și 24 de straturi dense.

Citând rezultatele benchmark-ului, blogul spune că Kimi K3 obține scoruri de 88,3% la Terminal-Bench 2.1 — chiar în urma celor 88,8% ale lui GPT-5.6 Sol — și 91,2% pe BrowseComp, înaintea celor 90,4% ale lui GPT-5.6 Sol. Aceste numere, susține Cerebras, arată codificarea la nivel de frontieră și capacitatea agentică într-un model cu greutăți deschise, ceea ce îl face o țintă demonstrativă bună.

Exemplul lucrat presupune o dimensiune medie a cererii de 256.000 de jetoane, o cuantificare a greutății de 4 biți (care se potrivește cu implementarea Hugging Face) și un cache KV de 8 biți.

Tăierea unui model 3T în bucăți de 44 GB

Aritmetica este partea cea mai iluminatoare a postului. La 4 biți pe parametru, cei 3 trilioane de parametri ai lui Kimi K3 se ridică la aproximativ 1,5 TB de greutăți brute. Împărțit în cele 93 de straturi ale modelului, fiecare strat are nevoie de aproximativ 16 GB.

Acest lucru se încadrează perfect în cei 44 GB disponibili pe fiecare wafer, dar cele două tipuri de straturi se împart diferit:

  • Straturile dense au nevoie de spațiu pentru un cache KV, deoarece atenția deplină stochează cheile și valorile pentru fiecare token din fiecare solicitare activă. Cerebras plasează un strat dens pe wafer, lăsând restul SRAM pentru acel cache.
  • Straturile de atenție liniară păstrează doar o stare mică, de dimensiune fixă ​​per cerere, indiferent de lungimea contextului, astfel încât nu este nevoie de cache KV. Asta lasă loc pentru două straturi liniare per napolitană.

Cu 69 de straturi liniare și 24 de straturi dense, modelul se mapează la 35 de napolitane pentru straturi liniare plus 24 de napolitane pentru straturi dense - 59 de napolitane în total pentru o singură copie a Kimi K3.

Greutățile nu se mișcă niciodată – doar activările fac

A doua idee cheie este ceea ce Cerebras face – și nu – trimite între cele 59 de napolitane. Compania execută modele ca o conductă: după ce compilatorul mapează straturi pe regiuni de wafer-uri, graficele de rulare pe calea jetoanelor o iau de la wafer la wafer.

În mod esențial, deoarece fiecare strat se potrivește în întregime pe o napolitana (sau două, pentru straturi liniare), greutățile modelului nu trebuie să se miște niciodată. Straturile nu sunt împărțite peste napolitane. Doar activările trec de la o placă la alta, transferate prin RDMA pe Ethernet standard cu un timp de salt de aproximativ 2 microsecunde.

Acest punct de design explică multe despre afirmațiile de performanță ale Cerebras. În implementările GPU, mutarea greutăților sau a stării de fragmentare între dispozitive reprezintă adesea blocajul; pe hardware-ul Cerebras, interconectarea poartă întotdeauna tensorii de activare mult mai mici.

De ce contează pentru piața de inferență

Postarea este parțial un explicativ de inginerie și parțial un argument: că SRAM la scară de wafer este o modalitate credibilă de a servi modelele din ce în ce mai enorme pe care industria le livrează. Pe măsură ce versiunile cu greutate deschisă precum Kimi K3 se apropie de trei trilioane de parametri, peretele de memorie devine constrângerea definitorie a economiei de inferență, iar abordările care mențin greutățile staționare au un avantaj structural în ceea ce privește viteza pe jeton.

De asemenea, subliniază cât de mult depinde de cuantizare. Întreaga implementare depinde de greutăți de 4 biți și de un cache KV de 8 biți - tehnici care reduc amprenta memoriei cu aproximativ 75% sau mai mult, comparativ cu liniile de bază de 16 biți, păstrând în același timp performanța de referință. Fără ele, nici 59 de napolitane nu ar fi suficiente.

De asemenea, compromisurile sunt reale. Un sistem cu 59 de napolitane este o mașină mare, specializată, iar abordarea prin conductă presupune că cererile pot fi grupate în mod eficient în sistem. Blogul Cerebras abordează concurența ca unul dintre subiectele sale principale, menționând că arhitectura este concepută pentru a gestiona un număr mare de solicitări simultane.

Deocamdată, postarea reprezintă una dintre cele mai clare explicații publice despre ceea ce este nevoie de fapt pentru a servi un model deschis la scară de frontieră la viteze de simboluri de patru cifre - și un semn că conversația despre hardware-ul de inferență se schimbă de la cipuri la sisteme cu wafer întreg.

Sursa: blogul Cerebras, „Cum implementăm modele de frontieră cu trilioane de parametri pe Cerebras” (22 octombrie 2026).

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →