Cerebras heeft een gedetailleerd technisch overzicht gepubliceerd van hoe het AI-modellen met biljoen parameters inzet op zijn hardware op waferschaal – een zeldzame publieke blik op het loodgieterswerk achter ultrasnelle gevolgtrekkingen voor modellen waarvan het gewicht alleen al terabytes aan geheugen vereist.

Het bericht, geschreven door Sarah Chieng en gepubliceerd op de Cerebras-blog op 22 oktober 2026, trok dit weekend hernieuwde aandacht nadat het de voorpagina van Hacker News bereikte. De centrale vraag is simpel: een enkele Cerebras WSE-3T-wafer heeft 44 GB on-chip geheugen, maar grensmodellen met biljoen parameters hebben terabytes nodig om hun gewichten op te slaan. Hoe overbrug je die kloof? Voor meer context over dit verhaal, zie ons AI-nieuws.

Waarom modellen met biljoen parameters normale hardware kapot maken

Het antwoord begint met een ongemakkelijke waarheid voor conventionele versnellers: met volledige precisie past een model met drie biljoen parameters niet in het geheugen van een enkele chip op de markt. GPU-clusters lossen dit op door modellen over veel apparaten te verdelen en voortdurend gewichten en activeringen via snelle verbindingen te verzenden - een groot deel van de reden waarom gevolgtrekkingen over grote modellen duur en traag zijn.

Cerebras hanteert een andere aanpak. De chips op waferschaal bevatten enorme hoeveelheden on-chip SRAM – 44 GB per WSE-3T-wafer – wat betekent dat het doel van het bedrijf is om de gewichten op de chip te houden, waar de geheugentoegang dramatisch sneller is dan welke link dan ook buiten de chip.

Het bedrijf zegt dat deze architectuur het mogelijk maakt modellen met meerdere biljoenen parameters uit te voeren met 1.000 tot 2.000+ tokens per seconde.

Kimi K3 als het uitgewerkte voorbeeld

Om de uitleg concreet te maken, doorloopt Cerebras de implementatie van Kimi K3, een open-sourcemodel met grofweg 3 biljoen parameters. Het model maakt gebruik van een hybride architectuur: 69 lineaire aandachtslagen en 24 dichte lagen.

Onder verwijzing naar benchmarkresultaten zegt de blog dat Kimi K3 88,3% scoort op Terminal-Bench 2.1 – net achter de 88,8% van GPT-5.6 Sol – en 91,2% op BrowseComp, vóór de 90,4% van GPT-5.6 Sol. Deze cijfers, zo betoogt Cerebras, tonen codering op grensniveau en agentische capaciteiten in een open-weights-model, wat het een goed demonstratiedoel maakt.

In het uitgewerkte voorbeeld wordt uitgegaan van een gemiddelde verzoekgrootte van 256.000 tokens, een gewichtskwantisering van 4 bits (overeenkomend met de Hugging Face-implementatie) en een 8-bits KV-cache.

Een 3T-model in stukken van 44 GB snijden

De rekenkunde is het meest verhelderende deel van de post. Met 4 bits per parameter komen de 3 biljoen parameters van Kimi K3 overeen met ongeveer 1,5 TB aan ruwe gewichten. Verdeeld over de 93 lagen van het model heeft elke laag ongeveer 16 GB nodig.

Dat past netjes in de 44 GB die beschikbaar is op elke wafer, maar de twee laagtypen verdelen zich anders:

  • Dichte lagen hebben ruimte nodig voor een KV-cache, omdat volledige aandacht sleutels en waarden opslaat voor elk token in elk actief verzoek. Cerebras plaatst één dichte laag per wafer, waardoor de resterende SRAM voor die cache overblijft.
  • Lineaire aandachtslagen behouden slechts een kleine status met een vaste grootte per verzoek, ongeacht de contextlengte, dus er is geen KV-cache nodig. Dat laat ruimte voor twee lineaire lagen per wafer.

Met 69 lineaire lagen en 24 dichte lagen brengt het model 35 wafers in kaart voor lineaire lagen plus 24 wafers voor dichte lagen – 59 wafers in totaal voor één exemplaar van Kimi K3.

Gewichten bewegen nooit – alleen activeringen wel

Het tweede sleutelidee is wat Cerebras wel en niet verzendt tussen die 59 wafels. Het bedrijf voert modellen uit als een pijplijn: nadat de compiler lagen op wafergebieden heeft toegewezen, brengt de runtime de padtokens in kaart die van wafer naar wafer gaan.

Cruciaal is dat, omdat elke laag volledig op één wafer (of twee, voor lineaire lagen) past, de modelgewichten nooit hoeven te bewegen. Lagen zijn niet verdeeld over wafels. Alleen activeringen gaan van de ene wafer naar de volgende, overgedragen via RDMA op standaard Ethernet met een hoptijd van ongeveer 2 microseconden.

Dat ontwerppunt verklaart veel over de prestatieclaims van Cerebras. Bij GPU-implementaties is het verplaatsen van gewichten of de sharding-status tussen apparaten vaak het knelpunt; op Cerebras-hardware draagt ​​de interconnect alleen de veel kleinere activeringstensoren.

Waarom het belangrijk is voor de inferentiemarkt

De post is deels een technische uitleger en deels een argument: dat SRAM op waferschaal een geloofwaardige manier is om de steeds grotere modellen te bedienen die de industrie op de markt brengt. Terwijl releases met een open gewicht, zoals Kimi K3, drie biljoen parameters naderen, wordt de geheugenmuur de bepalende beperking van de inferentie-economie, en hebben benaderingen die de gewichten stationair houden een structureel voordeel op de snelheid per token.

Het onderstreept ook hoeveel afhangt van kwantisering. De hele implementatie is afhankelijk van 4-bits gewichten en een 8-bits KV-cache: technieken die de geheugenvoetafdruk met ongeveer 75% of meer verkleinen in vergelijking met 16-bits basislijnen, terwijl de benchmarkprestaties behouden blijven. Zonder hen zouden zelfs 59 wafels niet genoeg zijn.

De afwegingen zijn ook reëel. Een systeem met 59 wafers is een grote, gespecialiseerde machine, en de pijplijnbenadering gaat ervan uit dat verzoeken efficiënt door het systeem kunnen worden gebundeld. De blog van Cerebras behandelt gelijktijdigheid als een van de kernonderwerpen, waarbij wordt opgemerkt dat de architectuur is ontworpen om een ​​groot aantal gelijktijdige verzoeken te verwerken.

Voorlopig geldt de post als een van de duidelijkste publieke verklaringen van wat er feitelijk nodig is om een ​​open model op grensschaal te bedienen met tokensnelheden van vier cijfers – en een teken dat het gesprek over inferentiehardware verschuift van chips naar systemen met hele wafers.

Bron: Cerebras blog, “Hoe we grensmodellen met biljoen parameters inzetten op Cerebras” (22 oktober 2026).

---

Blijf Voorop met AI

Het laatste AI-nieuws, analyses en doorbraken — allemaal op één plek.

Lees meer AI-nieuws →