Cerebras hat eine detaillierte technische Aufschlüsselung darüber veröffentlicht, wie es KI-Modelle mit Billionen Parametern auf seiner Wafer-Hardware einsetzt – ein seltener öffentlicher Einblick in die Funktionsweise der ultraschnellen Inferenz für Modelle, deren Gewichte allein Terabytes an Speicher erfordern.

Der von Sarah Chieng verfasste und am 22. Oktober 2026 im Cerebras-Blog veröffentlichte Beitrag erregte am Wochenende erneut Aufmerksamkeit, nachdem er die Titelseite von Hacker News erreichte. Die zentrale Frage ist einfach: Ein einzelner Cerebras WSE-3T-Wafer verfügt über 44 GB On-Chip-Speicher, aber Grenzmodelle mit Billionen Parametern benötigen Terabyte, nur um ihre Gewichte zu speichern. Wie überbrücken Sie diese Lücke? Weitere Informationen zu dieser Geschichte finden Sie in unserer aktuelle KI-Trends.

Warum Billionen-Parameter-Modelle normale Hardware kaputt machen

Die Antwort beginnt mit einer unangenehmen Wahrheit für herkömmliche Beschleuniger: Bei voller Präzision passt ein Modell mit drei Billionen Parametern nicht in den Speicher eines einzelnen Chips auf dem Markt. GPU-Cluster lösen dieses Problem, indem sie Modelle auf viele Geräte aufteilen und ständig Gewichte und Aktivierungen über Hochgeschwindigkeitsverbindungen versenden – ein großer Teil der Gründe, warum Inferenz bei großen Modellen teuer und langsam ist.

Cerebras verfolgt einen anderen Ansatz. Seine Wafer-Scale-Chips enthalten enorme Mengen an On-Chip-SRAM – 44 GB pro WSE-3T-Wafer – was bedeutet, dass das Ziel des Unternehmens darin besteht, die Gewichte auf dem Chip zu halten, wo der Speicherzugriff wesentlich schneller ist als bei jeder Off-Chip-Verbindung.

Das Unternehmen gibt an, dass diese Architektur es ermöglicht, Modelle mit mehreren Billionen Parametern mit 1.000 bis 2.000+ Token pro Sekunde auszuführen.

Kimi K3 als Arbeitsbeispiel

Um die Erklärung zu konkretisieren, führt Cerebras den Einsatz von Kimi K3 durch, einem Open-Source-Modell mit etwa 3 Billionen Parametern. Das Modell verwendet eine Hybridarchitektur: 69 lineare Aufmerksamkeitsschichten und 24 dichte Schichten.

Unter Berufung auf Benchmark-Ergebnisse heißt es in dem Blog, dass Kimi K3 beim Terminal-Bench 2.1 eine Punktzahl von 88,3 % erreicht – knapp hinter den 88,8 % von GPT-5.6 Sol – und bei BrowseComp 91,2 %, vor den 90,4 % von GPT-5.6 Sol. Diese Zahlen, so argumentiert Cerebras, zeigen Codierungs- und Agentenfähigkeiten auf Grenzebene in einem Modell mit offenen Gewichten, was es zu einem guten Demonstrationsziel macht.

Das ausgearbeitete Beispiel geht von einer durchschnittlichen Anforderungsgröße von 256.000 Token, einer 4-Bit-Gewichtsquantisierung (entsprechend der Hugging Face-Implementierung) und einem 8-Bit-KV-Cache aus.

Ein 3T-Modell in 44-GB-Stücke schneiden

Die Arithmetik ist der aufschlussreichste Teil des Beitrags. Bei 4 Bit pro Parameter ergeben die 3 Billionen Parameter von Kimi K3 etwa 1,5 TB Rohgewichte. Aufgeteilt auf die 93 Schichten des Modells benötigt jede Schicht etwa 16 GB.

Das passt gut in die 44 GB, die auf jedem Wafer verfügbar sind, aber die beiden Schichttypen teilen sich unterschiedlich auf:

  • Dichte Schichten benötigen Platz für einen KV-Cache, da die volle Aufmerksamkeit Schlüssel und Werte für jedes Token in jeder aktiven Anfrage speichert. Cerebras platziert eine dichte Schicht pro Wafer und lässt den verbleibenden SRAM für diesen Cache übrig.
  • Linear-Attention-Layer behalten unabhängig von der Kontextlänge nur einen kleinen Zustand mit fester Größe pro Anfrage bei, sodass kein KV-Cache erforderlich ist. Dadurch bleibt Platz für zwei lineare Schichten pro Wafer.

Mit 69 linearen Schichten und 24 dichten Schichten bildet das Modell 35 Wafer für lineare Schichten plus 24 Wafer für dichte Schichten ab – insgesamt 59 Wafer für eine einzelne Kopie von Kimi K3.

Gewichte bewegen sich nie – nur Aktivierungen

Die zweite Schlüsselidee ist, was Cerebras zwischen diesen 59 Wafern sendet – und was nicht. Das Unternehmen führt Modelle als Pipeline aus: Nachdem der Compiler Schichten auf Waferbereiche abgebildet hat, zeichnet die Laufzeit den Weg auf, den Token von Wafer zu Wafer nehmen.

Entscheidend ist, dass sich die Modellgewichte nie bewegen müssen, da jede Schicht vollständig auf einen Wafer passt (oder auf zwei, bei linearen Schichten). Die Schichten werden nicht auf Wafer aufgeteilt. Nur Aktivierungen werden von einem Wafer zum nächsten übertragen und über RDMA auf Standard-Ethernet mit einer Sprungzeit von etwa 2 Mikrosekunden übertragen.

Dieser Designpunkt erklärt viel über die Leistungsansprüche von Cerebras. Bei GPU-Bereitstellungen ist das Verschieben von Gewichten oder das Sharding des Status zwischen Geräten oft der Engpass; Auf Cerebras-Hardware trägt die Verbindung immer nur die viel kleineren Aktivierungstensoren.

Warum es für den Inferenzmarkt wichtig ist

Der Beitrag ist teils eine technische Erklärung und teils ein Argument: dass SRAM im Wafer-Maßstab eine glaubwürdige Möglichkeit ist, die immer größeren Modelle zu bedienen, die die Industrie ausliefert. Da Open-Weight-Releases wie Kimi K3 sich drei Billionen Parametern nähern, wird die Speicherwand zur bestimmenden Einschränkung der Inferenzökonomie, und Ansätze, die Gewichte stationär halten, haben einen strukturellen Vorteil bei der Geschwindigkeit pro Token.

Es unterstreicht auch, wie viel von der Quantisierung abhängt. Die gesamte Bereitstellung basiert auf 4-Bit-Gewichten und einem 8-Bit-KV-Cache – Techniken, die den Speicherbedarf im Vergleich zu 16-Bit-Basislinien um etwa 75 % oder mehr reduzieren und gleichzeitig die Benchmark-Leistung beibehalten. Ohne sie würden selbst 59 Waffeln nicht ausreichen.

Auch die Kompromisse sind real. Ein 59-Wafer-System ist eine große, spezialisierte Maschine, und der Pipeline-Ansatz geht davon aus, dass Anforderungen effizient im gesamten System gestapelt werden können. Der Blog von Cerebras befasst sich mit Parallelität als einem seiner Kernthemen und weist darauf hin, dass die Architektur für die Verarbeitung einer großen Anzahl gleichzeitiger Anfragen ausgelegt ist.

Derzeit gilt der Beitrag als eine der klarsten öffentlichen Erklärungen dafür, was tatsächlich erforderlich ist, um ein offenes Grenzmodell mit vierstelligen Token-Geschwindigkeiten bereitzustellen – und ein Zeichen dafür, dass sich die Diskussion über Inferenzhardware von Chips auf Ganzwafer-Systeme verlagert.

Quelle: Cerebras-Blog, „Wie wir Trillion-Parameter-Grenzmodelle auf Cerebras bereitstellen“ (22. Oktober 2026).

---

Bleib vorne bei KI

Die neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.

Mehr KI-Nachrichten lesen →