Cerebras a publié une analyse technique détaillée de la façon dont il déploie des modèles d'IA comportant des milliards de paramètres sur son matériel à l'échelle d'une tranche – un rare regard public sur la plomberie derrière l'inférence ultrarapide pour les modèles dont le poids à lui seul nécessite des téraoctets de mémoire.

L'article, rédigé par Sarah Chieng et publié sur le blog Cerebras le 22 octobre 2026, a suscité un regain d'attention ce week-end après avoir fait la une de Hacker News. Sa question centrale est simple : une seule plaquette Cerebras WSE-3T dispose de 44 Go de mémoire sur puce, mais les modèles frontières comportant des milliards de paramètres ont besoin de téraoctets rien que pour stocker leurs poids. Comment combler cet écart ? Pour plus de contexte sur cette histoire, consultez notre dernières avancées en IA.

Pourquoi les modèles comportant des milliards de paramètres cassent le matériel normal

La réponse commence par une vérité inconfortable pour les accélérateurs conventionnels : avec une précision maximale, un modèle avec trois mille milliards de paramètres ne peut tenir dans la mémoire d’aucune puce unique sur le marché. Les clusters GPU résolvent ce problème en répartissant les modèles sur de nombreux appareils et en expédiant constamment les poids et les activations via des interconnexions à haut débit – ce qui explique en grande partie pourquoi l'inférence sur des modèles volumineux est coûteuse et lente.

Cerebras adopte une approche différente. Ses puces à l'échelle d'une tranche contiennent d'énormes quantités de SRAM sur puce - 44 Go par tranche WSE-3T - ce qui signifie que l'objectif de l'entreprise est de conserver les poids sur la puce, où l'accès à la mémoire est considérablement plus rapide que n'importe quelle liaison hors puce.

La société affirme que cette architecture lui permet d'exécuter des modèles comportant plusieurs milliards de paramètres à raison de 1 000 à plus de 2 000 jetons par seconde.

Kimi K3 comme exemple concret

Pour rendre l'explication concrète, Cerebras explique le déploiement de Kimi K3, un modèle open source avec environ 3 000 milliards de paramètres. Le modèle utilise une architecture hybride : 69 couches d’attention linéaire et 24 couches denses.

Citant des résultats de référence, le blog indique que Kimi K3 obtient un score de 88,3 % sur Terminal-Bench 2.1 – juste derrière les 88,8 % de GPT-5.6 Sol – et de 91,2 % sur BrowseComp, devant les 90,4 % de GPT-5.6 Sol. Selon Cerebras, ces chiffres montrent un codage au niveau frontière et une capacité agentique dans un modèle à pondération ouverte, ce qui en fait une bonne cible de démonstration.

L'exemple travaillé suppose une taille de requête moyenne de 256 000 jetons, une quantification de poids de 4 bits (correspondant à l'implémentation de Hugging Face) et un cache KV de 8 bits.

Découper un modèle 3T en morceaux de 44 Go

L'arithmétique est la partie la plus éclairante du message. À 4 bits par paramètre, les 3 000 milliards de paramètres du Kimi K3 représentent environ 1,5 To de poids bruts. Répartie sur les 93 couches du modèle, chaque couche nécessite environ 16 Go.

Cela s'intègre parfaitement dans les 44 Go disponibles sur chaque plaquette, mais les deux types de couches se divisent différemment :

  • Les couches denses ont besoin d'espace pour un cache KV, car toute l'attention stocke les clés et les valeurs de chaque jeton dans chaque requête active. Cerebras place une couche dense par tranche, laissant la SRAM restante pour ce cache.
  • Les couches d'attention linéaire ne conservent qu'un petit état de taille fixe par requête, quelle que soit la longueur du contexte, donc aucun cache KV n'est nécessaire. Cela laisse de la place pour deux couches linéaires par tranche.

Avec 69 couches linéaires et 24 couches denses, le modèle correspond à 35 tranches pour les couches linéaires plus 24 tranches pour les couches denses, soit 59 tranches au total pour une seule copie de Kimi K3.

Les poids ne bougent jamais – seules les activations le font

La deuxième idée clé est ce que Cerebras fait – et n’envoie pas – entre ces 59 plaquettes. La société exécute les modèles sous forme de pipeline : une fois que le compilateur mappe les couches sur les régions des tranches, le moteur d'exécution trace le chemin emprunté par les jetons d'une tranche à l'autre.

Surtout, étant donné que chaque couche s'adapte entièrement sur une plaquette (ou deux, pour les couches linéaires), les poids du modèle n'ont jamais besoin de bouger. Les couches ne sont pas réparties sur les tranches. Seules les activations passent d'une tranche à l'autre, transportées via RDMA sur Ethernet standard avec un temps de saut d'environ 2 microsecondes.

Ce point de conception explique beaucoup de choses sur les performances revendiquées par Cerebras. Dans les déploiements de GPU, le déplacement des poids ou l'état de partitionnement entre les appareils constituent souvent le goulot d'étranglement ; sur le matériel Cerebras, l'interconnexion ne transporte que les tenseurs d'activation beaucoup plus petits.

Pourquoi c'est important pour le marché de l'inférence

Le message est en partie une explication technique et en partie un argument : la SRAM à l'échelle d'une tranche est un moyen crédible de servir les modèles de plus en plus énormes que l'industrie propose. Alors que les versions à poids ouvert comme Kimi K3 approchent les trois mille milliards de paramètres, le mur de mémoire devient la contrainte déterminante de l'économie d'inférence, et les approches qui maintiennent les poids stationnaires présentent un avantage structurel en termes de vitesse par jeton.

Cela souligne également à quel point cela dépend de la quantification. L'ensemble du déploiement repose sur des pondérations de 4 bits et un cache KV de 8 bits, des techniques qui réduisent l'empreinte mémoire d'environ 75 % ou plus par rapport aux lignes de base de 16 bits tout en préservant les performances de référence. Sans eux, même 59 plaquettes ne suffiraient pas.

Les compromis sont également réels. Un système à 59 tranches est une machine volumineuse et spécialisée, et l'approche pipeline suppose que les demandes peuvent être regroupées efficacement dans tout le système. Le blog de Cerebras aborde la concurrence comme l'un de ses principaux sujets, notant que l'architecture est conçue pour gérer un nombre élevé de requêtes simultanées.

Pour l’instant, le message constitue l’une des explications publiques les plus claires de ce qu’il faut réellement pour servir un modèle ouvert à l’échelle frontière à des vitesses de jeton à quatre chiffres – et un signe que la conversation sur le matériel d’inférence passe des puces aux systèmes à tranches entières.

Source : blog Cerebras, « Comment nous déployons des modèles frontières à milliards de paramètres sur Cerebras » (22 octobre 2026).

---

Restez à la Pointe de l'IA

Les dernières actualités, analyses et percées en IA — au même endroit.

Lire plus d'actualités IA →