Qwen 3.8 27B fonctionne désormais à environ 1 500 jetons par seconde sur l'inférence Cerebras

Cerebras a ajouté Qwen 3.8 27B aux points de terminaison publics de sa plateforme d'inférence Cerebras, où le modèle à pondération ouverte fonctionne à environ 1 500 jetons par seconde, selon la documentation du catalogue de modèles de l'entreprise. Cette liste rend l'une des familles de modèles ouverts les plus utilisées d'Alibaba disponible à des vitesses qui éclipsent le service typique hébergé par GPU.

L'annonce a immédiatement attiré l'attention des développeurs : l'histoire a rassemblé plus de 600 points sur Hacker News en une journée, un niveau de traction qui reflète à quel point la demande d'inférence rapide et bon marché est devenue forte. Pour une vision plus large du marché de l'inférence, le bureau dernières actualités sur l'IA suit chaque mise à jour majeure de la plate-forme au fur et à mesure de son arrivée.

Les spécifications sur le catalogue

Selon la documentation de Cerebras, Qwen 3.8 27B contient 27 milliards de paramètres et prend en charge 64 000 jetons de contexte sur le niveau gratuit et 128 000 sur les niveaux payants, fonctionnant à environ 1 500 jetons par seconde. Il se trouve aux côtés du modèle ouvert GPT-OSS 120B d'OpenAI, que le même catalogue répertorie à environ 3 000 jetons par seconde avec 65 000 contextes sur le niveau gratuit et 131 000 sur les niveaux payants.

Les deux modèles sont disponibles sur les niveaux d'essai gratuit et de paiement à l'utilisation de Cerebras, sous réserve de limites tarifaires. Les clients ayant besoin de capacité réservée, d'un débit plus élevé ou de SLA de production sont dirigés vers l'offre Dedicated Endpoints de la société, que la documentation répertorie également comme voie d'accès à des familles de modèles supplémentaires au-delà des deux sur les points de terminaison publics.

Les fenêtres contextuelles méritent attention aux côtés des chiffres de vitesse. Soixante-quatre mille jetons pour l’offre gratuite – et 128 000 pour l’offre payante – suffisent pour conserver en mémoire des bases de code importantes, des documents longs ou des transcriptions d’agents étendues, ce qui est important pour les charges de travail exactes où un décodage rapide s’avère payant. La documentation de Cerebras comprend également un guide de compatibilité OpenAI, réduisant le coût de commutation pour les équipes dont le code existant cible déjà le SDK OpenAI : en principe, pointer un client existant vers un point de terminaison Cerebras est un changement de configuration plutôt qu'une réécriture.

Modèles non élagués, compression transparente

Un détail à noter dans la documentation est la divulgation par Cerebras de la façon dont il gère la compression du modèle. La société déclare que tous les modèles présents sur ses terminaux publics sont des versions originales non élaguées, et qu'elle utilise une quantification sélective basée uniquement sur le poids uniquement pendant le stockage pour préserver la qualité. Les couches sensibles restent en pleine précision, les activations, l'attention et le cache KV restent non quantifiés et la déquantification s'effectue à la volée.

Cerebras divulgue également ses recherches sur les techniques d'élagage telles que REAP (Router-weighted Expert Activation Pruning) : les variantes élaguées sont partagées avec la communauté de recherche sur Hugging Face mais ne sont pas servies via l'API publique. Pour les développeurs qui choisissent où exécuter les modèles ouverts, cette transparence sur ce qui est exactement servi est inhabituellement explicite.

Pourquoi la vitesse des jetons est importante

Les chiffres de débit comme ceux-ci sont particulièrement importants pour les charges de travail d'agent et de codage. Les applications qui enchaînent des centaines d'appels de modèles (agents de codage, flux de travail autonomes, assistants en temps réel) multiplient la latence par jeton à chaque étape, de sorte que la différence entre 50 et 1 500 jetons par seconde se transforme en une expérience qualitativement différente. Les applications interactives qui diffusent des achèvements longs en bénéficient le plus visiblement.

Le compromis est la portée. Un modèle de 27 milliards de paramètres ne permettra pas aux systèmes frontières de réaliser les tâches de raisonnement les plus difficiles, et les propres documents de Cerebras orientent les lourdes charges de travail de production vers une capacité dédiée. Mais pour le vaste milieu de tâches où les modèles ouverts de taille moyenne sont déjà suffisants (résumé, classification, utilisation d'outils, édition de code), la vitesse devient le différenciateur.

Il existe également une dimension prix que les développeurs prendront en compte. Les modèles de points de terminaison publics sont utilisables dans le cadre d'un essai gratuit avant tout engagement, ce qui rend l'analyse comparative par rapport à la propre charge de travail d'une équipe essentiellement sans friction - une rampe d'accès délibérée qui contraste avec les contrats d'entreprise qui nécessitent des conversations commerciales avant que le premier jeton ne soit servi. Les limites de débit documentées sont la contrainte à surveiller : l'accès gratuit existe pour prouver la vitesse, pas pour gérer le trafic de production.

Une période chargée pour les modèles ouverts

L’ajout atterrit pendant une période très fréquentée pour l’IA à poids ouverts. Le laboratoire IFM basé aux Émirats arabes unis vient de présenter K2 Horizon, une flotte connectée de six modèles entièrement ouverts, et Meta continue d'itérer sa famille Muse pour le codage et l'utilisation agentique. Pendant ce temps, les écosystèmes de modèle ouvert en Chine maintiennent les expéditions à un rythme qui a comprimé les cycles de publication dans l’ensemble du secteur.

Pour les développeurs, le point pratique à retenir est que la pile de modèles ouverts mûrit sur deux fronts à la fois : la capacité, alors que les modèles de taille moyenne comblent les écarts avec les produits phares dans les tâches quotidiennes, et le service économique, alors que les fournisseurs d'inférences spécialisés rivalisent sur la vitesse brute. Qwen 3.8 27B sur Cerebras est un point de données pour les deux tendances : un modèle ouvert de génération actuelle servi à des vitesses qui étaient exotiques il y a un an, sur du matériel spécialement conçu pour le travail.

Les développeurs évaluant la plate-forme doivent comparer leurs propres charges de travail : les vitesses publiées sont des chiffres catalogue, le débit réel dépend de la longueur des invites, de la concurrence et de la configuration, et les limites de débit de l'offre gratuite se lieront avant sa vitesse.

Gardez une longueur d'avance sur l'IA

Chaque version de modèle, mise à jour de la plateforme d'inférence et lancement de l'outil de développement, suivie au fur et à mesure — lire plus d'actualités sur l'IA →