Qwen 3.8 27B rulează acum la aproximativ 1.500 de jetoane pe secundă pe inferența Cerebras

Cerebras a adăugat Qwen 3.8 27B la punctele finale publice ale platformei sale Cerebras Inference, unde modelul cu greutăți deschise rulează cu aproximativ 1.500 de jetoane pe secundă, conform documentației din catalogul de modele a companiei. Lista face ca una dintre cele mai utilizate familii de modele deschise de Alibaba să fie disponibilă la viteze care depășesc servirea tipică găzduită de GPU.

Anunțul a atras atenția imediată din partea dezvoltatorilor: povestea a adunat peste 600 de puncte pe Hacker News într-o zi, un nivel de tracțiune care reflectă cât de fierbinte a devenit cererea pentru inferențe rapide și ieftine. Pentru o vedere mai amplă a pieței de inferență, biroul știri de ultimă oră AI urmărește fiecare actualizare majoră a platformei pe măsură ce ajunge.

Specificațiile din catalog

Conform documentației Cerebras, Qwen 3.8 27B poartă 27 de miliarde de parametri și acceptă 64.000 de jetoane de context pe nivelul gratuit și 128.000 pe nivelurile plătite, rulând la aproximativ 1.500 de jetoane pe secundă. Se află alături de modelul OpenAI GPT-OSS 120B, pe care același catalog îl listează la aproximativ 3.000 de jetoane pe secundă, cu un context de 65K pe nivelul gratuit și 131K pe nivelurile plătite.

Ambele modele sunt disponibile la nivelurile de încercare gratuită și de plată pe măsură ale Cerebras, sub rezerva limitelor tarifelor. Clienții care au nevoie de capacitate rezervată, de producție mai mare sau de SLA-uri de producție sunt direcționați către oferta de puncte finale dedicate a companiei, pe care documentația o listează, de asemenea, ca traseu către familii de modele suplimentare dincolo de cele două pe punctele finale publice.

Ferestrele de context merită atenție alături de cifrele de viteză. Șaizeci și patru de mii de jetoane la nivelul gratuit - și 128.000 la plată - sunt suficiente pentru a păstra în memorie baze de coduri considerabile, documente lungi sau transcrieri extinse de agenți simultan, ceea ce contează pentru sarcinile exacte în care decodarea rapidă dă roade. Documentația Cerebras include, de asemenea, un ghid de compatibilitate OpenAI, scăzând costul de schimbare pentru echipele al căror cod existent vizează deja OpenAI SDK: în principiu, îndreptarea unui client existent către un punct final Cerebras este mai degrabă o schimbare de configurare decât o rescrie.

Modele netăiate, compresie transparentă

Un detaliu care merită remarcat în documentație este dezvăluirea de către Cerebras a modului în care gestionează compresia modelului. Compania afirmă că toate modelele de pe terminalele sale publice sunt versiuni originale, netăiate și că folosește cuantificare selectivă numai în funcție de greutate doar în timpul depozitării pentru a păstra calitatea. Straturile sensibile rămân la precizie deplină, activările, atenția și memoria cache KV rămân necuantificate, iar decuantizarea are loc din mers.

Cerebras dezvăluie, de asemenea, cercetările sale în tehnicile de tăiere, cum ar fi REAP (Router-weighted Expert Activation Pruning): variantele tăiate sunt partajate comunității de cercetare pe Hugging Face, dar nu sunt furnizate prin API-ul public. Pentru dezvoltatorii care aleg unde să ruleze modele deschise, acea transparență cu privire la ce anume este servit este neobișnuit de explicită.

De ce este importantă viteza jetoanelor

Numerele de debit ca acestea contează cel mai mult pentru sarcinile de lucru agentice și de codare. Aplicațiile care înlănțuiesc sute de apeluri model — agenți de codificare, fluxuri de lucru autonome, asistenți în timp real — multiplică latența pe token la fiecare pas, astfel încât diferența dintre 50 și 1.500 de jetoane pe secundă se transformă într-o experiență diferită calitativ. Aplicațiile interactive care transmit în flux completări lungi beneficiază cel mai vizibil.

Compensația este domeniul de aplicare. Un model cu 27 de miliarde de parametri nu se va potrivi cu sistemele de frontieră pentru cele mai grele sarcini de raționament, iar documentele proprii Cerebras orientează sarcinile grele de producție către o capacitate dedicată. Dar pentru mediul mare de sarcini în care modelele deschise de dimensiuni medii sunt deja suficient de bune - rezumare, clasificare, utilizarea instrumentelor, editarea codului - viteza devine factorul de diferențiere.

Există, de asemenea, o dimensiune de preț pe care dezvoltatorii o vor cântări. Modelele de puncte finale publice sunt utilizabile într-o încercare gratuită înainte de orice angajament, ceea ce face ca evaluarea comparativă a sarcinii de lucru a unei echipe să fie în esență fără fricțiuni - o rampă de acces deliberată care contrastează cu contractele de întreprindere care necesită conversații de vânzare înainte de a primi primul simbol. Limitele de rata documentate sunt constrângerile de urmărit: accesul la nivel gratuit există pentru a dovedi viteza, nu pentru a rula traficul de producție.

O întindere ocupată pentru modelele deschise

Adăugarea aterizează în timpul unei întinderi aglomerate pentru IA cu greutăți deschise. Laboratorul IFM din Emiratele Arabe Unite tocmai a introdus K2 Horizon, o flotă conectată de șase modele complet deschise, iar Meta continuă să-și repete familia Muse pentru codificare și utilizare agentică. Între timp, ecosistemele de model deschis din China mențin transportul într-un ritm care a comprimat ciclurile de lansare în întreaga industrie.

Pentru dezvoltatori, concluzia practică este că stiva de modele deschise se maturizează pe două fronturi simultan: capacitatea, deoarece modelele de dimensiuni medii îndepărtează decalajele cu cele mai mari în sarcinile de zi cu zi și slujba economiei, deoarece furnizorii de inferențe specializați concurează pe viteza brută. Qwen 3.8 27B pe Cerebras este un punct de date pentru ambele tendințe – un model deschis de generație actuală, servit la viteze exotice în urmă cu un an, pe hardware special conceput pentru această activitate.

Dezvoltatorii care evaluează platforma ar trebui să-și analizeze propriile sarcini de lucru: vitezele publicate sunt cifre de catalog, debitul real depinde de lungimile prompte, concurența și configurația, iar limitele ratei nivelului gratuit se vor lega înainte de viteza acestuia.

Rămâi înaintea AI

Fiecare lansare de model, actualizare a platformei de inferență și lansare a instrumentului pentru dezvoltatori, urmărite pe măsură ce se întâmplă — citește mai multe știri AI →