Qwen 3.8 27B nyní běží na zhruba 1 500 tokenech za sekundu na Cerebras Inference

Společnost Cerebras přidala Qwen 3.8 27B k veřejným koncovým bodům své platformy Cerebras Inference, kde model s otevřenými váhami běží rychlostí zhruba 1 500 tokenů za sekundu, podle dokumentace katalogu modelů společnosti. Díky tomuto seznamu je jedna z nejrozšířenějších skupin otevřených modelů Alibaba dostupná při rychlostech, které převyšují typické služby hostované GPU.

Oznámení přitáhlo okamžitou pozornost vývojářů: příběh shromáždil více než 600 bodů na Hacker News během jednoho dne, což je úroveň trakce, která odráží, jak horká poptávka po rychlém a levném vyvozování se stala. Chcete-li získat širší pohled na trh odvození, přelomové zprávy o AI sledují každou hlavní aktualizaci platformy, jakmile přistane.

Specifikace v katalogu

Podle dokumentace Cerebras nese Qwen 3.8 27B 27 miliard parametrů a podporuje 64 000 tokenů kontextu na bezplatné úrovni a 128 000 na placených úrovních, přičemž běží rychlostí přibližně 1 500 tokenů za sekundu. Sedí vedle otevřeného modelu GPT-OSS 120B OpenAI, který stejný katalog uvádí zhruba 3 000 tokenů za sekundu s 65 000 kontextem na bezplatné úrovni a 131 000 na placených úrovních.

Oba modely jsou k dispozici na bezplatné zkušební verzi Cerebras a na úrovních průběžných plateb, na které se vztahují limity sazeb. Zákazníci, kteří potřebují vyhrazenou kapacitu, vyšší propustnost nebo produkční smlouvy SLA, jsou přesměrováni na nabídku společnosti Dedicated Endpoints, která je v dokumentaci také uvedena jako cesta k dalším modelovým rodinám nad rámec dvou veřejných koncových bodů.

Kontextová okna si zaslouží pozornost vedle čísel rychlosti. Šedesát čtyři tisíc tokenů na bezplatné úrovni – a 128 000 na placené – stačí k uložení rozsáhlých kódových bází, dlouhých dokumentů nebo přepisů rozšířených agentů v paměti najednou, což je důležité pro přesné pracovní zatížení, kde se rychlé dekódování vyplatí. Dokumentace Cerebras také obsahuje průvodce kompatibilitou s OpenAI, což snižuje náklady na přechod pro týmy, jejichž stávající kód se již zaměřuje na OpenAI SDK: v zásadě je nasměrování stávajícího klienta na koncový bod Cerebras spíše změnou konfigurace než přepisem.

Neořezané modely, průhledná komprese

Jeden detail, který stojí za zmínku v dokumentaci, je odhalení Cerebras o tom, jak zpracovává kompresi modelu. Společnost uvádí, že všechny modely na jejích veřejných koncových bodech jsou originální, neořezané verze a že pro zachování kvality používá pouze selektivní kvantování hmotnosti pouze během skladování. Citlivé vrstvy zůstávají v plné přesnosti, aktivace, pozornost a mezipaměť KV zůstávají nekvantizované a dekvantizace probíhá za běhu.

Cerebras také zveřejňuje svůj výzkum technik prořezávání, jako je REAP (Router-weighted Expert Activation Pruning): ořezané varianty jsou sdíleny s výzkumnou komunitou na Hugging Face, ale nejsou poskytovány prostřednictvím veřejného API. Pro vývojáře, kteří si vybírají, kde spouštět otevřené modely, je tato transparentnost ohledně toho, co přesně je poskytováno, neobvykle jasná.

Proč záleží na rychlosti tokenu

Čísla propustnosti, jako jsou tyto, jsou nejdůležitější pro úlohy agentů a kódování. Aplikace, které řetězí stovky modelových volání – kódovací agenti, autonomní pracovní postupy, asistenti v reálném čase – násobí latenci na token v každém kroku, takže rozdíl mezi 50 a 1 500 tokeny za sekundu se skládá z kvalitativně odlišného zážitku. Nejviditelněji profitují interaktivní aplikace, které streamují dlouhá dokončení.

Kompromisem je rozsah. Model s 27 miliardami parametrů nebude odpovídat hraničním systémům v nejtěžších úlohách uvažování a vlastní dokumenty Cerebras směřují velké produkční pracovní zatížení k vyhrazené kapacitě. Ale pro velkou střední cestu úloh, kde jsou středně velké otevřené modely již dostatečně dobré – sumarizace, klasifikace, použití nástrojů, úpravy kódu – se rychlost stává rozdílem.

K dispozici je také cena rozměr vývojáři zvážit. Veřejné modely koncových bodů jsou použitelné na bezplatnou zkušební verzi před jakýmkoli závazkem, díky čemuž je srovnávání s vlastním pracovním zatížením týmu v podstatě bez tření – záměrné rozběhnutí, které je v kontrastu s podnikovými smlouvami, které vyžadují prodejní rozhovory před doručením prvního tokenu. Omezení, které je třeba sledovat, jsou dokumentované limity rychlosti: existuje bezplatný přístup k prokázání rychlosti, nikoli k provozování produkčního provozu.

Rušný úsek pro otevřené modely

Přidání přistane během přeplněného úseku pro AI s otevřenými váhami. Laboratoř IFM se sídlem ve Spojených arabských emirátech právě představila K2 Horizon, propojenou flotilu šesti plně otevřených modelů, a Meta pokračuje v iteraci své rodiny Muse pro kódování a použití agentů. Mezitím ekosystémy s otevřeným modelem v Číně udržují dodávky tempem, které zkrátilo cykly vydávání v celém odvětví.

Pro vývojáře je praktickým poznatkem to, že sada otevřených modelů dozrává na dvou frontách současně: schopnosti, protože modely střední velikosti uzavírají mezery s vlajkovými loděmi v každodenních úkolech, a ekonomická služba, protože specializovaní poskytovatelé odvození soutěží o hrubou rychlost. Qwen 3.8 27B na Cerebras je datovým bodem pro oba trendy – otevřený model současné generace sloužil při rychlostech, které byly před rokem exotické, na hardwaru, který byl speciálně vytvořen pro tuto práci.

Vývojáři hodnotící platformu by měli porovnat své vlastní pracovní zátěže: publikované rychlosti jsou katalogové údaje, propustnost v reálném světě závisí na délce výzev, souběžnosti a konfiguraci a limity rychlosti na bezplatné úrovni se budou vázat dříve, než její rychlost.

Udržujte si náskok před umělou inteligencí

Každé vydání modelu, aktualizace inferenční platformy a spuštění vývojářského nástroje jsou průběžně sledovány – přečtěte si další zprávy o AI →