Qwen 3.8 27B Sasa Inaendeshwa kwa Takribani Tokeni 1,500 kwa Sekunde kwenye Maelekezo ya Cerebras

Cerebras imeongeza Qwen 3.8 27B kwenye miisho ya umma ya jukwaa lake la Uelekezaji wa Cerebras, ambapo modeli ya uzani huria inaendesha takriban tokeni 1,500 kwa sekunde, kulingana na hati za orodha ya modeli ya kampuni. Uorodheshaji huu unafanya mojawapo ya familia za mfano huria zinazotumika sana za Alibaba kupatikana kwa kasi inayolingana na huduma ya kawaida inayopangishwa na GPU.

Tangazo hilo lilivutia usikivu wa mara moja kutoka kwa wasanidi programu: hadithi ilikusanya zaidi ya pointi 600 kwenye Habari za Hacker ndani ya siku moja, kiwango cha kuvutia kinachoakisi jinsi mahitaji ya haraka na ya bei nafuu yamekuwa. Kwa mtazamo mpana wa soko la makisio, dawati la habari zinazochipuka za AI hufuata kila sasisho kuu la mfumo linapotua.

Vipimo kwenye Katalogi

Hati za Per Cerebras, Qwen 3.8 27B hubeba vigezo bilioni 27 na inasaidia tokeni 64K za muktadha kwenye kiwango cha bure na 128K kwenye viwango vya kulipwa, vinavyotumia takriban tokeni 1,500 kwa sekunde. Inakaa kando ya modeli ya uzani wa OpenAI ya GPT-OSS 120B, ambayo katalogi hiyo hiyo inaorodhesha kwa takriban tokeni 3,000 kwa sekunde ikiwa na muktadha wa 65K kwenye kiwango cha bure na 131K kwa viwango vya kulipwa.

Aina zote mbili zinapatikana kwa majaribio ya bila malipo ya Cerebras na viwango vya kulipa kadri unavyoenda, kulingana na viwango vya viwango. Wateja wanaohitaji uwezo uliohifadhiwa, matokeo ya juu zaidi au SLA za uzalishaji zinaelekezwa kwa toleo la kampuni la Dedicated Endpoints, ambalo hati pia huorodhesha kama njia ya familia za miundo ya ziada zaidi ya hizo mbili kwenye miisho ya umma.

Madirisha ya muktadha yanastahili kuzingatiwa pamoja na takwimu za kasi. Tokeni elfu sitini na nne kwenye kiwango cha bure - na 128,000 zikilipwa - zinatosha kuhifadhi msingi wa nambari, hati ndefu au nakala za wakala zilizopanuliwa kwenye kumbukumbu mara moja, ambayo ni muhimu kwa mzigo kamili wa kazi ambapo kusimbua haraka hulipa. Hati za Cerebras pia zinajumuisha mwongozo wa uoanifu wa OpenAI, kupunguza gharama ya kubadili kwa timu ambazo misimbo iliyopo tayari inalenga OpenAI SDK: kimsingi, kuelekeza mteja aliyepo kwenye sehemu ya mwisho ya Cerebras ni mabadiliko ya usanidi badala ya kuandika upya.

Miundo Isiyokatwa, Mfinyazo Uwazi

Jambo moja linalofaa kuzingatiwa katika nyaraka ni ufichuaji wa Cerebras wa jinsi inavyoshughulikia mgandamizo wa mfano. Kampuni hiyo inasema kwamba miundo yote kwenye sehemu zake za mwisho za umma ni matoleo asili, ambayo hayajakatwa, na kwamba hutumia ukadiriaji wa uzani pekee wakati wa kuhifadhi ili kuhifadhi ubora. Safu nyeti hukaa katika usahihi kamili, uwezeshaji, umakini na akiba ya KV hubaki bila kipimo, na upunguzaji wa idadi hutokea kwa kuruka.

Cerebras pia hufichua utafiti wake katika mbinu za kupogoa kama vile REAP (Kupogoa kwa Mtaalamu wa Uzito wa Kipanga): vibadala vilivyopogolewa vinashirikiwa na jumuiya ya utafiti kwenye Hugging Face lakini hazitumiki kupitia API ya umma. Kwa wasanidi programu wanaochagua mahali pa kuendesha miundo iliyo wazi, uwazi huo kuhusu kile hasa kinachotolewa ni wazi isivyo kawaida.

Kwa nini kasi ya ishara ni muhimu

Nambari za upitishaji kama hizi ni muhimu zaidi kwa mzigo wa kazi wa mawakala na usimbaji. Programu zinazofuatana na mamia ya simu za modeli - mawakala wa kusimba, utiririshaji kazi unaojitegemea, wasaidizi wa wakati halisi - huzidisha muda wa kusubiri wa tokeni kwa kila hatua, kwa hivyo tofauti kati ya tokeni 50 na 1,500 kwa sekunde huchanganyika kuwa matumizi tofauti ya ubora. Programu shirikishi zinazotiririsha ukamilisho mrefu hunufaika zaidi kwa kuonekana.

Biashara ni wigo. Muundo wa kigezo cha bilioni 27 hautalingana na mifumo ya mipaka kwenye kazi ngumu zaidi za hoja, na hati za Cerebras huelekeza mzigo mzito wa uzalishaji kuelekea uwezo maalum. Lakini kwa msingi mkubwa wa kati wa kazi ambapo mifano ya wazi ya ukubwa wa kati tayari ni nzuri vya kutosha - muhtasari, uainishaji, matumizi ya zana, uhariri wa msimbo - kasi inakuwa kitofautishi.

Pia kuna vipimo vya bei ambavyo watengenezaji watapima. Miundo ya mwisho ya umma inaweza kutumika katika jaribio lisilolipishwa kabla ya kujitolea, jambo ambalo hufanya ulinganishaji dhidi ya mzigo wa kazi wa timu yenyewe bila msuguano - njia panda ya kimakusudi ambayo inatofautiana na mikataba ya biashara inayohitaji mazungumzo ya mauzo kabla tokeni ya kwanza kuwasilishwa. Vikomo vya viwango vilivyoandikwa ni kikwazo cha kutazama: ufikiaji wa kiwango cha bure upo ili kudhibitisha kasi, sio kuendesha trafiki ya uzalishaji.

Kunyoosha Shughuli kwa Miundo Huria

Nyongeza hutua wakati wa msongamano wa watu kwa uzani wazi wa AI. IFM ya maabara ya UAE imeanzisha hivi punde K2 Horizon, kundi lililounganishwa la miundo sita iliyofunguliwa kikamilifu, na Meta inaendelea kusisitiza familia yake ya Muse kwa usimbaji na matumizi ya mawakala. Wakati huo huo, mifumo ya ikolojia ya mifumo huria nchini Uchina inaendelea kusafirisha kwa kasi ambayo imebana mizunguko ya kutolewa katika tasnia nzima.

Kwa wasanidi programu, jambo la vitendo ni kwamba rafu ya miundo huria inakomaa kwa pande mbili mara moja: uwezo, kwani miundo ya ukubwa wa kati hufunga mapengo na alama zinazoongoza kwenye kazi za kila siku, na huduma za uchumi, kwani watoa huduma mahususi wa uelekezaji hushindana kwa kasi ghafi. Qwen 3.8 27B kwenye Cerebras ni sehemu ya data kwa mitindo yote miwili - mtindo wazi wa kizazi cha sasa unaotolewa kwa kasi ambayo ilikuwa ya kigeni mwaka mmoja uliopita, kwa madhumuni ya maunzi yaliyoundwa kwa kazi hiyo.

Wasanidi programu wanaokagua jukwaa wanapaswa kuanisha mizigo yao ya kazi: kasi zilizochapishwa ni takwimu za katalogi, utumaji wa ulimwengu halisi unategemea urefu wa papo hapo, upatanishi na usanidi, na viwango vya viwango vya bure vitafunga kabla ya kasi yake kufanya hivyo.

Kaa Mbele ya AI

Kila toleo la muundo, sasisho la jukwaa la makisio na uzinduzi wa zana ya wasanidi programu, hufuatiliwa jinsi inavyofanyika — soma habari zaidi za AI →