Cerebras wis nerbitake rincian teknik rinci babagan carane nyebarake model AI trilyun-parameter ing hardware skala wafer - tampilan umum sing langka ing pipa ing mburi inferensi ultrafast kanggo model sing bobote mung mbutuhake memori terabyte.
Kiriman kasebut, ditulis dening Sarah Chieng lan diterbitake ing blog Cerebras tanggal 22 Oktober 2026, narik perhatian maneh ing akhir minggu sawise tekan kaca ngarep Hacker News. Pitakonan utama iku prasaja: siji wafer Cerebras WSE-3T nduweni memori on-chip 44 GB, nanging model wates triliun parameter mbutuhake terabyte mung kanggo nyimpen bobote. Kepiye carane nyepetake jurang kasebut? For more context on this story, see our ongoing AI trends.
Kenapa Model Triliun-Parameter Break Hardware Normal
Jawaban kasebut diwiwiti kanthi bebener sing ora nyenengake kanggo akselerator konvensional: kanthi presisi lengkap, model kanthi telung triliun paramèter ora bisa pas ing memori chip siji ing pasar. Kluster GPU ngatasi iki kanthi misahake model ing pirang-pirang piranti lan terus-terusan ngirim bobot lan aktivasi liwat interkoneksi kacepetan dhuwur - bagean gedhe kenapa inferensi ing model gedhe larang lan alon.
Cerebras njupuk pendekatan sing beda. Kripik ukuran wafer sawijining Pack jumlah gedhe tenan saka on-chip SRAM - 44 GB saben WSE-3T wafer - kang tegese goal perusahaan kanggo tetep bobot manggon ing chip, ngendi akses memori dramatically luwih cepet saka sembarang link mati-chip.
Perusahaan kasebut ujar manawa arsitektur iki ngidini model multi-triliun-parameter kanthi 1,000 nganti 2,000+ token per detik.
Kimi K3 minangka Tuladha Digarap
Kanggo nggawe panjelasan konkrit, Cerebras mlaku liwat deploying Kimi K3, model open-source karo kira-kira 3 triliun paramèter. Model kasebut nggunakake arsitektur hibrida: 69 lapisan perhatian linier lan 24 lapisan sing padhet.
Miturut asil benchmark, blog kasebut ujar Kimi K3 skor 88,3% ing Terminal-Bench 2.1 - mung ing mburi GPT-5.6 Sol 88.8% - lan 91.2% ing BrowseComp, luwih saka GPT-5.6 Sol 90.4%. Nomer kasebut, ujare Cerebras, nuduhake coding tingkat perbatasan lan kemampuan agenik ing model bobot mbukak, sing ndadekake target demonstrasi sing apik.
Conto sing dianggo nganggep ukuran panyuwunan rata-rata 256.000-token, kuantisasi bobot 4-bit (cocog karo implementasine Hugging Face) lan cache KV 8-bit.
Ngiris Model 3T dadi 44 GB
Aritmetika minangka bagéan sing paling madhangi saka kiriman kasebut. Ing 4 bit saben parameter, 3 triliun parameter Kimi K3 kira-kira 1,5 TB bobot mentah. Dibagi ing 93 lapisan model, saben lapisan mbutuhake udakara 16 GB.
Sing cocog karo 44 GB sing kasedhiya ing saben wafer, nanging rong jinis lapisan kasebut beda-beda:
- Lapisan kandhel perlu kamar kanggo cache KV, amarga manungsa waé lengkap nyimpen tombol lan nilai kanggo saben token ing saben request aktif. Cerebras nyeleh siji lapisan kandhel saben wafer, ninggalake SRAM isih kanggo cache sing.
- Lapisan manungsa waé linier tetep mung cilik, negara ukuran tetep saben request preduli saka dawa konteks, supaya ora cache KV dibutuhake. Sing ninggalake kamar kanggo rong lapisan linear saben wafer.
Kanthi 69 lapisan linear lan 24 lapisan padhet, model map kanggo 35 wafer kanggo lapisan linear plus 24 wafer kanggo lapisan kandhel - 59 wafer total kanggo salinan siji saka Kimi K3.
Bobot Aja Obah - Mung Aktivasi
Gagasan tombol kapindho yaiku apa sing ditindakake Cerebras - lan ora - ngirim antarane 59 wafer kasebut. Perusahaan nglakokake model minangka pipa: sawise kompiler ngepetake lapisan menyang wilayah wafer, runtime nyathet token path sing dijupuk saka wafer menyang wafer.
Sing penting, amarga saben lapisan pas karo siji wafer (utawa loro, kanggo lapisan linear), bobot model ora kudu dipindhah. Lapisan ora dipérang dadi wafer. Mung aktivasi nyabrang saka siji wafer menyang sabanjure, digawa liwat RDMA ing Ethernet standar kanthi wektu hop kira-kira 2 mikrodetik.
Titik desain kasebut nerangake akeh babagan klaim kinerja Cerebras. Ing panyebaran GPU, obah bobot utawa negara sharding antarane piranti asring bottleneck; ing hardware Cerebras, interconnect mung tau nindakake tensor aktivasi luwih cilik.
Napa Penting kanggo Pasar Inferensi
Kiriman kasebut sebagian minangka panjelasan teknik lan sebagian minangka argumentasi: SRAM skala wafer minangka cara sing bisa dipercaya kanggo ngladeni model sing akeh banget sing dikirim dening industri. Nalika rilis bobot mbukak kaya Kimi K3 nyedhaki telung triliun paramèter, tembok memori dadi kendala sing nemtokake ekonomi inferensi, lan pendekatan sing tetep bobot tetep duwe kauntungan struktural ing kacepetan saben token.
Iku uga underlines carane akeh gumantung ing kuantisasi. Panyebaran kabeh gumantung ing bobot 4-bit lan cache KV 8-bit - teknik sing nyuda jejak memori kanthi kira-kira 75% utawa luwih dibandhingake karo garis dasar 16-bit nalika njaga kinerja pathokan. Tanpa wong-wong mau, malah 59 wafer ora bakal cukup.
Trade-offs uga nyata. Sistem 59-wafer minangka mesin gedhe, khusus, lan pendekatan pipa nganggep panjaluk bisa digabungake ing sistem kanthi efisien. Blog Cerebras alamat concurrency minangka salah siji saka topik inti sawijining, nyatet sing arsitektur dirancang kanggo nangani nomer dhuwur panjalukan simultaneous.
Saiki, kiriman kasebut minangka salah sawijining panjelasan umum sing paling jelas babagan apa sing dibutuhake kanggo ngladeni model mbukak skala wates kanthi kecepatan token papat angka - lan tandha yen obrolan babagan hardware inferensi wis owah saka chip menyang sistem wafer kabeh.
Sumber: Blog Cerebras, "Carane kita nyebarake model perbatasan Trillion-parameter ing Cerebras" (22 Oktober 2026).---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
