Cerebras telah menerbitkan pecahan kejuruteraan terperinci tentang cara ia menggunakan model AI trilion-parameter pada perkakasan skala wafernya — pandangan umum yang jarang berlaku pada paip di sebalik inferens ultra pantas untuk model yang beratnya sahaja memerlukan terabait memori.
Catatan itu, yang ditulis oleh Sarah Chieng dan diterbitkan di blog Cerebras pada 22 Oktober 2026, menarik perhatian baharu pada hujung minggu selepas mencapai muka depan Berita Hacker. Persoalan utamanya adalah mudah: wafer Cerebras WSE-3T tunggal mempunyai 44 GB memori pada cip, tetapi model sempadan trilion parameter memerlukan terabait hanya untuk menyimpan beratnya. Bagaimana anda merapatkan jurang itu? For more context on this story, see our ongoing artificial intelligence updates.
Mengapa Model Trilion-Parameter Memecahkan Perkakasan Biasa
Jawapannya bermula dengan kebenaran yang tidak selesa untuk pemecut konvensional: pada ketepatan penuh, model dengan tiga trilion parameter tidak boleh dimuatkan dalam ingatan mana-mana cip tunggal di pasaran. Kelompok GPU menyelesaikannya dengan membahagikan model pada banyak peranti dan sentiasa menghantar pemberat dan pengaktifan melalui sambungan berkelajuan tinggi — sebahagian besar mengapa inferens pada model besar adalah mahal dan perlahan.
Cerebras mengambil pendekatan yang berbeza. Cip skala wafernya membungkus sejumlah besar SRAM pada cip — 44 GB setiap wafer WSE-3T — yang bermaksud matlamat syarikat adalah untuk mengekalkan pemberat pada cip, di mana akses memori secara mendadak lebih pantas daripada mana-mana pautan luar cip.
Syarikat itu berkata seni bina ini membolehkannya menjalankan model berbilang trilion parameter pada 1,000 hingga 2,000+ token sesaat.
Kimi K3 sebagai Contoh Kerja
Untuk membuat penjelasan yang konkrit, Cerebras menggunakan Kimi K3, model sumber terbuka dengan kira-kira 3 trilion parameter. Model ini menggunakan seni bina hibrid: 69 lapisan perhatian linear dan 24 lapisan padat.
Memetik hasil penanda aras, blog itu mengatakan Kimi K3 mendapat 88.3% pada Terminal-Bench 2.1 — hanya di belakang GPT-5.6 Sol 88.8% — dan 91.2% pada BrowseComp, mendahului GPT-5.6 Sol 90.4%. Nombor tersebut, Cerebras berpendapat, menunjukkan pengekodan peringkat sempadan dan keupayaan agen dalam model wajaran terbuka, yang menjadikannya sasaran demonstrasi yang baik.
Contoh yang berfungsi mengandaikan saiz permintaan purata 256,000 token, pengkuantitian berat 4-bit (padanan dengan pelaksanaan Hugging Face) dan cache KV 8-bit.
Menghiris Model 3T Kepada Kepingan 44 GB
Aritmetik adalah bahagian yang paling menerangi jawatan. Pada 4 bit setiap parameter, 3 trilion parameter Kimi K3 berjumlah kira-kira 1.5 TB berat mentah. Dibahagikan pada 93 lapisan model, setiap lapisan memerlukan kira-kira 16 GB.
Itu sesuai dengan kemas ke dalam 44 GB yang tersedia pada setiap wafer, tetapi kedua-dua jenis lapisan membahagikan secara berbeza:
- Lapisan padat memerlukan ruang untuk cache KV, kerana perhatian penuh menyimpan kunci dan nilai untuk setiap token dalam setiap permintaan aktif. Cerebras meletakkan satu lapisan padat setiap wafer, meninggalkan baki SRAM untuk cache itu.
- Lapisan perhatian linear hanya mengekalkan keadaan saiz tetap yang kecil bagi setiap permintaan tanpa mengira panjang konteks, jadi tiada cache KV diperlukan. Itu meninggalkan ruang untuk dua lapisan linear setiap wafer.
Dengan 69 lapisan linear dan 24 lapisan padat, model ini memetakan kepada 35 wafer untuk lapisan linear ditambah 24 wafer untuk lapisan padat — 59 wafer secara keseluruhan untuk satu salinan Kimi K3.
Berat Tidak Pernah Bergerak — Hanya Pengaktifan
Idea utama kedua ialah apa yang Cerebras lakukan — dan tidak — hantar antara 59 wafer tersebut. Syarikat melaksanakan model sebagai saluran paip: selepas pengkompil memetakan lapisan ke kawasan wafer, carta masa jalan yang diambil oleh token laluan dari wafer ke wafer.
Yang penting, kerana setiap lapisan sesuai sepenuhnya pada satu wafer (atau dua, untuk lapisan linear), berat model tidak perlu bergerak. Lapisan tidak terbelah merentasi wafer. Hanya pengaktifan menyeberang dari satu wafer ke wafer seterusnya, dibawa ke atas RDMA pada Ethernet standard dengan masa lompatan kira-kira 2 mikrosaat.
Titik reka bentuk itu menerangkan banyak tentang tuntutan prestasi Cerebras. Dalam penggunaan GPU, pemindahan pemberat atau keadaan sharding antara peranti selalunya menjadi hambatan; pada perkakasan Cerebras, interkoneksi hanya pernah membawa tensor pengaktifan yang lebih kecil.
Mengapa Ia Penting untuk Pasaran Inferens
Siaran itu sebahagiannya adalah penerangan kejuruteraan dan sebahagian lagi hujah: SRAM berskala wafer ialah cara yang boleh dipercayai untuk melayani model yang semakin besar yang dihantar oleh industri. Apabila keluaran berat terbuka seperti Kimi K3 menghampiri tiga trilion parameter, dinding memori menjadi kekangan yang menentukan ekonomi inferens, dan pendekatan yang memastikan pemberat tidak bergerak mempunyai kelebihan struktur pada kelajuan per-token.
Ia juga menggariskan berapa banyak bergantung pada kuantisasi. Keseluruhan penggunaan bergantung pada pemberat 4-bit dan cache KV 8-bit — teknik yang mengurangkan jejak memori sebanyak kira-kira 75% atau lebih berbanding dengan garis dasar 16-bit sambil mengekalkan prestasi penanda aras. Tanpa mereka, walaupun 59 wafer tidak akan mencukupi.
Pertukaran adalah nyata juga. Sistem 59-wafer ialah mesin yang besar dan khusus, dan pendekatan saluran paip menganggap permintaan boleh dikumpulkan merentasi sistem dengan cekap. Blog Cerebras menangani konkurensi sebagai salah satu topik terasnya, dengan menyatakan bahawa seni bina direka untuk mengendalikan sejumlah besar permintaan serentak.
Buat masa ini, siaran itu berdiri sebagai salah satu penjelasan awam yang paling jelas tentang perkara yang sebenarnya diperlukan untuk menyediakan model terbuka skala sempadan pada kelajuan token empat angka - dan tanda bahawa perbualan tentang perkakasan inferens beralih daripada cip kepada sistem wafer keseluruhan.
Sumber: Blog Cerebras, "Cara kami menggunakan model sempadan Trilion parameter di Cerebras" (22 Oktober 2026).---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
