Cerebras telah menerbitkan rincian teknik terperinci tentang bagaimana mereka menerapkan model AI dengan triliunan parameter pada perangkat keras berskala wafernya – sebuah pandangan publik yang jarang mengenai pipa di balik inferensi ultracepat untuk model yang bobotnya saja memerlukan memori terabyte.
Postingan tersebut, ditulis oleh Sarah Chieng dan dipublikasikan di blog Cerebras pada 22 Oktober 2026, menarik perhatian baru pada akhir pekan setelah mencapai halaman depan Hacker News. Pertanyaan utamanya sederhana: satu wafer Cerebras WSE-3T memiliki memori on-chip sebesar 44 GB, namun model frontier triliunan parameter memerlukan terabyte hanya untuk menyimpan bobotnya. Bagaimana Anda menjembatani kesenjangan tersebut? For more context on this story, see our ongoing latest AI developments.
Mengapa Model Triliun Parameter Merusak Perangkat Keras Normal
Jawabannya dimulai dengan kenyataan yang tidak menyenangkan bagi akselerator konvensional: dengan presisi penuh, model dengan tiga triliun parameter tidak dapat masuk ke dalam memori satu chip pun yang ada di pasar. Cluster GPU mengatasi masalah ini dengan membagi model ke banyak perangkat dan terus mengirimkan bobot dan aktivasi melalui interkoneksi berkecepatan tinggi — sebagian besar alasan mengapa inferensi pada model besar mahal dan lambat.
Cerebras mengambil pendekatan yang berbeda. Chip skala wafernya mengemas SRAM on-chip dalam jumlah besar — 44 GB per wafer WSE-3T — yang berarti tujuan perusahaan adalah menjaga bobot tetap berada di dalam chip, di mana akses memori jauh lebih cepat daripada tautan di luar chip.
Perusahaan mengatakan arsitektur ini memungkinkannya menjalankan model multi-triliun parameter dengan 1,000 hingga 2,000+ token per detik.
Kimi K3 Sebagai Contoh Karya
Untuk memperjelas penjelasannya, Cerebras menerapkan Kimi K3, model sumber terbuka dengan sekitar 3 triliun parameter. Model ini menggunakan arsitektur hibrid: 69 lapisan perhatian linier dan 24 lapisan padat.
Mengutip hasil benchmark, blog tersebut mengatakan Kimi K3 mendapat skor 88,3% di Terminal-Bench 2.1 — tepat di belakang GPT-5.6 Sol yang 88,8% — dan 91,2% di BrowserComp, lebih tinggi dari GPT-5.6 Sol yang 90,4%. Angka-angka tersebut, menurut Cerebras, menunjukkan pengkodean tingkat terdepan dan kemampuan agen dalam model bobot terbuka, yang menjadikannya target demonstrasi yang baik.
Contoh yang berhasil mengasumsikan ukuran permintaan rata-rata 256.000 token, kuantisasi bobot 4-bit (cocok dengan implementasi Hugging Face) dan cache KV 8-bit.
Mengiris Model 3T Menjadi Potongan 44 GB
Aritmatika adalah bagian postingan yang paling mencerahkan. Dengan 4 bit per parameter, 3 triliun parameter Kimi K3 berjumlah sekitar 1,5 TB bobot mentah. Terbagi dalam 93 lapisan model, setiap lapisan memerlukan sekitar 16 GB.
Ini cocok dengan 44 GB yang tersedia di setiap wafer, tetapi kedua jenis lapisan tersebut terbagi secara berbeda:
- Lapisan padat memerlukan ruang untuk cache KV, karena perhatian penuh menyimpan kunci dan nilai untuk setiap token di setiap permintaan aktif. Cerebras menempatkan satu lapisan padat per wafer, menyisakan SRAM yang tersisa untuk cache tersebut.
- Lapisan perhatian linier hanya menyimpan status kecil dengan ukuran tetap per permintaan, berapa pun panjang konteksnya, sehingga cache KV tidak diperlukan. Itu menyisakan ruang untuk dua lapisan linier per wafer.
Dengan 69 lapisan linier dan 24 lapisan padat, model ini memetakan 35 wafer untuk lapisan linier ditambah 24 wafer untuk lapisan padat — total 59 wafer untuk satu salinan Kimi K3.
Beban Tidak Pernah Bergerak — Hanya Aktivasi yang Bergerak
Ide kunci kedua adalah apa yang dilakukan dan tidak dilakukan Cerebras di antara 59 wafer tersebut. Perusahaan mengeksekusi model sebagai saluran pipa: setelah kompiler memetakan lapisan ke wilayah wafer, waktu proses memetakan jalur yang diambil token dari wafer ke wafer.
Yang terpenting, karena setiap lapisan muat seluruhnya pada satu wafer (atau dua, untuk lapisan linier), bobot model tidak perlu dipindahkan. Lapisan tidak terbagi menjadi wafer. Hanya aktivasi yang berpindah dari satu wafer ke wafer berikutnya, dilakukan melalui RDMA pada Ethernet standar dengan waktu lompatan sekitar 2 mikrodetik.
Poin desain tersebut menjelaskan banyak hal tentang klaim kinerja Cerebras. Dalam penerapan GPU, perpindahan bobot atau status sharding antar perangkat sering kali menjadi hambatan; pada perangkat keras Cerebra, interkoneksi hanya membawa tensor aktivasi yang jauh lebih kecil.
Mengapa Penting untuk Pasar Inferensi
Postingan ini sebagian merupakan penjelasan teknik dan sebagian lagi merupakan argumen: bahwa SRAM skala wafer adalah cara yang kredibel untuk melayani model-model yang semakin besar yang dikirimkan oleh industri. Ketika rilis bobot terbuka seperti Kimi K3 mendekati tiga triliun parameter, dinding memori menjadi batasan utama dalam ekonomi inferensi, dan pendekatan yang menjaga bobot tetap memiliki keunggulan struktural pada kecepatan per token.
Hal ini juga menggarisbawahi seberapa besar ketergantungan pada kuantisasi. Keseluruhan penerapan bergantung pada bobot 4-bit dan cache KV 8-bit — teknik yang mengurangi jejak memori sekitar 75% atau lebih dibandingkan dengan baseline 16-bit sambil mempertahankan kinerja benchmark. Tanpa mereka, 59 wafer saja tidak akan cukup.
Pertukarannya juga nyata. Sistem 59-wafer adalah mesin besar dan terspesialisasi, dan pendekatan saluran pipa mengasumsikan permintaan dapat dikelompokkan ke seluruh sistem secara efisien. Blog Cerebras membahas konkurensi sebagai salah satu topik intinya, mencatat bahwa arsitekturnya dirancang untuk menangani permintaan simultan dalam jumlah besar.
Untuk saat ini, postingan tersebut merupakan salah satu penjelasan publik yang paling jelas tentang apa yang sebenarnya diperlukan untuk melayani model terbuka berskala perbatasan dengan kecepatan token empat digit — dan merupakan tanda bahwa pembicaraan tentang perangkat keras inferensi sedang beralih dari chip ke sistem wafer utuh.
Sumber: Blog Cerebras, “Bagaimana kami menerapkan model perbatasan Triliun-parameter di Cerebras” (22 Oktober 2026).---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
