Qwen 3.8 27B Kini Berjalan pada Kira-kira 1,500 Token sesaat pada Inferens Cerebras

Cerebras telah menambah Qwen 3.8 27B pada titik akhir awam platform Inferens Cerebrasnya, di mana model wajaran terbuka berjalan pada kira-kira 1,500 token sesaat, menurut dokumentasi katalog model syarikat. Penyenaraian itu menjadikan salah satu keluarga model terbuka yang paling banyak digunakan Alibaba tersedia pada kelajuan yang lebih rendah daripada penyajian tipikal yang dihoskan oleh GPU.

Pengumuman itu menarik perhatian segera daripada pembangun: cerita itu mengumpulkan lebih daripada 600 mata di Berita Hacker dalam masa sehari, tahap daya tarikan yang mencerminkan betapa permintaan hangat untuk kesimpulan yang cepat dan murah telah menjadi. Untuk paparan yang lebih luas tentang pasaran inferens, meja berita terbaharu AI mengikuti setiap kemas kini platform utama apabila ia tiba.

Spesifikasi pada Katalog

Mengikut dokumentasi Cerebras, Qwen 3.8 27B membawa 27 bilion parameter dan menyokong 64K token konteks pada peringkat percuma dan 128K pada peringkat berbayar, berjalan pada kira-kira 1,500 token sesaat. Ia terletak di samping model OpenAI GPT-OSS 120B, yang senarai katalog yang sama pada kira-kira 3,000 token sesaat dengan konteks 65K pada peringkat percuma dan 131K pada peringkat berbayar.

Kedua-dua model tersedia pada peringkat percubaan percuma dan bayar semasa Cerebras, tertakluk pada had kadar. Pelanggan yang memerlukan kapasiti rizab, daya pemprosesan yang lebih tinggi atau SLA pengeluaran diarahkan kepada tawaran Titik Akhir Khusus syarikat, yang turut disenaraikan oleh dokumentasi sebagai laluan kepada keluarga model tambahan melangkaui kedua-duanya pada titik akhir awam.

Tingkap konteks patut diberi perhatian bersama angka kelajuan. Enam puluh empat ribu token pada peringkat percuma — dan 128,000 berbayar — sudah cukup untuk menyimpan pangkalan kod yang besar, dokumen panjang atau transkrip ejen lanjutan dalam ingatan sekaligus, yang penting untuk beban kerja yang tepat di mana penyahkodan pantas membuahkan hasil. Dokumentasi Cerebras juga termasuk panduan keserasian OpenAI, mengurangkan kos penukaran untuk pasukan yang kod sedia ada telah menyasarkan OpenAI SDK: pada dasarnya, menunjuk klien sedia ada pada titik akhir Cerebras ialah perubahan konfigurasi dan bukannya penulisan semula.

Model Tidak Dicantas, Mampatan Telus

Satu perincian yang perlu diberi perhatian dalam dokumentasi ialah pendedahan Cerebras tentang cara ia mengendalikan pemampatan model. Syarikat itu menyatakan bahawa semua model pada titik akhir awamnya adalah versi asli, tidak dipangkas, dan ia menggunakan pengkuantitian berat terpilih sahaja semasa penyimpanan untuk mengekalkan kualiti. Lapisan sensitif kekal pada ketepatan penuh, pengaktifan, perhatian dan cache KV kekal tidak terkuantisasi, dan penyahkuansian berlaku dengan cepat.

Cerebras juga mendedahkan penyelidikannya ke dalam teknik pemangkasan seperti REAP (Router-weighted Expert Activation Pruning): varian pemangkasan dikongsi dengan komuniti penyelidikan di Hugging Face tetapi tidak disampaikan melalui API awam. Bagi pembangun yang memilih tempat untuk menjalankan model terbuka, ketelusan tentang perkara yang sebenarnya disampaikan adalah luar biasa eksplisit.

Mengapa Kelajuan Token Penting

Nombor throughput seperti ini paling penting untuk beban kerja agen dan pengekodan. Aplikasi yang merantai ratusan panggilan model — ejen pengekodan, aliran kerja autonomi, pembantu masa nyata — mendarabkan kependaman setiap token merentas setiap langkah, jadi perbezaan antara 50 dan 1,500 token sesaat digabungkan menjadi pengalaman yang berbeza secara kualitatif. Aplikasi interaktif yang menstrim penyiapan lama mendapat manfaat yang paling ketara.

Trade-off adalah skop. Model 27 bilion parameter tidak akan sepadan dengan sistem sempadan pada tugas penaakulan yang paling sukar, dan dokumen Cerebras sendiri mengarahkan beban kerja pengeluaran yang berat ke arah kapasiti khusus. Tetapi untuk bahagian tengah tugas yang besar di mana model terbuka bersaiz sederhana sudah cukup baik — ringkasan, klasifikasi, penggunaan alat, penyuntingan kod — kelajuan menjadi pembeza.

Terdapat juga pemaju dimensi harga akan menimbang. Model titik akhir awam boleh digunakan pada percubaan percuma sebelum sebarang komitmen, yang menjadikan penanda aras terhadap beban kerja pasukan sendiri pada asasnya bebas geseran — tanjakan yang disengajakan yang berbeza dengan kontrak perusahaan yang memerlukan perbualan jualan sebelum token pertama disampaikan. Had kadar yang didokumenkan adalah kekangan untuk diperhatikan: akses peringkat percuma wujud untuk membuktikan kelajuan, bukan untuk menjalankan trafik pengeluaran.

Peregangan Sibuk untuk Model Terbuka

Penambahan mendarat semasa regangan sesak untuk AI wajaran terbuka. Makmal IFM yang berpangkalan di UAE baru sahaja memperkenalkan K2 Horizon, kumpulan enam model terbuka sepenuhnya yang bersambung, dan Meta terus mengulangi keluarga Musenya untuk pengekodan dan penggunaan agen. Sementara itu, ekosistem model terbuka di China mengekalkan penghantaran pada kadar yang telah memampatkan kitaran keluaran di seluruh industri.

Bagi pembangun, pengambilan praktikal ialah tindanan model terbuka semakin matang pada dua bahagian sekali gus: keupayaan, kerana model bersaiz sederhana menutup jurang dengan perdana pada tugas harian, dan melayani ekonomi, kerana penyedia inferens khusus bersaing pada kelajuan mentah. Qwen 3.8 27B pada Cerebras ialah titik data untuk kedua-dua arah aliran — model terbuka generasi semasa yang disajikan pada kelajuan yang eksotik setahun yang lalu, pada perkakasan yang dibina khas untuk tugas itu.

Pembangun yang menilai platform harus menanda aras beban kerja mereka sendiri: kelajuan yang diterbitkan ialah angka katalog, daya pemprosesan dunia sebenar bergantung pada panjang segera, konkurensi dan konfigurasi, dan had kadar peringkat percuma akan terikat sebelum kelajuannya berlaku.

Kekal Mendahului AI

Setiap keluaran model, kemas kini platform inferens dan pelancaran alat pembangun, dijejaki semasa ia berlaku — baca lebih lanjut berita AI →