Unsloth, tim sumber terbuka di balik beberapa alat yang paling banyak digunakan untuk menjalankan dan menyempurnakan model bahasa besar secara lokal, telah merilis Dynamic 3.0, generasi ketiga dari metode kuantisasi untuk file model GGUF. Model pertama yang dikirimkan di bawah skema baru adalah kuantisasi Qwen3.8-27B, dan Unsloth mengklaim bahwa model tersebut memberikan akurasi 1 persen teratas yang lebih baik dari 10 persen pada ukuran file yang sama dibandingkan dengan penyedia kuantisasi lainnya.
Rilisan ini dengan cepat mencapai halaman depan Hacker News, tempat para penggemar model lokal membedah grafik benchmark. Model ini hadir di tengah daya tarik yang luar biasa untuk proyek ini: Unsloth mengatakan kuantisasi Qwen3.8 miliknya telah diunduh lebih dari 5,1 juta kali dalam lima hari setelah model tersebut dirilis. For more context on this story, see our ongoing latest AI developments.
Mengapa kualitas kuantisasi penting
Kuantisasi memperkecil ukuran file model dengan menyimpan bobotnya pada presisi yang lebih rendah, sehingga memungkinkan untuk menjalankan model besar pada GPU dan laptop konsumen. Yang selalu menjadi trade-off adalah akurasi: kuantisasi yang berlebihan akan menurunkan output sehingga tidak dapat dicapai oleh tolok ukur biasa. Untuk komunitas berkembang yang menjalankan model secara lokal — mulai dari pengembang yang menguji alur kerja agen hingga pengguna di wilayah dengan akses API cloud yang mahal — kualitas kuantitas secara efektif menentukan model mana yang dapat digunakan.
Dynamic 3.0 adalah jawaban Unsloth terhadap trade-off tersebut. Menurut dokumentasi tim, rilis baru ini "lebih menjaga kualitas model sekaligus menjaga ukuran yang sama, dengan hasil yang lebih kuat di seluruh metrik seperti Divergence-300 @32 dan KL Divergence."
Apa yang berubah di versi 3.0
Peningkatan metodologi ini bersifat terperinci dan tidak hanya untuk menarik perhatian. Unsloth mengatakan sekarang mereka menggunakan kumpulan data kalibrasi matriks penting dengan kualitas lebih tinggi yang diambil dari berbagai sumber, yang secara eksplisit disempurnakan untuk pengkodean agen, obrolan, dan kinerja multibahasa. Pemilihan lapisan — menentukan bagian mana dari model yang paling ditekan — telah ditingkatkan, dan teknik kuantisasi tambahan diperkenalkan untuk menjaga kualitas.
Khususnya, tim menekankan bahwa semuanya dilakukan melalui kuantisasi pasca-pelatihan: tidak ada pelatihan sadar kuantisasi dan tidak ada distilasi sadar kuantisasi. Kumpulan data kalibrasi itu sendiri tidak dilatih, dan file imatrix dirilis secara publik sehingga komunitas dapat mereproduksi pekerjaan atau membuat penyempurnaan di atasnya.
Tingkatan kuantitas tertentu menunjukkan dampak praktisnya. Kuantitas UD-Q2_K_XL, sebesar 9,83 GB, digambarkan sekitar 8 persen lebih akurat pada metrik 1 persen teratas dibandingkan opsi terbaik berikutnya pada ukuran tersebut. Dalam salah satu pengujian informal yang disoroti oleh Unsloth, quant tersebut menghasilkan program HTML yang berfungsi dengan satu bug JavaScript kecil — keluaran yang akan rusak seluruhnya oleh quants berukuran sama dari generasi sebelumnya.
Pada harga paling rendah, ukuran UD-IQ1_S memeras model menjadi 6,2 GB — 89 persen lebih kecil dari versi aslinya — sambil mempertahankan sekitar 72 persen akurasi 1 persen teratas. Unsloth juga menghapus modul prediksi multi-token dari jumlah yang lebih kecil di bawah 8,37 GB untuk menghemat sekitar 500 MB ruang disk, dengan modul tersedia secara terpisah untuk pengguna yang menginginkannya.
Patokan yang lebih sulit, bukan sekadar patokan yang lebih ramah
Mungkin bagian yang lebih penting dari pengumuman ini adalah metodologis. Unsloth berpendapat bahwa akurasi 1 persen teratas — yang pada dasarnya merupakan uji argmax prediksi tunggal — bukanlah ukuran efektif untuk kualitas inferensi sebenarnya. Untuk mengatasi overfitting benchmark, tim membuat Divergence-300 @32: kumpulan data yang berisi 300 contoh yang diambil dari Terminal-Bench 2.1, DeepSWE, Harbour, MathArena 2025-26, dan perintah dokumen panjang non-Latin, tidak ada satupun yang muncul di data kalibrasi.
Metrik ini menjalankan decoding serakah untuk 32 token dan mengukur seberapa dekat setiap lintasan keluaran kuantitas cocok dengan model BF16 asli — lintasan yang lebih dekat berarti kuantitas tersebut berperilaku seperti model penuh selama pembuatan multi-token, tidak hanya pada prediksi tunggal. Tolok ukur divergensi KL yang dijalankan di semua penyedia menunjukkan kuantitas UD-3 Unsloth memperoleh akurasi ekstra 1 persen hingga 10 persen ekstra pada ruang disk yang sama, dengan peningkatan terbesar pada ukuran yang lebih kecil.
Tim ini juga menerbitkan analisis overfitting yang membandingkan jumlah baru dengan rilis Dinamis 2.0 yang lebih lama pada WikiTeks dan kode yang tidak terlihat, dan mengatakan bahwa mereka akan terus mengulangi ukuran jumlah yang lebih besar di mana perolehannya lebih kecil.
Rekam jejak dan peringatan
Unsloth telah mendapatkan kredibilitas dalam komunitas model lokal melalui kolaborasi langsung dengan vendor model — tim mencantumkan perbaikan yang disumbangkan pada Qwen3, Llama 4 dari Meta, Devstral dari Mistral, seri Gemma dari Google, dan model Phi dari Microsoft, pekerjaan yang secara historis telah menyelesaikan bug akurasi dalam bobot yang baru dirilis.
Peringatan yang umum berlaku: ini adalah tolok ukur yang dijalankan vendor, dan pengukur saingan mengukur secara berbeda. Namun peluncuran file kalibrasi, kumpulan evaluasi yang disimpan, dan data divergensi per kuantitas membuat verifikasi independen menjadi sangat mudah — dan transparansi itulah yang membuat proyek ini tetap menjadi pusat ekosistem LLM lokal seiring dengan skalanya menuju penggunaan umum.
Bagi pengembang yang menjalankan Qwen3.8 atau model frontier open-weight apa pun pada perangkat keras lokal, rilis Dynamic 3.0 secara efektif meningkatkan kemampuan model terkuantisasi — dan memberikan tekanan pada setiap penyedia kuantisasi lainnya untuk mempublikasikan ketelitian yang sama.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
