Thinking Machines Lab, perusahaan riset yang didirikan oleh mantan chief technology officer OpenAI Mira Murati, telah menerbitkan penjelasan teknis terperinci tentang bagaimana mereka melatih model bahasa besar hampir seluruhnya dalam presisi 4-bit — sebuah teknik yang menurut perusahaan membuka penghematan besar pada kecepatan dan memori pada perangkat keras pusat data terbaru Nvidia.

Postingan blog tersebut, berjudul "Pelatihan 4-Bit End-to-End" dan dipublikasikan di situs web perusahaan pada tanggal 13 November, membahas trade-off numerik di balik pelatihan berpresisi rendah dan menjelaskan bagaimana tim mengelolanya saat melatih model Inkling 2 Small miliknya. Bagi pembaca yang mengikuti perkembangan AI terbaru, postingan ini menawarkan pandangan publik yang jarang mengenai keputusan teknis yang menentukan berapa biaya sebenarnya dari pelatihan skala terdepan.

Mengapa Lebih Sedikit Bit Berarti Pelatihan Lebih Cepat

Melatih model bahasa besar melibatkan penghitungan dan penyimpanan angka dalam jumlah besar. Menggunakan lebih sedikit bit untuk setiap nilai mengurangi penggunaan memori dan memungkinkan GPU melakukan aritmatika lebih cepat. Biayanya adalah presisi: lebih sedikit bit berarti lebih sedikit angka yang dapat direpresentasikan, sehingga nilai harus dibulatkan dengan lebih agresif.

Perusahaan mengilustrasikan masalahnya dengan contoh sederhana. Jika suatu format hanya dapat mewakili angka 3 dan 4, penyimpanan 3,2 memerlukan pembulatan ke 3, sehingga menimbulkan kesalahan kuantisasi sebesar 0,2. Kesalahan pembulatan tunggal adalah hal yang sepele, namun selama pelatihan, kesalahan ini terakumulasi di seluruh lapisan dan langkah pengoptimalan, dan dapat mengganggu proses pembelajaran itu sendiri.

“Ini adalah tantangan utama dari pelatihan dengan presisi rendah: bagaimana kita dapat memperoleh manfaat dari aritmatika yang lebih cepat tanpa menimbulkan kesalahan yang mengganggu pembelajaran?” tulis perusahaan di postingan tersebut.

Tiga Format, Satu Latihan Berjalan

Daripada berkomitmen pada satu tingkat presisi, Mesin Berpikir menggunakan tiga format numerik pada berbagai tahap pelatihan: BF16, MXFP8, dan NVFP4. Setiap format memiliki presisi tetap, namun kecepatannya bergantung pada perangkat keras yang menjalankannya.

Perusahaan ini berlatih pada platform Grace Blackwell Ultra Nvidia, GB300, yang dirancang khusus untuk mempercepat perkalian matriks di NVFP4. Menurut postingan tersebut, NVFP4 menyimpan nilai dengan bit 3,6 kali lebih sedikit dibandingkan BF16 sambil berjalan hingga 6 kali lebih cepat pada sistem GB300. Dalam hal throughput mentah, perusahaan mencantumkan kinerja GB300 pada sekitar 15 PFLOPS di NVFP4, 5 PFLOPS di MXFP8, dan 2,5 PFLOPS di BF16.

Masalahnya adalah kompresi agresif NVFP4 menimbulkan lebih banyak kesalahan kuantisasi dibandingkan format yang lebih luas. Kesalahan tersebut dapat diterima pada beberapa tahap pelatihan dan tidak dapat diterima pada tahap lainnya, itulah sebabnya perusahaan memperlakukan setiap tahap secara terpisah.

Beda Tahapan, Beda Aturan

Entri blog membagi pelatihan menjadi empat tahap — tahap maju dan mundur dari prapelatihan, contoh pembelajaran penguatan, dan pelatih RL — dan menetapkan keseimbangan prioritas yang berbeda antara meminimalkan kesalahan, meminimalkan bias, meningkatkan kecepatan, dan mengurangi penggunaan memori.

Kecepatan paling penting dalam langkah-langkah bervolume tinggi: pra-pelatihan, yang melibatkan triliunan token, dan pengambilan sampel RL, yang menghasilkan peluncuran dalam jumlah besar. Namun, operan mundur adalah kasus khusus. Postingan tersebut menjelaskan bahwa backward pass rata-rata pada banyak token dalam satu batch, yang melemahkan dampak kesalahan pembulatan yang didistribusikan secara acak — tetapi mereka sangat sensitif terhadap bias kuantisasi, penyimpangan sistematis yang terjadi ketika nilai secara konsisten dibulatkan ke satu arah. Tidak seperti gangguan acak, bias tersebut dapat terjadi di seluruh lapisan, sampel, dan langkah pelatihan.

Perusahaan tersebut mengatakan bahwa mereka mengelola trade-off ini saat melatih Inkling 2 Small, model campuran ahli berbobot terbuka yang dirilis awal bulan ini di bawah lisensi Apache 2.0. Postingan tersebut tidak mengklaim bahwa setiap bagian proses berjalan dalam 4 bit; melainkan menggambarkan strategi end-to-end di mana ketepatan setiap komponen dipilih secara sengaja dan bukan diwariskan secara default.

Mengapa Pelatihan dengan Presisi Rendah Itu Penting

Perekonomian di sini sangat mudah. Komputasi merupakan biaya yang dominan dalam pengembangan model frontier, dan vendor perangkat keras telah berlomba untuk menambahkan akselerasi presisi rendah ke setiap generasi chip baru. Nvidia telah memposisikan dukungan NVFP4 di platform Blackwell Ultra sebagai fitur utama, dan akselerator saingan dari AMD, Google, dan lainnya mengiklankan format presisi rendah mereka sendiri.

Jika laboratorium penelitian dapat dengan aman mendorong lebih banyak jalur pelatihan ke dalam aritmatika 4-bit, anggaran perangkat keras yang sama akan membeli lebih banyak eksperimen, lebih banyak token, atau model yang lebih besar. Hal ini merupakan keuntungan yang berarti di pasar dimana akses terhadap akselerator mutakhir masih langka dan mahal. Hal ini juga ditambah dengan dorongan industri yang lebih luas terhadap teknik efisiensi seperti inferensi sadar kuantisasi dan decoding spekulatif, yang keduanya memeras lebih banyak kemampuan dari perangkat keras tetap.

Postingan ini juga merupakan sinyal ke mana arah komunitas riset. Pelatihan dengan presisi rendah telah lama dipandang terlalu berisiko untuk hal lain selain inferensi, karena kesalahan pembulatan dianggap merusak pembelajaran. Analisis tahap demi tahap yang cermat – seperti yang diterbitkan oleh Thinking Machines – adalah bagaimana asumsi tersebut diuji dan, jika memungkinkan, dibatalkan.

Dari Postingan Blog hingga Bobot Terbuka

Apa yang membuat pengungkapan ini penting adalah bahwa hal itu tidak sepenuhnya bersifat teoretis. Perusahaan mengikat teknik tersebut langsung ke model yang sebenarnya dikirimkannya. Inkling 2 Small dirilis dengan bobot yang dapat diunduh pada awal November, dan postingan baru menjelaskan strategi numerik di balik pelatihannya. Praktisi yang mengunduh model tersebut, pada dasarnya, mendapatkan artefak yang berfungsi dari metodologi presisi rendah yang dijelaskan oleh perusahaan.

Mesin Berpikir sangat terbuka untuk laboratorium skala terdepan, menerbitkan postingan blog teknis bersamaan dengan rilis modelnya. Transparansi tersebut memberikan sesuatu yang langka kepada peneliti luar: laporan yang terdokumentasi dan dapat direproduksi tentang bagaimana proses pelatihan modern menangani realitas numerik yang berantakan dari aritmatika presisi campuran.

Untuk industri yang lebih luas, pesannya adalah bahwa pelatihan 4-bit telah beralih dari rasa ingin tahu penelitian ke teknik produksi. Karena semakin banyak laboratorium yang mengadopsi strategi serupa, kesenjangan antara kinerja puncak perangkat keras teoritis dan hasil pelatihan yang direalisasikan akan menyempit – dan biaya model pelatihan yang mampu akan terus menurun.

Tetap Terdepan dalam AI

Teknik di balik model frontier berkembang setiap minggunya. Ikuti AI Buzz Wire untuk laporan yang jelas dan bersumber tentang penelitian yang membentuk bidang ini.

Baca berita AI selengkapnya →