Butiran Mesin Berfikir Latihan 4-Bit Hujung-ke-Hujung pada Perkakasan Nvidia GB300

Thinking Machines Lab, syarikat penyelidikan yang diasaskan oleh bekas ketua pegawai teknologi OpenAI, Mira Murati, telah menerbitkan penjelasan teknikal terperinci tentang cara ia melatih model bahasa besar hampir keseluruhannya dalam ketepatan 4-bit — teknik yang dikatakan syarikat membuka kunci penjimatan kelajuan dan memori utama pada perkakasan pusat data terbaharu Nvidia.

Siaran blog itu, bertajuk "Latihan 4-Bit End-to-End" dan diterbitkan di tapak web syarikat pada 13 November, menelusuri pertukaran berangka di sebalik latihan ketepatan rendah dan menerangkan cara pasukan menguruskannya sambil melatih model Inkling 2 Smallnya. Bagi pembaca yang mengikuti perkembangan AI terkini, siaran itu menawarkan pandangan umum yang jarang berlaku pada keputusan kejuruteraan yang menentukan berapa banyak kos latihan berskala sempadan sebenarnya.

Mengapa Lebih Sedikit Bit Bermaksud Latihan Lebih Pantas

Melatih model bahasa yang besar melibatkan pengiraan dan penyimpanan kuantiti nombor yang sangat besar. Menggunakan lebih sedikit bit untuk setiap nilai mengurangkan penggunaan memori dan membolehkan GPU melakukan aritmetik dengan lebih pantas. Kos adalah ketepatan: bit yang lebih sedikit bermakna nombor yang boleh diwakili lebih sedikit, jadi nilai mesti dibundarkan dengan lebih agresif.

Syarikat menggambarkan masalah dengan contoh mudah. Jika format hanya boleh mewakili nombor 3 dan 4, menyimpan 3.2 memerlukan pembundaran kepada 3, memperkenalkan ralat pengkuantitian 0.2. Ralat pembundaran tunggal adalah remeh, tetapi semasa latihan, ralat ini terkumpul merentas lapisan dan langkah pengoptimuman, dan ia boleh mengganggu proses pembelajaran itu sendiri.

"Ini adalah cabaran utama latihan ketepatan rendah: bagaimana kita boleh mendapat manfaat daripada aritmetik yang lebih pantas tanpa memperkenalkan ralat yang mengganggu pembelajaran?" syarikat itu menulis dalam jawatan itu.

Tiga Format, Satu Larian Latihan

Daripada komited pada tahap ketepatan tunggal, Thinking Machines menggunakan tiga format berangka pada peringkat latihan yang berbeza: BF16, MXFP8 dan NVFP4. Setiap format mempunyai ketepatan tetap, tetapi kelajuannya bergantung pada perkakasan yang menjalankannya.

Syarikat itu berlatih pada platform Grace Blackwell Ultra Nvidia, GB300, yang direka khusus untuk mempercepatkan pendaraban matriks dalam NVFP4. Menurut siaran itu, NVFP4 menyimpan nilai dengan 3.6 kali lebih sedikit bit daripada BF16 sambil berjalan sehingga 6 kali lebih pantas pada sistem GB300. Dari segi pemprosesan mentah, syarikat itu menyenaraikan prestasi GB300 pada kira-kira 15 PFLOPS dalam NVFP4, 5 PFLOPS dalam MXFP8 dan 2.5 PFLOPS dalam BF16.

Tangkapannya ialah pemampatan agresif NVFP4 memperkenalkan ralat pengkuantitian yang jauh lebih banyak daripada format yang lebih luas. Kesilapan itu boleh diterima dalam beberapa peringkat latihan dan tidak boleh diterima pada peringkat lain, itulah sebabnya syarikat memperlakukan setiap peringkat secara berasingan.

Peringkat Berbeza, Peraturan Berbeza

Catatan blog membahagikan latihan kepada empat peringkat — pas ke hadapan dan ke belakang pralatihan, pensampel pembelajaran pengukuhan dan jurulatih RL — dan memberikan setiap keseimbangan keutamaan yang berbeza antara meminimumkan ralat, meminimumkan berat sebelah, meningkatkan kelajuan dan mengurangkan penggunaan memori.

Kelajuan paling penting dalam langkah volum tinggi: pralatihan, yang melebihi trilion token dan pensampelan RL, yang menjana jumlah pelancaran yang besar. Hantaran ke belakang, bagaimanapun, adalah kes istimewa. Siaran itu menerangkan bahawa purata lulus ke belakang ke atas banyak token dalam satu kelompok, yang mencairkan kesan ralat pembundaran yang diedarkan secara rawak — tetapi ia sangat sensitif terhadap bias pengkuantitian, hanyutan sistematik yang berlaku apabila nilai secara konsisten membulat dalam satu arah. Tidak seperti hingar rawak, berat sebelah itu boleh mengumpul merentasi lapisan, sampel dan langkah latihan.

Syarikat itu berkata ia menguruskan pertukaran ini semasa melatih Inkling 2 Small, model campuran pakar berwajaran terbuka yang dikeluarkan awal bulan ini di bawah lesen Apache 2.0. Jawatan itu tidak mendakwa bahawa setiap bahagian larian dijalankan dalam 4 bit; sebaliknya, ia menerangkan strategi hujung ke hujung di mana ketepatan setiap komponen dipilih secara sengaja dan bukannya diwarisi secara lalai.

Mengapa Latihan Ketepatan Rendah Penting

Ekonomi di sini adalah mudah. Compute ialah kos yang dominan dalam pembangunan model sempadan, dan vendor perkakasan telah berlumba-lumba untuk menambah pecutan ketepatan rendah pada setiap penjanaan cip baharu. Nvidia telah meletakkan sokongan NVFP4 dalam platform Blackwell Ultra sebagai ciri utama, dan pemecut saingan daripada AMD, Google dan lain-lain mengiklankan format ketepatan dikurangkan mereka sendiri.

Jika makmal penyelidikan boleh menolak lebih banyak saluran latihan ke dalam aritmetik 4-bit dengan selamat, belanjawan perkakasan yang sama membeli lebih banyak percubaan, lebih banyak token atau model yang lebih besar. Itu adalah kelebihan yang bermakna dalam pasaran di mana akses kepada pemecut termaju adalah terhad dan mahal. Ia juga digabungkan dengan dorongan industri yang lebih meluas ke arah teknik kecekapan seperti inferens sedar kuantisasi dan penyahkodan spekulatif, yang kedua-duanya memerah lebih keupayaan daripada perkakasan tetap.

Siaran itu juga merupakan isyarat ke mana arah tuju komuniti penyelidikan. Latihan ketepatan rendah telah lama dilihat sebagai terlalu berisiko untuk apa-apa di luar inferens, kerana kesilapan pembundaran telah diandaikan sebagai pembelajaran yang merosakkan. Analisis peringkat demi peringkat yang teliti — seperti yang diterbitkan oleh Thinking Machines — ialah cara andaian itu diuji dan, jika boleh, dibatalkan.

Dari Catatan Blog ke Berat Terbuka

Apa yang menjadikan pendedahan itu ketara ialah ia bukan teori semata-mata. Syarikat itu mengikat teknik itu secara langsung kepada model yang sebenarnya telah dihantar. Inkling 2 Small telah dikeluarkan dengan pemberat yang boleh dimuat turun pada awal November, dan siaran baharu itu menerangkan strategi berangka di sebalik latihannya. Pengamal yang memuat turun model itu, sebenarnya, mendapat artifak yang berfungsi bagi metodologi ketepatan rendah yang diterangkan oleh syarikat.

Thinking Machines telah dibuka secara luar biasa untuk makmal skala sempadan, menerbitkan catatan blog teknikal bersama keluaran modelnya. Ketelusan itu memberikan penyelidik luar sesuatu yang jarang berlaku: akaun yang didokumenkan dan boleh diterbitkan semula tentang cara larian latihan moden mengendalikan realiti berangka yang tidak kemas bagi aritmetik ketepatan campuran.

Untuk industri yang lebih luas, mesejnya ialah latihan 4-bit telah beralih daripada rasa ingin tahu penyelidikan kepada teknik pengeluaran. Memandangkan lebih banyak makmal menggunakan strategi yang sama, jurang antara prestasi puncak perkakasan teori dan daya pengeluaran latihan yang direalisasikan akan mengecil — dan kos model berkebolehan latihan akan terus menurun.

Kekal Mendahului AI

Teknik di sebalik model sempadan berkembang setiap minggu. Ikuti AI Buzz Wire untuk mendapatkan laporan bersumber yang jelas tentang penyelidikan yang membentuk bidang itu.

Baca lebih banyak berita AI →