Rincian Mesin Thinking End-to-End 4-Bit Training ing Hardware Nvidia GB300

Thinking Machines Lab, perusahaan riset sing diadegake dening mantan kepala pejabat teknologi OpenAI Mira Murati, wis nerbitake panjelasan teknis rinci babagan carane nglatih model basa gedhe meh kabeh kanthi presisi 4-bit - teknik sing dikandhakake perusahaan mbukak kunci kacepetan lan penghematan memori ing hardware pusat data paling anyar Nvidia.

Posting blog, kanthi irah-irahan "Latihan 4-Bit End-to-End" lan diterbitake ing situs web perusahaan tanggal 13 November, ngliwati perdagangan numerik ing mburi latihan presisi rendah lan nggambarake cara tim kasebut ngatur nalika nglatih model Inkling 2 Cilik. Kanggo para pamaca sing ngetutake pangembangan AI paling anyar, kiriman kasebut menehi tampilan umum babagan keputusan teknik sing nemtokake pira biaya latihan skala perbatasan.

Napa Bit Kurang Tegese Latihan Luwih Cepet

Latihan model basa sing gedhe kalebu ngitung lan nyimpen jumlah gedhe banget. Nggunakake bit sing luwih sithik kanggo saben nilai nyuda panggunaan memori lan ngidini GPU nindakake aritmetika luwih cepet. Biaya kasebut presisi: luwih sithik bit tegese angka sing bisa diwakili luwih sithik, mula nilai kudu dibunderake kanthi luwih agresif.

Perusahaan nggambarake masalah kasebut kanthi conto sing gampang. Yen format mung bisa makili nomer 3 lan 4, nyimpen 3.2 mbutuhake dibunderaké kanggo 3, ngenalake kesalahan kuantisasi 0.2. Kesalahan pembulatan siji ora pati penting, nanging sajrone latihan kesalahan kasebut nglumpukake lapisan lan langkah optimasi, lan bisa ngganggu proses sinau dhewe.

"Iki minangka tantangan utama latihan presisi rendah: kepiye carane bisa entuk manfaat saka aritmetika sing luwih cepet tanpa ngenalake kesalahan sing ngganggu sinau?" perusahaan wrote ing kirim.

Telung Format, Siji Latihan Run

Tinimbang nindakake tingkat presisi siji, Mesin Thinking nggunakake telung format numerik ing macem-macem tahapan latihan: BF16, MXFP8, lan NVFP4. Saben format wis presisi tetep, nanging kacepetan gumantung ing hardware mlaku.

Perusahaan kasebut nglatih ing platform Nvidia Grace Blackwell Ultra, GB300, sing dirancang khusus kanggo nyepetake perkalian matriks ing NVFP4. Miturut kiriman kasebut, NVFP4 nyimpen nilai kanthi 3,6 kaping luwih sithik tinimbang BF16 nalika mlaku nganti 6 kaping luwih cepet ing sistem GB300. Ing istilah throughput mentah, perusahaan kasebut nampilake kinerja GB300 kanthi kira-kira 15 PFLOPS ing NVFP4, 5 PFLOPS ing MXFP8, lan 2.5 PFLOPS ing BF16.

Sing nyekel yaiku kompresi agresif NVFP4 ngenalake kesalahan kuantisasi luwih akeh tinimbang format sing luwih akeh. Kesalahan kasebut bisa ditampa ing sawetara tahapan latihan lan ora bisa ditampa ing wong liya, mulane perusahaan nganggep saben tahapan kanthi kapisah.

Beda Tahap, Beda Aturan

Posting blog ngilangi latihan dadi patang tahapan - pass maju lan mundur saka pretraining, sampler learning penguatan, lan pelatih RL - lan menehi saben prioritas sing beda antarane nyilikake kesalahan, nyilikake bias, nambah kacepetan, lan nyuda panggunaan memori.

Kacepetan paling penting ing langkah-langkah volume dhuwur: pretraining, sing ngluwihi triliunan token, lan sampling RL, sing ngasilake volume rollout sing akeh. Nanging, pass mundur minangka kasus khusus. Kiriman kasebut nerangake manawa mundur rata-rata liwat pirang-pirang token ing batch, sing ngencerake pengaruh kesalahan pembulatan sing disebarake kanthi acak - nanging sensitif banget kanggo bias kuantisasi, drift sistematis sing kedadeyan nalika nilai terus-terusan ing arah siji. Ora kaya swara acak, bias kasebut bisa majemuk ing lapisan, conto, lan langkah latihan.

Perusahaan kasebut ujar manawa ngatur perdagangan kasebut nalika nglatih Inkling 2 Small, model campuran bobot mbukak sing dirilis awal wulan iki miturut lisensi Apache 2.0. Posting ora pratelan sing saben bagean roto mlayu ing 4 bit; rodo, iku njlèntrèhaké strategi mburi-kanggo-mburi kang tliti saben komponèn milih sengaja tinimbang dipun warisaken minangka standar.

Napa Latihan Presisi Kurang Penting

Ekonomi ing kene langsung. Komputasi minangka biaya sing dominan ing pangembangan model perbatasan, lan vendor hardware wis balapan kanggo nambah percepatan presisi rendah kanggo saben generasi chip anyar. Nvidia wis nyedhiyakake dhukungan NVFP4 ing platform Blackwell Ultra minangka fitur judhul, lan akselerator saingan saka AMD, Google, lan liya-liyane ngiklanake format presisi sing dikurangi dhewe.

Yen laboratorium riset bisa kanthi aman nyurung luwih akeh pipa latihan menyang aritmetika 4-bit, anggaran hardware sing padha tuku luwih akeh eksperimen, token, utawa model sing luwih gedhe. Iki minangka kauntungan sing migunani ing pasar sing akses menyang akselerator mutakhir langka lan larang. Iki uga gabung karo dorongan industri sing luwih akeh menyang teknik efisiensi kayata inferensi sadar kuantisasi lan dekoding spekulatif, sing loro-lorone nyepetake kemampuan luwih saka hardware tetep.

Kiriman kasebut uga minangka sinyal menyang ngendi komunitas riset. Latihan presisi rendah wis suwe dianggep beboyo banget kanggo apa wae sing ngluwihi kesimpulan, amarga kesalahan pembulatan dianggep ngrusak pembelajaran. Analisis tahap-tahap kanthi ati-ati - kaya sing diterbitake Mesin Pikiran - yaiku kepiye asumsi kasebut diuji lan, yen bisa, dibatalake.

Saka Blog Post nganti Bobot Bukak

Sing ndadekake pambocoran kasebut ora mung teoritis. Perusahaan kasebut langsung nyambungake teknik kasebut menyang model sing wis dikirim. Inkling 2 Cilik dirilis kanthi bobot sing bisa didownload ing awal November, lan kiriman anyar nerangake strategi numerik ing mburi latihan kasebut. Praktisi sing ndownload model kasebut, sejatine, entuk artefak saka metodologi presisi rendah sing diterangake perusahaan.

Thinking Machines wis mbukak luar biasa kanggo lab skala wates, nerbitake kiriman blog teknis bebarengan karo rilis model. Transparansi kasebut menehi peneliti njaba sing langka: akun sing didokumentasikake lan bisa diulang babagan cara latihan modern nangani kasunyatan numerik aritmetika campuran presisi.

Kanggo industri sing luwih jembar, pesen kasebut yaiku latihan 4-bit wis pindhah saka rasa penasaran riset menyang teknik produksi. Nalika luwih akeh laboratorium nggunakake strategi sing padha, jurang antarane kinerja puncak hardware teoritis lan throughput latihan sing diwujudake bakal sempit - lan biaya model sing bisa latihan bakal terus mudhun.

Tetep Ahead saka AI

Teknik ing mburi model perbatasan berkembang saben minggu. Tindakake AI Buzz Wire kanggo laporan sumber sing jelas babagan riset sing mbentuk lapangan.

Waca liyane warta AI →