Eski OpenAI baş teknoloji sorumlusu Mira Murati tarafından kurulan araştırma şirketi Thinking Machines Lab, büyük dil modellerini neredeyse tamamen 4 bit hassasiyetle nasıl eğittiğine dair ayrıntılı bir teknik açıklama yayınladı; şirket, bu tekniğin Nvidia'nın en yeni veri merkezi donanımında büyük hız ve bellek tasarruflarının kilidini açtığını söylüyor.
"Uçtan Uca 4-Bit Eğitim" başlıklı ve şirketin web sitesinde 13 Kasım'da yayınlanan blog yazısı, düşük hassasiyetli eğitimin ardındaki sayısal ödünleşimleri ele alıyor ve ekibin Inkling 2 Small modelini eğitirken bunları nasıl yönettiğini anlatıyor. Gönderi, en son yapay zeka gelişmelerini takip eden okuyucular için, sınır ölçeğinde bir eğitim çalışmasının gerçekte ne kadara mal olacağını belirleyen mühendislik kararlarına nadir bir genel bakış sunuyor.
Neden Daha Az Bit Daha Hızlı Eğitim Anlamına Geliyor?
Büyük bir dil modelinin eğitimi, çok büyük miktarlarda sayıların hesaplanmasını ve saklanmasını içerir. Her değer için daha az bit kullanılması bellek kullanımını azaltır ve GPU'ların aritmetik işlemlerini daha hızlı gerçekleştirmesine olanak tanır. Maliyeti kesinliktir: Daha az bit, daha az temsil edilebilir sayı anlamına gelir, dolayısıyla değerlerin daha agresif bir şekilde yuvarlanması gerekir.
Şirket sorunu basit bir örnekle açıklıyor. Bir format yalnızca 3 ve 4 sayılarını temsil edebiliyorsa, 3,2'nin saklanması 3'e yuvarlanmayı gerektirir ve bu da 0,2'lik bir niceleme hatasına neden olur. Tek bir yuvarlama hatası önemsizdir, ancak eğitim sırasında bu hatalar katmanlar ve optimizasyon adımları boyunca birikir ve öğrenme sürecinin kendisine müdahale edebilir.
"Düşük hassasiyetli eğitimin temel sorunu budur: Öğrenmeyi engelleyen hatalara yol açmadan daha hızlı aritmetikten nasıl yararlanabiliriz?" şirket gönderide şunu yazdı.
Üç Format, Bir Eğitim Çalıştırması
Thinking Machines, tek bir hassasiyet düzeyine bağlı kalmak yerine, eğitimin farklı aşamalarında üç sayısal format kullanır: BF16, MXFP8 ve NVFP4. Her formatın sabit bir hassasiyeti vardır ancak hızı, onu çalıştıran donanıma bağlıdır.
Şirket, NVFP4'te matris çarpımlarını hızlandırmak için özel olarak tasarlanan Nvidia'nın Grace Blackwell Ultra platformu GB300 üzerinde eğitim alıyor. Gönderiye göre NVFP4, GB300 sistemlerinde 6 kata kadar daha hızlı çalışırken, BF16'ya göre 3,6 kat daha az bit ile değerleri saklıyor. Ham üretim açısından şirket, GB300 performansını NVFP4'te yaklaşık 15 PFLOPS, MXFP8'de 5 PFLOPS ve BF16'da 2,5 PFLOPS olarak listeliyor.
İşin püf noktası, NVFP4'ün agresif sıkıştırmasının daha geniş formatlara göre çok daha fazla niceleme hatası ortaya çıkarmasıdır. Bu hata, eğitimin bazı aşamalarında kabul edilebilir, diğerlerinde ise kabul edilemez; bu nedenle şirket her aşamayı ayrı ayrı ele alıyor.
Farklı Aşamalar, Farklı Kurallar
Blog gönderisi eğitimi dört aşamaya ayırıyor: ön eğitimin ileri ve geri geçişleri, takviyeli öğrenme örnekleyicisi ve RL eğitmeni - ve her birine hatayı en aza indirme, önyargıyı en aza indirme, hızı artırma ve hafıza kullanımını azaltma arasında farklı bir öncelik dengesi atar.
Hız, en çok yüksek hacimli adımlarda önemlidir: Trilyonlarca jetonun çalıştırıldığı ön eğitim ve büyük miktarlarda kullanıma sunma sağlayan RL örnekleme. Ancak geriye doğru paslar özel bir durumdur. Gönderi, bir gruptaki birçok token üzerinden ortalamanın geriye doğru geçtiğini, bunun da rastgele dağıtılmış yuvarlama hatalarının etkisini azalttığını açıklıyor; ancak bunlar, değerler tutarlı bir şekilde bir yönde yuvarlandığında ortaya çıkan sistematik sapma olan nicemleme yanlılığına karşı oldukça hassastır. Rastgele gürültüden farklı olarak bu önyargı, katmanlar, örnekler ve eğitim adımları arasında birleşebilir.
Şirket, bu ayın başlarında Apache 2.0 lisansı altında piyasaya sürdüğü açık ağırlıklı uzman karışımı modeli Inkling 2 Small'u eğitirken bu ödünleşimleri yönettiğini söylüyor. Gönderi, çalıştırmanın her bölümünün 4 bit olarak çalıştığını iddia etmiyor; daha ziyade, her bir bileşenin hassasiyetinin varsayılan olarak devralınması yerine kasıtlı olarak seçildiği uçtan uca bir stratejiyi tanımlar.
Düşük Hassasiyetli Eğitim Neden Önemlidir
Buradaki ekonomi basittir. Bilgi işlem, öncü model geliştirmede baskın maliyettir ve donanım satıcıları her yeni çip nesline düşük hassasiyetli hızlandırma eklemek için yarışmaktadır. Nvidia, Blackwell Ultra platformunda NVFP4 desteğini ana özellik olarak konumlandırdı ve AMD, Google ve diğer rakip hızlandırıcılar kendi azaltılmış hassasiyetli formatlarının reklamını yapıyor.
Araştırma laboratuvarları eğitim hattının daha fazlasını 4 bitlik aritmetiğe güvenli bir şekilde aktarabilirse, aynı donanım bütçesi daha fazla deney, daha fazla jeton veya daha büyük modeller satın alır. Bu, son teknoloji hızlandırıcılara erişimin az ve pahalı olduğu bir pazarda anlamlı bir avantajdır. Bu aynı zamanda endüstrinin kuantizasyona duyarlı çıkarım ve spekülatif kod çözme gibi verimlilik tekniklerine yönelik daha geniş çabasıyla da birleşiyor; her ikisi de sabit donanımdan daha fazla kapasite elde edilmesini sağlıyor.
Gönderi aynı zamanda araştırma topluluğunun nereye gittiğine dair bir sinyaldir. Yuvarlama hatalarının öğrenmeyi bozduğu varsayıldığından, düşük hassasiyetli eğitim uzun süredir çıkarımın ötesinde herhangi bir şey için fazla riskli görülüyordu. Thinking Machines'in yayınladığı gibi adım adım dikkatli bir analiz, bu varsayımın nasıl test edileceğini ve mümkün olduğunda tersine çevrileceğini gösteriyor.
Blog Gönderisinden Açık Ağırlıklara
Açıklamayı dikkate değer kılan şey, bunun tamamen teorik olmamasıdır. Şirket, tekniği doğrudan piyasaya sürdüğü bir modele bağladı. Inkling 2 Small, Kasım ayı başında indirilebilir ağırlıklarla piyasaya sürüldü ve yeni gönderi, eğitiminin arkasındaki sayısal stratejiyi açıklıyor. Modeli indiren uygulayıcılar aslında şirketin tanımladığı düşük hassasiyetli metodolojinin çalışan bir eserini elde ediyor.
Thinking Machines, model yayınlarının yanı sıra teknik blog yazıları da yayınlayarak, sınır ölçeğinde bir laboratuvar için alışılmadık bir şekilde açıldı. Bu şeffaflık, dışarıdaki araştırmacılara nadir görülen bir şey veriyor: Modern bir eğitim çalışmasının, karma duyarlıklı aritmetiğin karmaşık sayısal gerçeklerini nasıl ele aldığının belgelenmiş, tekrarlanabilir bir açıklaması.
Daha geniş endüstri için mesaj, 4 bitlik eğitimin araştırma merakından üretim tekniğine geçtiği yönündedir. Daha fazla laboratuvar benzer stratejileri benimsedikçe, teorik donanımın en yüksek performansı ile gerçekleşen eğitim verimi arasındaki fark daralacak ve yetenekli modellerin eğitim maliyeti düşmeye devam edecek.
Yapay Zekanın Önünde Kalın
Sınır modellerinin ardındaki teknikler haftalık olarak gelişmektedir. Alanı şekillendiren araştırmalara ilişkin net, kaynaklı raporlar için AI Buzz Wire'ı takip edin.
Daha fazla AI haberini okuyun →
