ओपनएआयच्या माजी मुख्य तंत्रज्ञान अधिकारी मीरा मुराती यांनी स्थापन केलेल्या थिंकिंग मशीन लॅब या संशोधन कंपनीने 4-बिट अचूकतेमध्ये मोठ्या भाषेच्या मॉडेल्सना कसे प्रशिक्षण दिले याचे तपशीलवार तांत्रिक स्पष्टीकरण प्रकाशित केले आहे — एक तंत्र कंपनीने म्हटले आहे की Nvidia च्या नवीनतम डेटा सेंटर हार्डवेअरवर मोठी गती आणि मेमरी बचत अनलॉक करते.

"एंड-टू-एंड 4-बिट ट्रेनिंग" शीर्षक असलेली आणि 13 नोव्हेंबर रोजी कंपनीच्या वेबसाइटवर प्रकाशित झालेली ब्लॉग पोस्ट, कमी-सुस्पष्टता प्रशिक्षणामागील संख्यात्मक ट्रेड-ऑफमधून चालते आणि त्याच्या Inkling 2 Small मॉडेलला प्रशिक्षण देताना संघाने त्यांचे व्यवस्थापन कसे केले याचे वर्णन केले आहे. नवीनतम AI घडामोडींचे अनुसरण करणाऱ्या वाचकांसाठी, पोस्ट अभियांत्रिकी निर्णयांवर एक दुर्मिळ सार्वजनिक देखावा ऑफर करते जे ठरवते की सीमा-स्तरीय प्रशिक्षणासाठी प्रत्यक्षात किती खर्च येतो.

का कमी बिट्स म्हणजे वेगवान प्रशिक्षण

मोठ्या भाषेच्या मॉडेलचे प्रशिक्षण देण्यामध्ये मोठ्या प्रमाणात संख्यांची गणना करणे आणि संग्रहित करणे समाविष्ट आहे. प्रत्येक मूल्यासाठी कमी बिट वापरल्याने मेमरी वापर कमी होतो आणि GPU ला अंकगणित जलद करू देते. किंमत सुस्पष्टता आहे: कमी बिट्स म्हणजे कमी दर्शविण्यायोग्य संख्या, म्हणून मूल्ये अधिक आक्रमकपणे पूर्ण करणे आवश्यक आहे.

कंपनी एका सोप्या उदाहरणाने समस्या स्पष्ट करते. जर एखादे स्वरूप केवळ 3 आणि 4 संख्या दर्शवू शकत असेल, तर 3.2 संचयित करण्यासाठी 3 पर्यंत पूर्ण करणे आवश्यक आहे, 0.2 ची परिमाणीकरण त्रुटी सादर करणे. एकल गोलाकार त्रुटी क्षुल्लक आहे, परंतु प्रशिक्षणादरम्यान या त्रुटी स्तरांवर आणि ऑप्टिमायझेशन चरणांमध्ये जमा होतात आणि त्या शिकण्याच्या प्रक्रियेतच व्यत्यय आणू शकतात.

"हे कमी-सुस्पष्टता प्रशिक्षणाचे मध्यवर्ती आव्हान आहे: शिकण्यात व्यत्यय आणणाऱ्या त्रुटींचा परिचय न करता वेगवान अंकगणिताचा फायदा कसा होऊ शकतो?" कंपनीने पोस्टमध्ये लिहिले.

तीन फॉरमॅट, एक ट्रेनिंग रन

एका अचूक पातळीवर काम करण्याऐवजी, थिंकिंग मशीन्स प्रशिक्षणाच्या वेगवेगळ्या टप्प्यांवर तीन संख्यात्मक स्वरूप वापरतात: BF16, MXFP8 आणि NVFP4. प्रत्येक फॉरमॅटमध्ये निश्चित अचूकता असते, परंतु त्याची गती ते चालवणाऱ्या हार्डवेअरवर अवलंबून असते.

कंपनी Nvidia च्या Grace Blackwell Ultra प्लॅटफॉर्मवर ट्रेन करते, GB300, जे विशेषतः NVFP4 मध्ये मॅट्रिक्स गुणाकारांना गती देण्यासाठी डिझाइन केलेले आहे. पोस्टनुसार, NVFP4 GB300 सिस्टीमवर 6 पट वेगाने चालत असताना BF16 पेक्षा 3.6 पट कमी बिटसह मूल्ये संग्रहित करते. कच्च्या थ्रूपुट अटींमध्ये, कंपनी NVFP4 मध्ये अंदाजे 15 PFLOPS, MXFP8 मध्ये 5 PFLOPS आणि BF16 मध्ये 2.5 PFLOPS वर GB300 कार्यप्रदर्शन सूचीबद्ध करते.

पकड अशी आहे की NVFP4 चे आक्रमक कॉम्प्रेशन विस्तीर्ण स्वरूपांपेक्षा कितीतरी जास्त परिमाणीकरण त्रुटी सादर करते. ही त्रुटी प्रशिक्षणाच्या काही टप्प्यांमध्ये स्वीकार्य आहे आणि इतरांमध्ये अस्वीकार्य आहे, म्हणूनच कंपनी प्रत्येक टप्प्यावर स्वतंत्रपणे उपचार करते.

वेगवेगळे टप्पे, वेगळे नियम

ब्लॉग पोस्ट प्रशिक्षणाचे चार टप्प्यांत विभाजन करते — प्रीट्रेनिंगचे फॉरवर्ड आणि बॅकवर्ड पास, रीइन्फोर्समेंट लर्निंग सॅम्पलर आणि RL ट्रेनर — आणि प्रत्येकाला त्रुटी कमी करणे, पूर्वाग्रह कमी करणे, गती वाढवणे आणि मेमरी वापर कमी करणे यामधील प्राधान्यक्रमांचे भिन्न संतुलन नियुक्त करते.

हाय-व्हॉल्यूम पायऱ्यांमध्ये वेग सर्वात महत्त्वाचा असतो: प्रीट्रेनिंग, जे ट्रिलियन टोकन्सवर चालते आणि आरएल सॅम्पलिंग, जे मोठ्या प्रमाणात रोलआउट्स व्युत्पन्न करते. मागासवर्गीय पास मात्र विशेष बाब आहे. पोस्ट स्पष्ट करते की बॅचमधील अनेक टोकन्सपेक्षा बॅकवर्ड उत्तीर्ण सरासरी, जे यादृच्छिकपणे वितरीत केलेल्या राउंडिंग त्रुटींचा प्रभाव कमी करते — परंतु ते परिमाणीकरण पूर्वाग्रहासाठी अत्यंत संवेदनशील असतात, जेव्हा मूल्ये सातत्याने एका दिशेने गोलाकार असतात तेव्हा उद्भवणारे पद्धतशीर प्रवाह. यादृच्छिक आवाजाच्या विपरीत, हा पूर्वाग्रह स्तर, नमुने आणि प्रशिक्षण चरणांमध्ये एकत्रित होऊ शकतो.

कंपनीचे म्हणणे आहे की त्यांनी Inkling 2 Small ला प्रशिक्षण देताना हे ट्रेड-ऑफ व्यवस्थापित केले, जे या महिन्याच्या सुरुवातीला Apache 2.0 लायसन्स अंतर्गत रिलीझ केलेले ओपन-वेट मिश्रण-तज्ञ मॉडेल. रनचा प्रत्येक भाग 4 बिटमध्ये चालला असा पोस्ट दावा करत नाही; त्याऐवजी, ते एंड-टू-एंड धोरणाचे वर्णन करते ज्यामध्ये प्रत्येक घटकाची अचूकता डीफॉल्टनुसार वारसा न घेता मुद्दाम निवडली जाते.

कमी-सुस्पष्टता प्रशिक्षण महत्त्वाचे का आहे

येथील अर्थशास्त्र सरळ आहे. फ्रंटियर मॉडेल डेव्हलपमेंटमध्ये कंप्युट हा प्रमुख खर्च आहे आणि हार्डवेअर विक्रेते प्रत्येक नवीन चिप जनरेशनमध्ये कमी-सुस्पष्टता प्रवेग जोडण्यासाठी धाव घेत आहेत. Nvidia ने त्याच्या Blackwell Ultra प्लॅटफॉर्ममध्ये NVFP4 सपोर्टला हेडलाइन वैशिष्ट्य म्हणून स्थान दिले आहे आणि AMD, Google आणि इतरांकडील प्रतिस्पर्धी प्रवेगक त्यांच्या स्वतःच्या कमी-परिशुद्धता स्वरूपांची जाहिरात करतात.

जर संशोधन प्रयोगशाळा अधिक प्रशिक्षण पाइपलाइनला 4-बिट अंकगणितामध्ये सुरक्षितपणे ढकलू शकतील, तर तेच हार्डवेअर बजेट अधिक प्रयोग, अधिक टोकन किंवा मोठे मॉडेल खरेदी करते. अत्याधुनिक प्रवेगकांचा प्रवेश दुर्मिळ आणि महाग असतो अशा बाजारपेठेतील हा एक अर्थपूर्ण फायदा आहे. हे क्वांटायझेशन-अवेअर इन्फरन्स आणि सट्टा डिकोडिंग यासारख्या कार्यक्षमतेच्या तंत्राकडे उद्योगाच्या व्यापक पुशसह देखील संयुगे बनते, जे दोन्ही निश्चित हार्डवेअरमधून अधिक क्षमता पिळून काढतात.

संशोधन समुदाय कोणत्या दिशेने चालला आहे हे देखील पोस्ट एक संकेत आहे. कमी-सुस्पष्टता प्रशिक्षण हे निष्कर्षापलीकडे असलेल्या कोणत्याही गोष्टीसाठी खूप धोकादायक मानले जात होते, कारण गोलाकार त्रुटींमुळे शिक्षण भ्रष्ट होते असे गृहीत धरले होते. काळजीपूर्वक स्टेज-दर-स्टेज विश्लेषण — जसे की एक थिंकिंग मशीन प्रकाशित केली जाते — त्या गृहीतकाची चाचणी कशी केली जाते आणि जेथे शक्य असेल तेथे ती उलटवली जाते.

ब्लॉग पोस्ट पासून ओपन वेट्स पर्यंत

जे प्रकटीकरण लक्षणीय होते ते म्हणजे ते पूर्णपणे सैद्धांतिक नाही. कंपनीने हे तंत्र थेट पाठवलेल्या मॉडेलशी जोडले. Inkling 2 Small हे नोव्हेंबरच्या सुरुवातीला डाउनलोड करण्यायोग्य वजनांसह रिलीज करण्यात आले आणि नवीन पोस्ट त्याच्या प्रशिक्षणामागील संख्यात्मक धोरण स्पष्ट करते. मॉडेल डाउनलोड करणाऱ्या प्रॅक्टिशनर्सना, कंपनीने वर्णन केलेल्या कमी-सुस्पष्टता पद्धतीची कार्यशील कलाकृती मिळते.

थिंकिंग मशीन्स फ्रंटियर-स्केल लॅबसाठी विलक्षणपणे उघडल्या आहेत, त्याच्या मॉडेल रिलीझसह तांत्रिक ब्लॉग पोस्ट प्रकाशित करतात. ती पारदर्शकता बाहेरील संशोधकांना दुर्मिळ काहीतरी देते: आधुनिक प्रशिक्षण रन मिश्रित-सुस्पष्ट अंकगणिताच्या गोंधळलेल्या संख्यात्मक वास्तवांना कसे हाताळते याचे दस्तऐवजीकरण केलेले, पुनरुत्पादन करण्यायोग्य खाते.

व्यापक उद्योगासाठी, संदेश असा आहे की 4-बिट प्रशिक्षण संशोधन कुतूहलापासून उत्पादन तंत्राकडे वळले आहे. जसजसे अधिक प्रयोगशाळा समान धोरणांचा अवलंब करतात, तसतसे सैद्धांतिक हार्डवेअर पीक कामगिरी आणि प्रशिक्षण थ्रूपुट यांच्यातील अंतर कमी होईल — आणि प्रशिक्षण सक्षम मॉडेलची किंमत कमी होत जाईल.

AI च्या पुढे रहा

फ्रंटियर मॉडेल्समागील तंत्रे साप्ताहिक विकसित होतात. एआय बझ वायरचे अनुसरण करा क्षेत्राला आकार देणाऱ्या संशोधनावर स्पष्ट, सोर्स्ड रिपोर्टिंगसाठी.

अधिक एआय बातम्या वाचा →