ओपनएआई की पूर्व मुख्य प्रौद्योगिकी अधिकारी मीरा मुराती द्वारा स्थापित अनुसंधान कंपनी, थिंकिंग मशीन्स लैब ने एक विस्तृत तकनीकी विवरण प्रकाशित किया है कि यह कैसे बड़े भाषा मॉडल को लगभग पूरी तरह से 4-बिट परिशुद्धता में प्रशिक्षित करती है - कंपनी का कहना है कि यह तकनीक एनवीडिया के नवीनतम डेटा सेंटर हार्डवेयर पर प्रमुख गति और मेमोरी बचत को अनलॉक करती है।
ब्लॉग पोस्ट, जिसका शीर्षक "एंड-टू-एंड 4-बिट ट्रेनिंग" है और 13 नवंबर को कंपनी की वेबसाइट पर प्रकाशित हुआ, कम-परिशुद्धता प्रशिक्षण के पीछे संख्यात्मक ट्रेड-ऑफ के माध्यम से चलता है और बताता है कि टीम ने अपने इंकलिंग 2 छोटे मॉडल को प्रशिक्षित करते समय उन्हें कैसे प्रबंधित किया। नवीनतम एआई विकासों का अनुसरण करने वाले पाठकों के लिए, पोस्ट इंजीनियरिंग निर्णयों पर एक दुर्लभ सार्वजनिक नज़र पेश करता है जो यह निर्धारित करता है कि फ्रंटियर-स्केल प्रशिक्षण चलाने की वास्तव में कितनी लागत है।
कम बिट्स का मतलब तेज़ प्रशिक्षण क्यों है
एक बड़े भाषा मॉडल के प्रशिक्षण में भारी मात्रा में संख्याओं की गणना और भंडारण शामिल है। प्रत्येक मान के लिए कम बिट्स का उपयोग करने से मेमोरी का उपयोग कम हो जाता है और GPU तेजी से अंकगणित निष्पादित कर पाता है। लागत सटीक है: कम बिट्स का मतलब कम प्रतिनिधित्व योग्य संख्याएं हैं, इसलिए मूल्यों को अधिक आक्रामक तरीके से गोल किया जाना चाहिए।
कंपनी समस्या को एक सरल उदाहरण से समझाती है। यदि कोई प्रारूप केवल संख्या 3 और 4 का प्रतिनिधित्व कर सकता है, तो 3.2 को संग्रहीत करने के लिए 3 तक पूर्णांकन की आवश्यकता होती है, जिससे 0.2 की परिमाणीकरण त्रुटि उत्पन्न होती है। एकल राउंडिंग त्रुटि मामूली है, लेकिन प्रशिक्षण के दौरान ये त्रुटियां परतों और अनुकूलन चरणों में जमा हो जाती हैं, और वे सीखने की प्रक्रिया में हस्तक्षेप कर सकती हैं।
"यह कम-सटीकता प्रशिक्षण की केंद्रीय चुनौती है: सीखने में बाधा डालने वाली त्रुटियों को शामिल किए बिना हम तेज़ अंकगणित से कैसे लाभ उठा सकते हैं?" कंपनी ने पोस्ट में लिखा.
तीन प्रारूप, एक प्रशिक्षण दौड़
एकल परिशुद्धता स्तर के लिए प्रतिबद्ध होने के बजाय, थिंकिंग मशीनें प्रशिक्षण के विभिन्न चरणों में तीन संख्यात्मक प्रारूपों का उपयोग करती हैं: बीएफ16, एमएक्सएफपी8, और एनवीएफपी4। प्रत्येक प्रारूप में निश्चित परिशुद्धता होती है, लेकिन इसकी गति इसे चलाने वाले हार्डवेयर पर निर्भर करती है।
कंपनी एनवीडिया के ग्रेस ब्लैकवेल अल्ट्रा प्लेटफॉर्म, जीबी300 पर प्रशिक्षण देती है, जिसे विशेष रूप से एनवीएफपी4 में मैट्रिक्स गुणन में तेजी लाने के लिए डिज़ाइन किया गया है। पोस्ट के अनुसार, NVFP4 GB300 सिस्टम पर 6 गुना तेजी से चलते हुए BF16 की तुलना में 3.6 गुना कम बिट्स के साथ मूल्यों को संग्रहीत करता है। कच्चे थ्रूपुट शब्दों में, कंपनी GB300 प्रदर्शन को NVFP4 में लगभग 15 PFLOPS, MXFP8 में 5 PFLOPS और BF16 में 2.5 PFLOPS पर सूचीबद्ध करती है।
समस्या यह है कि NVFP4 का आक्रामक संपीड़न व्यापक प्रारूपों की तुलना में कहीं अधिक परिमाणीकरण त्रुटि उत्पन्न करता है। वह त्रुटि प्रशिक्षण के कुछ चरणों में स्वीकार्य है और अन्य में अस्वीकार्य है, यही कारण है कि कंपनी प्रत्येक चरण को अलग से मानती है।
विभिन्न चरण, विभिन्न नियम
ब्लॉग पोस्ट प्रशिक्षण को चार चरणों में विभाजित करता है - प्रीट्रेनिंग के आगे और पीछे के पास, सुदृढीकरण सीखने का नमूना, और आरएल ट्रेनर - और प्रत्येक को त्रुटि को कम करने, पूर्वाग्रह को कम करने, गति बढ़ाने और मेमोरी उपयोग को कम करने के बीच प्राथमिकताओं का एक अलग संतुलन प्रदान करता है।
हाई-वॉल्यूम चरणों में गति सबसे अधिक मायने रखती है: प्रीट्रेनिंग, जो खरबों टोकन पर चलती है, और आरएल सैंपलिंग, जो बड़ी मात्रा में रोलआउट उत्पन्न करती है। हालाँकि, बैकवर्ड पास एक विशेष मामला है। पोस्ट बताती है कि बैकवर्ड एक बैच में कई टोकन पर औसत से गुजरता है, जो बेतरतीब ढंग से वितरित राउंडिंग त्रुटियों के प्रभाव को कम करता है - लेकिन वे परिमाणीकरण पूर्वाग्रह के प्रति अत्यधिक संवेदनशील होते हैं, व्यवस्थित बहाव जो तब होता है जब मान लगातार एक दिशा में घूमते हैं। यादृच्छिक शोर के विपरीत, यह पूर्वाग्रह परतों, नमूनों और प्रशिक्षण चरणों में मिश्रित हो सकता है।
कंपनी का कहना है कि उसने अपाचे 2.0 लाइसेंस के तहत इस महीने की शुरुआत में जारी ओपन-वेट मिक्सचर-ऑफ-एक्सपर्ट्स मॉडल इंकलिंग 2 स्मॉल को प्रशिक्षित करते समय इन ट्रेड-ऑफ को प्रबंधित किया। पोस्ट यह दावा नहीं करती कि रन का प्रत्येक भाग 4 बिट्स में चला; बल्कि, यह एक एंड-टू-एंड रणनीति का वर्णन करता है जिसमें प्रत्येक घटक की सटीकता को डिफ़ॉल्ट रूप से विरासत में मिलने के बजाय जानबूझकर चुना जाता है।
कम परिशुद्धता वाला प्रशिक्षण क्यों मायने रखता है
यहां का अर्थशास्त्र सीधा-सरल है. फ्रंटियर मॉडल विकास में कंप्यूट प्रमुख लागत है, और हार्डवेयर विक्रेता प्रत्येक नई चिप पीढ़ी में कम-सटीक त्वरण जोड़ने के लिए दौड़ रहे हैं। एनवीडिया ने अपने ब्लैकवेल अल्ट्रा प्लेटफॉर्म में एनवीएफपी4 सपोर्ट को एक हेडलाइन फीचर के रूप में तैनात किया है, और एएमडी, गूगल और अन्य के प्रतिद्वंद्वी एक्सेलेरेटर अपने स्वयं के कम-परिशुद्धता प्रारूपों का विज्ञापन करते हैं।
यदि अनुसंधान प्रयोगशालाएँ अधिक प्रशिक्षण पाइपलाइन को 4-बिट अंकगणित में सुरक्षित रूप से आगे बढ़ा सकती हैं, तो वही हार्डवेयर बजट अधिक प्रयोग, अधिक टोकन या बड़े मॉडल खरीदता है। यह ऐसे बाजार में एक सार्थक लाभ है जहां अत्याधुनिक एक्सेलेरेटर तक पहुंच दुर्लभ और महंगी है। यह उद्योग के परिमाणीकरण-जागरूक अनुमान और सट्टा डिकोडिंग जैसी दक्षता तकनीकों की ओर व्यापक दबाव के साथ भी जुड़ता है, जो दोनों निश्चित हार्डवेयर से अधिक क्षमता को निचोड़ते हैं।
यह पोस्ट इस बात का भी संकेत है कि अनुसंधान समुदाय किस ओर जा रहा है। कम परिशुद्धता प्रशिक्षण को लंबे समय से अनुमान से परे किसी भी चीज़ के लिए बहुत जोखिम भरा माना जाता था, क्योंकि गोलाई त्रुटियों को भ्रष्ट शिक्षण माना जाता था। सावधानीपूर्वक चरण-दर-चरण विश्लेषण - जैसा कि थिंकिंग मशीन्स ने प्रकाशित किया था - इस प्रकार उस धारणा का परीक्षण किया जाता है और, जहां संभव हो, पलट दिया जाता है।
ब्लॉग पोस्ट से लेकर ओपन वेट तक
जो बात इस खुलासे को उल्लेखनीय बनाती है वह यह है कि यह पूरी तरह सैद्धांतिक नहीं है। कंपनी ने तकनीक को सीधे उस मॉडल से जोड़ा है जिसे उसने वास्तव में शिप किया है। इंकलिंग 2 स्मॉल को नवंबर की शुरुआत में डाउनलोड करने योग्य वज़न के साथ जारी किया गया था, और नई पोस्ट इसके प्रशिक्षण के पीछे की संख्यात्मक रणनीति बताती है। मॉडल डाउनलोड करने वाले प्रैक्टिशनर, वास्तव में, कंपनी द्वारा वर्णित कम-सटीक पद्धति का एक कार्यशील आर्टिफैक्ट प्राप्त कर रहे हैं।
थिंकिंग मशीन्स फ्रंटियर-स्केल लैब के लिए असामान्य रूप से खुली हुई है, जो अपने मॉडल रिलीज के साथ तकनीकी ब्लॉग पोस्ट प्रकाशित कर रही है। वह पारदर्शिता बाहरी शोधकर्ताओं को कुछ दुर्लभ देती है: एक आधुनिक प्रशिक्षण मिश्रित-सटीक अंकगणित की गड़बड़ संख्यात्मक वास्तविकताओं को कैसे संभालता है, इसका एक दस्तावेजी, प्रतिलिपि प्रस्तुत करने योग्य विवरण।
व्यापक उद्योग के लिए, संदेश यह है कि 4-बिट प्रशिक्षण अनुसंधान जिज्ञासा से उत्पादन तकनीक की ओर बढ़ गया है। जैसे-जैसे अधिक प्रयोगशालाएं समान रणनीतियों को अपनाएंगी, सैद्धांतिक हार्डवेयर शिखर प्रदर्शन और वास्तविक प्रशिक्षण थ्रूपुट के बीच का अंतर कम हो जाएगा - और प्रशिक्षण सक्षम मॉडल की लागत में गिरावट जारी रहेगी।
एआई से आगे रहें
फ्रंटियर मॉडल के पीछे की तकनीकें साप्ताहिक रूप से विकसित होती हैं। क्षेत्र को आकार देने वाले अनुसंधान पर स्पष्ट, स्रोतित रिपोर्टिंग के लिए एआई बज़ वायर का अनुसरण करें।
अधिक AI समाचार पढ़ें →
