कृत्रिम बुद्धिमत्ता में सबसे तेजी से बढ़ती लागत चिप्स नहीं हो सकती है - यह बिजली हो सकती है जो उन्हें खिलाती है। 12 अक्टूबर को, मिशिगन विश्वविद्यालय ने घोषणा की कि दुनिया की प्रमुख एआई कंप्यूटिंग कंपनी एनवीआईडीआईए मूल्यांकन कर रही है कि बड़े भाषा मॉडलों के प्रशिक्षण के लिए एनवीआईडीआईए के व्यापक रूप से उपयोग किए जाने वाले ओपन-सोर्स प्लेटफॉर्म मेगेट्रॉन-एलएम में दो यू-एम ऊर्जा-बचत उपकरण कैसे जोड़े जाएं। विश्वविद्यालय के अनुसार, सॉफ्टवेयर एआई को प्रशिक्षित करने के लिए आवश्यक ऊर्जा में 50% तक की कटौती कर सकता है - प्रशिक्षण की गति या मॉडल प्रदर्शन को प्रभावित किए बिना।
समाचार एक प्रयोगशाला के प्रकाशन रिकॉर्ड से कहीं अधिक मायने रखता है। मेगेट्रॉन-एलएम एक विशिष्ट अनुसंधान कोडबेस नहीं है: कंपनियां इसे सीधे या अपने स्वयं के निजी, अनुकूलित प्रशिक्षण प्लेटफार्मों की नींव के रूप में उपयोग कर सकती हैं, और यह एनवीआईडीआईए के प्रमुख नेमोट्रॉन मॉडल को प्रशिक्षित करने के लिए उपयोग किया जाने वाला मंच है, जिसे उपयोगकर्ता अपने हार्डवेयर पर डाउनलोड कर सकते हैं। यदि यू-एम उपकरण इसे मेगेट्रॉन-एलएम में बनाते हैं, तो अकादमिक प्रयोगशाला में विकसित दक्षता सुधार दुनिया के एआई प्रशिक्षण रन के एक बड़े हिस्से में फैल जाएगा। एआई के पीछे बुनियादी ढांचे की दौड़ के चल रहे कवरेज के लिए, हमारे होमपेज पर नवीनतम एआई विकास का अनुसरण करें।
कैरियस और पर्सियस वास्तव में क्या करते हैं
दो उपकरण वितरित प्रशिक्षण में कचरे के विभिन्न स्रोतों और उनकी बचत पर हमला करते हैं।
पर्सियस: प्रोसेसर स्पीड को प्रबंधित करना
पर्सियस अति-प्रावधानित गणना को संबोधित करता है। एक बड़े प्रशिक्षण दौर में, प्रत्येक प्रोसेसर हर पल उपयोगी कार्य नहीं कर रहा है, फिर भी वे सभी शक्ति खींचते हैं। यू-एम के अनुसार, प्रशिक्षण में प्रत्येक बिंदु पर उपलब्ध वास्तविक कार्य से मेल खाने के लिए प्रोसेसर की गति का प्रबंधन करके, पर्सियस एआई को प्रशिक्षित करने के लिए आवश्यक ऊर्जा को 30% तक कम कर देता है।
कैरियस: गणना और संचार के लिए बेहतर समय
कैरियस एक सूक्ष्म समस्या को लक्षित करता है। आधुनिक मॉडलों के प्रशिक्षण के लिए सैकड़ों से हजारों प्रोसेसरों के समन्वय की आवश्यकता होती है, और कार्य गणना और चिप-टू-चिप संचार के बीच विभाजित होता है। केरियस उन प्रशिक्षण और संचार कार्यों के बीच सबसे कुशल समय और संसाधन साझाकरण ढूंढकर प्रशिक्षण ऊर्जा को अतिरिक्त 15% से 30% तक कम कर देता है - प्रत्येक को शेड्यूल करना ताकि कोई भी दूसरे के इंतजार में बेकार न बैठे।
विश्वविद्यालय का कहना है कि ये उपकरण समान प्रशिक्षण गति और अंतिम मॉडल प्रदर्शन प्रदान करते हुए एआई को प्रशिक्षित करने के लिए उपयोग की जाने वाली लगभग आधी ऊर्जा बचा सकते हैं। कैरियस भी एक सहकर्मी-समीक्षित परिणाम है: टूल को जुलाई में ऑपरेटिंग सिस्टम डिज़ाइन और कार्यान्वयन (ओएसडीआई) पर यूसेनिक्स संगोष्ठी में प्रस्तुत किया गया था, जो सिस्टम अनुसंधान के लिए शीर्ष स्थानों में से एक है।
क्यों NVIDIA की रुचि वास्तविक कहानी है
शैक्षणिक दक्षता अनुसंधान को आमतौर पर उत्पादन के लिए एक लंबी राह का सामना करना पड़ता है। यह अलग हो सकता है, इसकी वजह जहां यह उतरा है। एक डॉक्टरेट छात्र, रुओफ़ान वू, ने पिछली गर्मियों में एनवीआईडीआईए में इंटर्नशिप के हिस्से के रूप में यू-एम सॉफ्टवेयर को मेगेट्रॉन-एलएम में एकीकृत करने में बिताया - जिसका अर्थ है कि उपकरण एक प्रस्ताव नहीं हैं बल्कि एनवीआईडीआईए के प्रशिक्षण स्टैक के अंदर काम करने वाले कोड हैं, जो अब औपचारिक मूल्यांकन के तहत हैं।
यू-एम में कंप्यूटर विज्ञान और इंजीनियरिंग में डॉक्टरेट छात्र वू ने विश्वविद्यालय की घोषणा में कहा, "जैसे-जैसे मॉडल बड़े होते जा रहे हैं और अधिक लोग मॉडल को प्रशिक्षित करना चाहते हैं, एआई की शक्ति सीमित होती जा रही है, लेकिन हम कम ऊर्जा का उपयोग करके समान प्रशिक्षण गति और प्रदर्शन प्राप्त कर सकते हैं।" उन्होंने कहा, "सॉफ्टवेयर और हार्डवेयर स्तर पर एआई ऊर्जा के उपयोग को अनुकूलित करने के बहुत सारे अवसर हैं, और इंटर्नशिप के सबसे फायदेमंद हिस्सों में से एक मेरे शोध से विचारों को उत्पादन प्रणालियों में लाने का अवसर था।"
वह शब्द - शक्ति-विवश - उद्योग का नया सूत्रवाक्य है। यू-एम अनुसंधान टीम, जिसमें एसोसिएट प्रोफेसर मोशरफ चौधरी के साथ डॉक्टरेट छात्र जेफ मा और जे-वोन चुंग भी शामिल हैं, एकीकरण पर एनवीआईडीआईए के साथ काम कर रहे हैं। टीम की रूपरेखा सीधी है: लक्ष्य एआई को सैकड़ों से हजारों प्रोसेसरों के बीच प्रशिक्षण को समन्वित करने का सबसे कुशल तरीका ढूंढकर कम ऊर्जा और लागत के लिए अधिक उपयोगी कार्य करने देना है।
ऊर्जा अब प्रथम श्रेणी की बाधा है
सीमांत प्रशिक्षण का पैमाना प्रतिशत बचत को रणनीतिक संख्याओं में बदल देता है। मेटा ने इस सप्ताह कहा कि उसके नए म्यूज़ वंडर मॉडल को प्रोमेथियस में प्रशिक्षित किया गया था, जिसे वह गीगावाट-स्केल डेटा सेंटर के रूप में वर्णित करता है। जब कोई एकल प्रशिक्षण अभियान उस पैमाने पर चलता है, तो प्रतिशत-स्तर की ऊर्जा कटौती कोई पूर्णांक त्रुटि नहीं होती है; यह प्रशिक्षण को पावर बजट के अंदर फिट करने या न करने के बीच का अंतर है।
अर्थशास्त्र भौतिकी का अनुसरण करता है। एआई विस्तार के लिए ऊर्जा गेटिंग संसाधनों में से एक बन गई है। सॉफ्टवेयर जो मौजूदा हार्डवेयर का उपयोग करके प्रशिक्षण के बिजली बिल को आधा कर देता है - प्रत्येक कंपनी के अपने मॉडलों को प्रशिक्षित करने के लिए कैलकुलस बदलता है, और विशेष रूप से छोटे खिलाड़ियों के लिए जिनके लिए ऊर्जा लागत बाध्यकारी बाधा है।
यह एआई के इर्द-गिर्द पर्यावरण संबंधी बहस को भी फिर से परिभाषित करता है। अधिकांश सार्वजनिक चर्चा अनुमान ऊर्जा पर केंद्रित रही है - प्रत्येक चैटबॉट क्वेरी द्वारा खपत की जाने वाली शक्ति। लेकिन प्रशिक्षण वह जगह है जहां ऊर्जा के सबसे बड़े एकल ब्लॉक केंद्रित होते हैं, और एक सहकर्मी-समीक्षा, विक्रेता-अज्ञेयवादी सॉफ़्टवेयर दृष्टिकोण जो इसे आधा तक कम कर देता है, हार्डवेयर रोडमैप की तुलना में कुछ दुर्लभ प्रदान करता है: दक्षता लाभ जो अगले डेटा सेंटर के निर्माण के बजाय अगले ओपन-सोर्स रिलीज़ के साथ आ सकता है।
आगे क्या होता है
विश्वविद्यालय का कहना है कि NVIDIA इस बात का मूल्यांकन कर रहा है कि सॉफ्टवेयर को अपने ओपन-सोर्स प्रशिक्षण प्लेटफॉर्म में कैसे जोड़ा जाए। यदि यह मेगेट्रॉन-एलएम में शिप होता है, तो उद्योग और शिक्षा जगत में इस ढांचे का व्यापक रूप से उपयोग किए जाने को देखते हुए इसे अपनाना तेजी से फैल सकता है। यू-एम टीम का व्यापक अनुसंधान कार्यक्रम सॉफ्टवेयर और हार्डवेयर स्टैक में ऊर्जा बचत की तलाश जारी रखता है - एक एजेंडा जो कुछ साल पहले विशिष्ट लगता था और अब खेल के केंद्र जैसा दिखता है।
