कृत्रिम बुद्धिमत्तेमध्ये सर्वात वेगाने वाढणारी किंमत चिप्स असू शकत नाही - ती त्यांना फीड करणारी वीज असू शकते. 12 ऑक्टोबर रोजी, मिशिगन विद्यापीठाने घोषित केले की NVIDIA, जगातील प्रबळ AI संगणकीय कंपनी, मोठ्या भाषेच्या मॉडेल्सना प्रशिक्षण देण्यासाठी NVIDIA च्या मोठ्या प्रमाणात वापरल्या जाणाऱ्या मुक्त-स्रोत व्यासपीठ Megatron-LM मध्ये दोन U-M ऊर्जा-बचत साधने कशी जोडायची याचे मूल्यांकन करत आहे. युनिव्हर्सिटीच्या म्हणण्यानुसार, हे सॉफ्टवेअर एआयला प्रशिक्षित करण्यासाठी लागणारी उर्जा 50% पर्यंत कमी करू शकते - प्रशिक्षणाचा वेग किंवा मॉडेल कार्यप्रदर्शन प्रभावित न करता.
बातमी एका प्रयोगशाळेच्या प्रकाशन रेकॉर्डच्या पलीकडे महत्त्वाची आहे. Megatron-LM हा एक विशिष्ट संशोधन कोडबेस नाही: कंपन्या ते थेट किंवा त्यांच्या स्वत:च्या खाजगी, सानुकूलित प्रशिक्षण प्लॅटफॉर्मसाठी पाया म्हणून वापरू शकतात आणि हे NVIDIA च्या प्रमुख नेमोट्रॉन मॉडेल्सचे प्रशिक्षण देण्यासाठी वापरले जाणारे व्यासपीठ आहे, जे वापरकर्ते त्यांच्या स्वतःच्या हार्डवेअरवर डाउनलोड करू शकतात. जर U-M टूल्सने ते Megatron-LM मध्ये बनवले तर, शैक्षणिक प्रयोगशाळेत विकसित केलेल्या कार्यक्षमतेतील सुधारणा जगातील AI प्रशिक्षणाच्या मोठ्या वाटा म्हणून प्रसारित होतील. AI च्या मागे असलेल्या पायाभूत सुविधांच्या शर्यतीच्या चालू कव्हरेजसाठी, आमच्या मुख्यपृष्ठावरील नवीनतम AI घडामोडींचे अनुसरण करा.
Kareus आणि Perseus प्रत्यक्षात काय करतात
दोन साधने वितरित प्रशिक्षणातील कचऱ्याच्या विविध स्त्रोतांवर आणि त्यांच्या बचत स्टॅकवर हल्ला करतात.
पर्सियस: प्रोसेसर गती व्यवस्थापित करणे
पर्सियस अति-तरतुदी केलेल्या गणनाला संबोधित करतो. मोठ्या प्रशिक्षणात, प्रत्येक प्रोसेसर प्रत्येक क्षणी उपयुक्त कार्य करत नाही, तरीही ते सर्व शक्ती काढतात. प्रशिक्षणाच्या प्रत्येक बिंदूवर उपलब्ध असलेल्या वास्तविक कामाशी जुळण्यासाठी प्रोसेसर गती व्यवस्थापित करून, पर्सियस AI ला प्रशिक्षित करण्यासाठी लागणारी उर्जा 30% पर्यंत कमी करते, U-M च्या मते.
कॅरियस: गणना आणि संप्रेषणासाठी अधिक हुशार वेळ
Kareus एक सूक्ष्म समस्या लक्ष्य. आधुनिक मॉडेल्सचे प्रशिक्षण देण्यासाठी शेकडो ते हजारो प्रोसेसरचे समन्वय आवश्यक आहे आणि काम गणना आणि चिप-टू-चिप कम्युनिकेशनमध्ये विभाजित होते. कॅरियस त्या प्रशिक्षण आणि संप्रेषण कार्यांमध्ये सर्वात कार्यक्षम वेळ आणि संसाधने वाटून घेऊन प्रशिक्षण ऊर्जा अतिरिक्त 15% ते 30% कमी करते — प्रत्येकाचे वेळापत्रक तयार करते जेणेकरून कोणीही दुसऱ्याची वाट पाहत बसू नये.
एकत्रितपणे, युनिव्हर्सिटी म्हणते, साधने AI ला प्रशिक्षित करण्यासाठी वापरल्या जाणाऱ्या सुमारे अर्ध्या उर्जेची बचत करू शकतात आणि समान प्रशिक्षण गती आणि अंतिम मॉडेल कार्यप्रदर्शन प्रदान करतात. Kareus हा देखील एक समवयस्क-पुनरावलोकन केलेला परिणाम आहे: हे साधन जुलैमध्ये USENIX सिम्पोझिअम ऑन ऑपरेटिंग सिस्टम्स डिझाइन अँड इम्प्लीमेंटेशन (OSDI) मध्ये सादर केले गेले होते, सिस्टम संशोधनाच्या शीर्षस्थानांपैकी एक.
NVIDIA ची स्वारस्य ही वास्तविक कथा का आहे
शैक्षणिक कार्यक्षमतेच्या संशोधनाला सहसा उत्पादनाचा मोठा रस्ता असतो. हे वेगळे असू शकते, कारण ते कुठे उतरले आहे. डॉक्टरेट विद्यार्थ्याने, रुफन वू, या मागील उन्हाळ्यात NVIDIA मध्ये U-M सॉफ्टवेअरला Megatron-LM मध्ये समाकलित करण्यासाठी इंटर्नशिपचा एक भाग म्हणून घालवला — म्हणजे साधने प्रस्ताव नसून NVIDIA च्या प्रशिक्षण स्टॅकमध्ये कार्यरत कोड आहेत, आता औपचारिक मूल्यमापन अंतर्गत.
"मॉडेल मोठे होत असल्याने आणि अधिक लोकांना मॉडेल्सचे प्रशिक्षण द्यायचे असल्याने AI शक्ती-संबंधित होत आहे, परंतु आम्ही कमी उर्जेचा वापर करून समान प्रशिक्षण गती आणि कार्यप्रदर्शन साध्य करू शकतो," U-M मधील संगणक विज्ञान आणि अभियांत्रिकीमधील डॉक्टरेटचे विद्यार्थी वू म्हणाले, विद्यापीठाच्या घोषणेमध्ये. "सॉफ्टवेअर आणि हार्डवेअर स्तरावर एआय उर्जेचा वापर ऑप्टिमाइझ करण्याच्या अनेक संधी आहेत आणि इंटर्नशिपचा सर्वात फायद्याचा भाग म्हणजे माझ्या संशोधनातून उत्पादन प्रणालींमध्ये कल्पना आणण्याची संधी होती," ती पुढे म्हणाली.
तो शब्द — शक्ती-संबंधित — हा उद्योगाचा नवीन वॉचवर्ड आहे. U-M संशोधन संघ, ज्यात डॉक्टरेट विद्यार्थी जेफ मा आणि जे-वोन चुंग आणि सहयोगी प्राध्यापक मोशरफ चौधरी यांचाही समावेश आहे, NVIDIA सोबत एकत्रीकरणावर काम करत आहे. संघाची रचना सरळ आहे: शेकडो ते हजारो प्रोसेसरमध्ये प्रशिक्षण समन्वयित करण्याचा सर्वात कार्यक्षम मार्ग शोधून AI ला कमी ऊर्जा आणि खर्चासाठी अधिक उपयुक्त कार्य करू देणे हे उद्दिष्ट आहे.
ऊर्जा ही आता प्रथम श्रेणीची मर्यादा आहे
सीमावर्ती प्रशिक्षणाचे प्रमाण हे टक्केवारी बचतीला मोक्याच्या संख्येत रूपांतरित करते. मेटाने या आठवड्यात सांगितले की त्याच्या नवीन म्यूज वंडर मॉडेल्सला प्रोमिथियस येथे प्रशिक्षण देण्यात आले होते, ज्याचे वर्णन गिगावॅट-स्केल डेटा सेंटर म्हणून केले जाते. जेव्हा एकच प्रशिक्षण मोहीम त्या प्रमाणात चालते तेव्हा टक्केवारी-स्तरीय उर्जा कमी होणे ही गोलाकार त्रुटी नसते; पॉवर बजेटमध्ये चालवलेले प्रशिक्षण फिट करणे किंवा नसणे यात फरक आहे.
अर्थशास्त्र भौतिकशास्त्राचे अनुसरण करते. एआयच्या विस्तारासाठी ऊर्जा हे गेटिंग स्त्रोतांपैकी एक बनले आहे. सॉफ्टवेअर जे प्रशिक्षण चालवण्याचे विजेचे बिल अर्धे करते — विद्यमान हार्डवेअर वापरून — प्रत्येक कंपनीचे स्वतःचे मॉडेल प्रशिक्षण देणारे कॅल्क्युलस बदलते आणि विशेषतः लहान खेळाडूंसाठी ज्यांच्यासाठी ऊर्जा खर्च बंधनकारक आहे.
हे AI च्या आसपासच्या पर्यावरणीय वादविवादाची देखील पुनर्रचना करते. बहुतेक सार्वजनिक चर्चा अनुमान उर्जेवर केंद्रित आहे — प्रत्येक चॅटबॉट क्वेरीद्वारे वापरण्यात येणारी शक्ती. परंतु प्रशिक्षण हे आहे जेथे उर्जेचे सर्वात मोठे एकल ब्लॉक्स केंद्रित केले जातात आणि एक सरदार-पुनरावलोकन, विक्रेता-अज्ञेयवादी सॉफ्टवेअर दृष्टीकोन जो त्यास अर्ध्यापर्यंत कमी करतो तो हार्डवेअर रोडमॅपपेक्षा दुर्मिळ काहीतरी ऑफर करतो: पुढील डेटा सेंटर बिल्ड ऐवजी पुढील ओपन-सोर्स रिलीझसह कार्यक्षमतेचा फायदा होऊ शकतो.
पुढे काय होईल
युनिव्हर्सिटीचे म्हणणे आहे की NVIDIA हे सॉफ्टवेअर त्याच्या ओपन-सोर्स ट्रेनिंग प्लॅटफॉर्मवर कसे जोडायचे याचे मूल्यांकन करत आहे. जर ते Megatron-LM मध्ये पाठवले तर, संपूर्ण उद्योगात आणि शैक्षणिक क्षेत्रात फ्रेमवर्क किती प्रमाणात वापरले जाते हे लक्षात घेऊन दत्तक घेणे त्वरीत पसरू शकते. U-M टीमचा व्यापक संशोधन कार्यक्रम संपूर्ण सॉफ्टवेअर आणि हार्डवेअर स्टॅकमध्ये ऊर्जा बचत शोधत आहे — एक अजेंडा जो काही वर्षांपूर्वी खास दिसत होता आणि आता गेमच्या केंद्रासारखा दिसतो.
