अमेज़ॅन ने अपने AI चिप्स के ट्रेनियम परिवार के लिए एक ओपन-सोर्स देशी PyTorch बैकएंड, TorchNeuron की घोषणा की है, जो मशीन लर्निंग वर्कलोड के लिए कस्टम सिलिकॉन को अपनाने में सबसे बड़ी व्यावहारिक बाधाओं में से एक को दूर करता है। 20 अक्टूबर को PyTorch सम्मेलन उत्तरी अमेरिका से पहले प्रकाशित PyTorch ब्लॉग पर एक आधिकारिक पोस्ट के अनुसार, डेवलपर्स अब मालिकाना टूलींग के आसपास अपने वर्कफ़्लो को फिर से लिखने के बजाय, सिंगल-लाइन परिवर्तन के साथ ट्रेनियम पर मौजूदा PyTorch मॉडल कोड चला सकते हैं।

घोषणा ने तत्काल ध्यान आकर्षित किया क्योंकि यह उस चीज़ को लक्षित करता है जिसे विश्लेषकों ने लंबे समय से एनवीडिया के सबसे टिकाऊ लाभ के रूप में वर्णित किया है: कच्ची चिप प्रदर्शन नहीं, बल्कि सीयूडीए सॉफ्टवेयर पारिस्थितिकी तंत्र जो डेवलपर्स को अपने जीपीयू से बांधता है। रॉयटर्स ने इस रिलीज को इस तरह पेश किया कि अमेज़ॅन ने कहा कि उसके एआई चिप्स एआई में सबसे लोकप्रिय विकास ढांचे के साथ काम करेंगे, जबकि टेकक्रंच ने टॉर्चन्यूरॉन को एनवीडिया पर कंपनी का अब तक का सबसे बड़ा शॉट कहा। एक्सेलेरेटर बाजार कैसे बदल रहा है, इसके व्यापक दृष्टिकोण के लिए, हमारा चल रहा एआई हार्डवेयर समाचार कवरेज इन विकासों को सामने आने पर ट्रैक करता है।

टॉर्च न्यूरॉन वास्तव में क्या बदलता है

TorchNeuron का मुख्य वादा सरलता है। PyTorch ब्लॉग पर प्रकाशित उदाहरण में, एक मौजूदा प्रशिक्षण लूप मॉडल को `.to('neuron')` के साथ नए डिवाइस पर ले जाने के अलावा और कुछ नहीं करने के बाद ट्रेनियम पर चलता है। पोस्ट के अनुसार, `torch.accelerator`, PyTorch की अनुशंसित डिवाइस-अज्ञेयवादी एपीआई के विरुद्ध लिखा गया कोड, बिना संशोधित चलता है। संकलित कार्यभार के लिए, डेवलपर्स डिफ़ॉल्ट बैकएंड को एक बार `torch.compiler.set_default_backend("neuron")` के साथ सेट करते हैं और फिर बिना किसी बदलाव के `model.compile()` को लागू करते हैं।

हुड के तहत, TorchNeuron कस्टम हार्डवेयर बैकएंड के लिए PyTorch के आधिकारिक विस्तार बिंदु, PrivateUse1 के माध्यम से ट्रेनियम को पंजीकृत करता है, जिसका अर्थ है कि चिप फ्रेमवर्क पर बोल्ट किए गए उपांग के बजाय एक मानक PyTorch डिवाइस के रूप में व्यवहार करता है। AWS कई निष्पादन मोडों में फैले एकीकरण का वर्णन करता है:

  • अनुसंधान और डिबगिंग के लिए उत्सुक निष्पादन, एक प्रयोगात्मक "अनुकूली उत्सुक मोड" के साथ जो लॉन्च ओवरहेड को कम करता है
  • उत्पादन प्रदर्शन के लिए torch.compile, फ्लेक्सअटेंशन के लिए मूल समर्थन के साथ, मॉडल को ग्राफ़ में कैप्चर करना जिसे न्यूरॉन कंपाइलर अनुकूलित करता है
  • न्यूरॉन कर्नेल इंटरफ़ेस (एनकेआई) उन शोधकर्ताओं के लिए जिन्हें कस्टम, निम्न-स्तरीय कर्नेल की आवश्यकता है

घोषणा के अनुसार, बैकएंड ट्रेनियम2 और नए ट्रेनियम3 चिप्स दोनों पर काम करता है।

एनवीडिया के सॉफ्टवेयर मोट पर सीधा हमला

एआई कंप्यूटिंग पर एनवीडिया की पकड़ कभी भी केवल तेज हार्डवेयर पर नहीं टिकी है। CUDA, कंपनी का दो दशक पुराना सॉफ़्टवेयर प्लेटफ़ॉर्म है, जहाँ अधिकांश AI अनुसंधान कोड लिखे, ट्यून और तैनात किए जाते हैं, और प्रत्येक चैलेंजर चिप - AMD की इंस्टिंक्ट लाइन से लेकर Google के TPU और Amazon के ट्रेनियम तक - को डेवलपर्स से इसे छोड़ने के लिए कहने की लागत से जूझना पड़ता है। GeekWire, Benzinga, और GuruFocus में TorchNeuron लॉन्च की कवरेज ने समान रूप से घोषणा को उस खाई पर हमले के रूप में प्रस्तुत किया।

अमेज़ॅन डेवलपर्स को अपने पक्ष में लाने के लिए उन्हें PyTorch से बाहर निकालने की कोशिश नहीं कर रहा है। इसके बजाय, यह ट्रेनियम को PyTorch में ला रहा है, ताकि फ्रेमवर्क का विशाल उपयोगकर्ता आधार आदतों को बदले बिना चिप को अपना सके। PyTorch ब्लॉग पोस्ट में मेटा से एक समर्थन शामिल है, जो रूपरेखा को बनाए रखता है: "AWS ट्रेनियम के लिए मूल समर्थन उस विकल्प का विस्तार करता है, शोधकर्ताओं और इंजीनियरों को उत्सुक निष्पादन और वितरित एपीआई का उपयोग करके प्रयोग करने और पुनरावृत्त करने में सक्षम बनाता है जो वे पहले से जानते हैं," मेटा में PyTorch इंजीनियरिंग के निदेशक जना वैन ग्रुनेन ने पोस्ट में कहा।

वह फ़्रेमिंग AWS के क्लाउड व्यवसाय के लिए मायने रखती है। प्रशिक्षण और अनुमान के लिए ट्रेनियम इंस्टेंसेस को एनवीडिया जीपीयू के कम लागत वाले विकल्प के रूप में विपणन किया गया है, और चिप्स ने पहले से ही प्रमुख एआई ग्राहकों को आकर्षित किया है। चिप्स को PyTorch का मूल निवासी बनाना सीधे तौर पर उस आपत्ति को संबोधित करता है जिसने व्यापक रूप से अपनाने को धीमा कर दिया है: पोर्टिंग प्रयास।

तकनीकी दायरा, नोटबुक से लेकर क्लस्टर-स्केल प्रशिक्षण तक

PyTorch ब्लॉग पर सूचीबद्ध क्षमताओं से पता चलता है कि अमेज़ॅन का लक्ष्य शौकिया प्रयोगों से कहीं आगे है। TorchNeuron BF16, FP32 और FP16 परिशुद्धता के साथ टेक्स्ट, मल्टीमॉडल और विज़न-भाषा मॉडल के साथ-साथ छवि और वीडियो पीढ़ी, राज्य अंतरिक्ष मॉडल और विश्व मॉडल में देखे गए ऑपरेटर सेट को कवर करता है; अगले रिलीज़ में सामान्य उपलब्धता से पहले TorchAO और FP8 समर्थन निजी बीटा में हैं।

वितरित प्रशिक्षण, वह अनुशासन जो एकल-जीपीयू कोड को क्लस्टर-स्केल रन में बदल देता है, मानक PyTorch API - DDP, FSDP2, SimpleFSDP, टेंसर और पाइपलाइन समानता, और ज़ीरो-स्टाइल शार्डिंग के साथ-साथ बहु-आयामी प्रक्रिया समूहों के लिए DTensor और डिवाइसमेश के माध्यम से समर्थित है। पोस्ट में कहा गया है कि स्ट्रीम और इवेंट PyTorch के शब्दार्थ को ट्रेनियम की हार्डवेयर कतारों पर मैप करते हैं।

अनुमान के लिए, अमेज़ॅन के न्यूरॉन स्टैक एक ही नींव पर निर्मित होते हैं: वीएलएलएम न्यूरॉन बड़े भाषा मॉडल पेश करता है, जबकि वीएलएलएम ओमनी न्यूरॉन छवि और वीडियो पीढ़ी के लिए प्रसार मॉडल पेश करता है। न्यूरॉन कर्नेल इंटरफ़ेस शोधकर्ताओं को उत्सुक और संकलित निष्पादन दोनों के लिए कस्टम ऑपरेटर लिखने की सुविधा देता है, और एडब्ल्यूएस ओपन-सोर्सिंग एनकेआई-लिब है, जो मुख्यधारा एलएलएम और मल्टीमॉडल परिदृश्यों के लिए फ्लैशअटेंशन और एमओई ब्लॉकवाइज गणनाओं को कवर करने वाले ट्रेनियम-अनुकूलित कर्नेल का एक सेट है।

प्रदर्शन टूलींग भी शामिल है। न्यूरॉन एक्सप्लोरर फ्रेमवर्क से हार्डवेयर तक निष्पादन का पता लगाने के लिए मानक `टॉर्च.प्रोफाइलर` का विस्तार करता है, प्रत्येक घटना को उसकी स्रोत लाइन से जोड़ता है, और Parquet-स्वरूपित मेट्रिक्स को निर्यात कर सकता है जिसे पोस्ट नोट्स स्वचालित टोंटी विश्लेषण के लिए एजेंटों द्वारा उपभोग किया जा सकता है।

उपलब्धता और आगे क्या आता है

ब्लॉग पोस्ट के अनुसार, TorchNeuron 20 अक्टूबर को PyTorch कॉन्फ़्रेंस उत्तरी अमेरिका में अपने ओपन-सोर्स लॉन्च के लिए तैयार है, जिसमें हगिंग फेस ट्रांसफ़ॉर्मर्स v5 तक संगतता शामिल है। एडब्ल्यूएस ट्रेनियम को क्लाउड-स्केल एआई प्रशिक्षण और अनुमान के लिए जमीन से डिजाइन किए गए चिप्स के पोर्टफोलियो के रूप में वर्णित करता है।

रणनीतिक संदर्भ एक ऐसा बाजार है जिसमें प्रत्येक प्रमुख क्लाउड प्रदाता एक साथ एनवीडिया एक्सेलेरेटर का सबसे बड़ा खरीदार और संभावित प्रतिस्पर्धी है। Microsoft, Google और Meta सभी कस्टम सिलिकॉन विकसित करते हैं, और Huawei सहित चीनी कंपनियाँ CUDA के गुरुत्वाकर्षण से बचने के लिए अपने स्वयं के सॉफ़्टवेयर स्टैक का निर्माण कर रही हैं। PyTorch के अंदर डेवलपर्स से मिलने के बजाय उन्हें माइग्रेट करने के लिए कहकर, अमेज़ॅन ने उस प्रतियोगिता में कम से कम विघटनकारी रास्ता चुना है - और सबसे अधिक संभावना है, अगर डेवलपर अनुभव सही रहता है, तो वास्तविक प्रशिक्षण कार्यभार को एनवीडिया हार्डवेयर से हटा दिया जाए।

क्या TorchNeuron वास्तव में CUDA के लाभ को नष्ट कर देता है, यह बड़े पैमाने पर प्रदर्शन और वास्तविक दुनिया के मॉडल की लंबी पूंछ पर निर्भर करेगा, लॉन्च सामग्री सवालों का जवाब नहीं देती है। लेकिन अधिकांश PyTorch डेवलपर्स को ट्रेनियम - एक पुनर्लेखन - को आज़माने से रोकने वाली बाधा को अब कोड की एक पंक्ति तक सीमित कर दिया गया है।

---

एआई से आगे रहें

नवीनतम एआई समाचार, विश्लेषण और सफलताएँ प्राप्त करें - सभी एक ही स्थान पर।

अधिक AI समाचार पढ़ें →