Amazon ने TorchNeuron ची घोषणा केली आहे, एक ओपन-सोर्स नेटिव्ह PyTorch बॅकएंड त्याच्या AI चिप्सच्या Trainium कुटुंबासाठी, ज्याने मशीन लर्निंग वर्कलोड्ससाठी कस्टम सिलिकॉन स्वीकारण्यातील सर्वात मोठा व्यावहारिक अडथळे दूर केले आहेत. 20 ऑक्टोबर रोजी PyTorch कॉन्फरन्स नॉर्थ अमेरिकेच्या आधी प्रकाशित झालेल्या PyTorch ब्लॉगवरील अधिकृत पोस्टनुसार, विकसक आता प्रोप्रायटरी टूलिंगच्या आसपास त्यांचे वर्कफ्लो पुन्हा लिहिण्याऐवजी ट्रेनियमवर विद्यमान PyTorch मॉडेल कोड सिंगल-लाइन बदलासह चालवू शकतात.

या घोषणेने तत्काळ लक्ष वेधले कारण ते एनव्हीडियाचा सर्वात टिकाऊ फायदा म्हणून विश्लेषकांनी दीर्घकाळ वर्णन केलेल्या गोष्टींवर लक्ष केंद्रित करते: कच्ची चिप कामगिरी नाही, परंतु CUDA सॉफ्टवेअर इकोसिस्टम जी विकासकांना त्याच्या GPU ला बांधते. रॉयटर्सने ॲमेझॉनच्या रूपात रिलीझ तयार केले की त्याची AI चिप्स AI मधील सर्वात लोकप्रिय डेव्हलपमेंट फ्रेमवर्कसह कार्य करतील, तर TechCrunch ने TorchNeuron ला Nvidia मधील कंपनीचा सर्वात मोठा शॉट म्हटले आहे. एक्सीलरेटर मार्केट कसे बदलत आहे याच्या विस्तृत दृश्यासाठी, आमचे सध्या सुरू असलेले AI हार्डवेअर न्यूज कव्हरेज या घडामोडींचा मागोवा घेते.

टॉर्चन्यूरॉन प्रत्यक्षात काय बदलते

टॉर्चन्यूरॉनचे मुख्य वचन म्हणजे साधेपणा. PyTorch ब्लॉगवर प्रकाशित केलेल्या उदाहरणामध्ये, '.to('न्यूरॉन')` सह मॉडेलला नवीन डिव्हाइसवर हलवण्याशिवाय दुसरे काहीही नसून ट्रेनियमवर विद्यमान प्रशिक्षण लूप चालते. `torch.accelerator` विरुद्ध लिहिलेला कोड, PyTorch चे शिफारस केलेले डिव्हाइस-अज्ञेयवादी API, पोस्टनुसार, बदल न केलेले चालते. संकलित केलेल्या वर्कलोडसाठी, डेव्हलपर एकदा `torch.compiler.set_default_backend("neuron")` सह डीफॉल्ट बॅकएंड सेट करतात आणि नंतर कोणतेही बदल न करता `model.compile()` ला आवाहन करतात.

हुड अंतर्गत, TorchNeuron, PrivateUse1 द्वारे Trainium ची नोंदणी करते, PyTorch चा सानुकूल हार्डवेअर बॅकएंडसाठी अधिकृत विस्तार बिंदू आहे, याचा अर्थ चिप फ्रेमवर्कवर जोडलेल्या उपांगाच्या ऐवजी मानक PyTorch डिव्हाइस म्हणून वागते. AWS एकीकरणाचे वर्णन अनेक एक्झिक्यूशन मोड्स म्हणून करते:

  • संशोधन आणि डीबगिंगसाठी उत्सुक अंमलबजावणी**, प्रायोगिक "ॲडॉप्टिव्ह एजर मोड" सह जे लॉन्च ओव्हरहेड कमी करते
  • torch.compile उत्पादन कार्यक्षमतेसाठी, FlexAttention साठी मूळ समर्थनासह, न्यूरॉन कंपाइलर ऑप्टिमाइझ केलेल्या आलेखामध्ये मॉडेल कॅप्चर करणे
  • न्यूरॉन कर्नल इंटरफेस (NKI) संशोधकांसाठी ज्यांना सानुकूल, निम्न-स्तरीय कर्नल आवश्यक आहेत

घोषणेनुसार बॅकएंड Trainium2 आणि नवीन Trainium3 चिप्सवर काम करतो.

Nvidia च्या Software Moat वर थेट स्ट्राइक

AI संगणनावरील Nvidia ची पकड कधीही केवळ वेगवान हार्डवेअरवर टिकून राहिली नाही. CUDA, कंपनीचे दोन दशके जुने सॉफ्टवेअर प्लॅटफॉर्म, जिथे बहुतेक AI संशोधन कोड लिहिलेले, ट्यून केले आणि तैनात केले गेले आणि प्रत्येक चॅलेंजर चिप — AMD च्या Instinct लाइनपासून Google च्या TPUs आणि Amazon च्या Trainium पर्यंत — विकासकांना ते सोडण्यास सांगण्याच्या खर्चाचा सामना करावा लागला. GeekWire, Benzinga आणि GuruFocus मधील टॉर्चन्यूरॉन लाँचच्या कव्हरेजने त्या खंदकावर हल्ला म्हणून घोषणा समानपणे तयार केली.

Amazon विकसकांना जिंकण्यासाठी PyTorch मधून बाहेर काढण्याचा प्रयत्न करत नाही. त्याऐवजी, ते PyTorch मध्ये Trainium आणत आहे, त्यामुळे फ्रेमवर्कचा प्रचंड वापरकर्ता आधार सवयी न बदलता चिप स्वीकारू शकतो. PyTorch ब्लॉग पोस्टमध्ये Meta कडून एक समर्थन समाविष्ट आहे, जे फ्रेमवर्क राखते: "AWS Trainium साठी नेटिव्ह सपोर्ट त्या निवडीचा विस्तार करतो, संशोधक आणि अभियंत्यांना उत्सुक अंमलबजावणी आणि त्यांना आधीच माहित असलेले API वापरून प्रयोग आणि पुनरावृत्ती करण्यास सक्षम करते," मेटा येथील पायटोर्च इंजिनियरिंगच्या संचालक जना व्हॅन ग्रेनेन म्हणाल्या.

ते फ्रेमिंग AWS च्या क्लाउड व्यवसायासाठी महत्त्वाचे आहे. प्रशिक्षण आणि अनुमानासाठी Nvidia GPU ला कमी किमतीचा पर्याय म्हणून ट्रेनियम उदाहरणे विकली गेली आहेत आणि चिप्सने आधीच मार्की AI ग्राहकांना आकर्षित केले आहे. चिप्स PyTorch ची मूळ वाटणे हे आक्षेप थेट संबोधित करते ज्याने व्यापक अवलंब कमी केला आहे: पोर्टिंग प्रयत्न.

तांत्रिक व्याप्ती, नोटबुकपासून क्लस्टर-स्केल प्रशिक्षणापर्यंत

PyTorch ब्लॉगवर सूचीबद्ध केलेल्या क्षमता सुचविते की Amazon हे छंदांच्या प्रयोगांच्या पलीकडे लक्ष देत आहे. TorchNeuron मध्ये BF16, FP32, आणि FP16 सुस्पष्टता सह मजकूर, मल्टीमॉडल आणि व्हिजन-लँग्वेज मॉडेल्स तसेच इमेज आणि व्हिडिओ जनरेशन, स्टेट स्पेस मॉडेल्स आणि जागतिक मॉडेल्समध्ये दिसणारे ऑपरेटर सेट समाविष्ट आहेत; TorchAO आणि FP8 समर्थन पुढील प्रकाशनात सामान्य उपलब्धतेपूर्वी खाजगी बीटामध्ये आहेत.

वितरित प्रशिक्षण, एकल-GPU कोडला क्लस्टर-स्केल रनमध्ये बदलणारी शिस्त, मानक PyTorch API द्वारे समर्थित आहे — DDP, FSDP2, SimpleFSDP, टेन्सर आणि पाइपलाइन समांतरता आणि ZeRO-शैलीचे शार्डिंग, बहु-आयामी प्रक्रिया गटांसाठी DTensor आणि DeviceMesh सह. स्ट्रीम्स आणि इव्हेंट्स पायटॉर्चच्या सिमेंटिक्सला ट्रेनियमच्या हार्डवेअर रांगेवर मॅप करतात, पोस्टमध्ये म्हटले आहे.

अनुमानासाठी, ॲमेझॉनचे न्यूरॉन स्टॅक एकाच पायावर तयार करतात: vLLM न्यूरॉन मोठ्या भाषेच्या मॉडेल्सची सेवा करते, तर vLLM ओम्नी न्यूरॉन प्रतिमा आणि व्हिडिओ निर्मितीसाठी प्रसार मॉडेल्सची सेवा देते. न्यूरॉन कर्नल इंटरफेस संशोधकांना उत्सुक आणि संकलित अंमलबजावणीसाठी सानुकूल ऑपरेटर लिहू देतो आणि AWS हे ओपन-सोर्सिंग NKI-lib आहे, मुख्य प्रवाहातील LLM आणि मल्टीमोडल परिस्थितींसाठी FlashAttention आणि MoE ब्लॉकवाइज कंप्युटेशन कव्हर करणारे ट्रेनियम-ऑप्टिमाइझ कर्नलचा संच.

कार्यप्रदर्शन टूलिंग देखील समाविष्ट आहे. Neuron Explorer मानक `torch.profiler` चा विस्तार फ्रेमवर्कपासून हार्डवेअरपर्यंत एक्झिक्यूशन ट्रेस करण्यासाठी करते, प्रत्येक इव्हेंटला त्याच्या सोर्स लाइनशी परत जोडते आणि Parquet-formatted मेट्रिक्स एक्सपोर्ट करू शकते ज्या पोस्ट नोट्स ऑटोमेटेड बॉटलनेक विश्लेषणासाठी एजंट्सद्वारे वापरल्या जाऊ शकतात.

उपलब्धता आणि पुढे काय येते

TorchNeuron 20 ऑक्टोबर रोजी PyTorch कॉन्फरन्स नॉर्थ अमेरिका येथे ओपन-सोर्स लॉन्चसाठी सेट आहे, ब्लॉग पोस्टनुसार, हगिंग फेस ट्रान्सफॉर्मर्स v5 पर्यंत सुसंगतता विस्तारित आहे. AWS क्लाउड-स्केल AI प्रशिक्षण आणि अनुमानासाठी जमिनीपासून डिझाइन केलेल्या चिप्सचा पोर्टफोलिओ म्हणून ट्रेनियमचे वर्णन करते.

धोरणात्मक संदर्भ हा एक बाजार आहे ज्यामध्ये प्रत्येक प्रमुख क्लाउड प्रदाता एकाच वेळी Nvidia एक्सीलरेटर्सचा सर्वात मोठा खरेदीदार आणि प्रतिस्पर्धी असेल. मायक्रोसॉफ्ट, गुगल आणि मेटा सर्व कस्टम सिलिकॉन विकसित करत आहेत आणि Huawei सह चीनी कंपन्या CUDA च्या गुरुत्वाकर्षणापासून वाचण्यासाठी त्यांचे स्वतःचे सॉफ्टवेअर स्टॅक तयार करत आहेत. PyTorch मधील विकसकांना स्थलांतर करण्यास सांगण्यापेक्षा त्यांना भेटून, Amazon ने त्या स्पर्धेसाठी सर्वात कमी व्यत्यय आणणारा मार्ग निवडला आहे — आणि बहुधा, विकासकाचा अनुभव टिकून राहिल्यास, Nvidia हार्डवेअरमधून वास्तविक प्रशिक्षण वर्कलोड हलविण्यासाठी.

टॉर्चन्यूरॉन खरोखरच CUDA चा फायदा कमी करते की नाही हे प्रमाणावरील कार्यप्रदर्शन आणि वास्तविक-जगातील मॉडेल्सच्या लांब शेपटीवर अवलंबून असेल, अशा प्रश्नांची उत्तरे प्रक्षेपण सामग्री देत ​​नाहीत. परंतु बहुतेक PyTorch विकसकांना ट्रेनियमचा प्रयत्न करण्यापासून रोखणारा अडथळा - एक पुनर्लेखन - आता कोडच्या एका ओळीत कमी केला गेला आहे.

---

एआयच्या पुढे राहा

नवीनतम AI बातम्या, विश्लेषण आणि यश मिळवा — सर्व एकाच ठिकाणी.

अधिक AI बातम्या वाचा →