AI पायाभूत सुविधांचे अर्थशास्त्र पलटले आहे. SC26 सुपरकंप्युटिंग कॉन्फरन्समध्ये CUBE रिसर्चला दिलेल्या मुलाखतीत पॉझिट्रॉन एआयचे कार्यकारी कॅमेरॉन मॅककॅस्किल यांच्या मते, आज एआय इन्फ्रास्ट्रक्चरद्वारे चालणारे अंदाजे दोन-तृतियांश वर्कलोड हे प्रशिक्षणाऐवजी अनुमान आहेत. तीन वर्षांपूर्वी, विभाजन जवळजवळ अगदी उलट होते: सुमारे 85 टक्के प्रशिक्षण आणि 15 टक्के अनुमान.
तो उलटा बदल शांतपणे एआय कंप्युट कुठे राहतो याचा नकाशा पुन्हा रेखाटत आहे — आणि हे स्पष्ट करते की अनुमान-प्रथम चिपमेकरची नवीन पिढी अचानक स्वत:पेक्षा खूप मोठ्या कंपन्यांकडून क्लाउड डील का जिंकत आहे.
फ्लिपच्या मागे संख्या
"आम्ही अशा टप्प्यावर आहोत जिथे या AI पायाभूत सुविधांद्वारे चालवले जाणारे सुमारे दोन-तृतियांश वर्कलोड हे अनुमान विरुद्ध एक तृतीयांश प्रशिक्षण आहे," पॉझिट्रॉन येथील विक्री आणि व्यवसाय विकास प्रमुख मॅककास्किल यांनी CUBE रिसर्चच्या रेबेका नाइट आणि जॉन फ्युरिअर यांच्या मुलाखतीत सांगितले. "2023 मध्ये, ते 85% प्रशिक्षण, 15% अनुमानासारखे होते. त्यामुळे आता आपण पाहू शकता की अनुमान त्यांच्या पायाभूत सुविधा कशा तयार करणार आहेत याचे आर्थिक निर्णय का घेत आहेत."
शिफ्टला अंतर्ज्ञानी अर्थ प्राप्त होतो. प्रशिक्षण अब्ज-डॉलर क्लस्टरसह मूठभर फ्रंटियर लॅबमध्ये होते. अनुमान सर्वत्र घडते, प्रत्येक वेळी वापरकर्ता मॉडेलला प्रॉम्प्ट करतो — आणि जसजसा ग्राहक आणि एंटरप्राइझचा अवलंब वाढला आहे, टोकन्सच्या एकूण मागणीने प्रशिक्षण युगासाठी तयार केलेल्या पायाभूत सुविधांवर मात केली आहे. पॉवर, कूलिंग आणि मेमरी सप्लाय आता आकार देतात जिथे टोकन्स रॉ चिप परफॉर्मन्सप्रमाणेच व्युत्पन्न होतात आणि ते बदलते जे हार्डवेअर डील जिंकते.
कमोडिटी मेमरी वर पॉझिट्रॉनची बाजी
Positron AI, ज्याने सप्टेंबरमध्ये $5 अब्ज मूल्यावर $875 दशलक्ष जमा केले, त्याने अनुमान युगाभोवती आपली संपूर्ण रणनीती तयार केली आहे. कंपनीची मध्यवर्ती डिझाइन निवड: हाय-बँडविड्थ मेमरी (HBM) वगळा, दुर्मिळ आणि महाग मेमरी प्रकार जो बहुतेक AI प्रवेगकांना अँकर करतो आणि त्याऐवजी कमोडिटी मेमरीभोवती अनुमान उपकरणे तयार करा.
"उद्योगातील इतर प्रत्येकजण एचबीएम किंवा उच्च बँडविड्थ मेमरी वापरत आहे. ते पुरवठ्यामध्ये खूप मर्यादित आहे, खूप महाग आहे," मॅककास्किल म्हणाले. "आम्ही कमोडिटी मेमरीसह गेलो."
ट्रेड-ऑफ मुद्दाम केले जातात. कमोडिटी मेमरी स्वस्त आहे आणि स्त्रोत करणे खूप सोपे आहे, आणि पॉझिट्रॉनचे आर्किटेक्चर एअर-कूल्ड रूमसाठी पॉवर पुरेसे कमी ठेवते - विदेशी द्रव थंड करण्याची आवश्यकता नाही. एकल पॉझिट्रॉन सर्व्हर सुमारे 4,500 वॅट्स काढतो आणि कंपनीच्या आगामी टायटन सर्व्हरचा संपूर्ण रॅक 40 किलोवॅटमध्ये बसतो.
रोडमॅप वेगाने पुढे जात आहे. पॉझिट्रॉनचा प्रथम-पिढीचा ऍटलस सर्व्हर प्रोग्राम करण्यायोग्य चिपवर चालला आणि कंपनीने टायटन सर्व्हरसाठी पुढील वर्षाच्या सुरुवातीला स्वतःचे सिलिकॉन टेप करण्याची योजना आखली आहे. कंपनीने आधीच मार्की तैनात केले आहे: मॅककास्किलच्या म्हणण्यानुसार, ओरॅकल या तिमाहीत अंदाजे 340 ॲटलस सर्व्हर त्याच्या क्लाउडमध्ये थेट आणत आहे आणि आगामी टायटन पिढीसाठी वचनबद्ध असताना निओक्लॉड प्रदात्याने ॲटलससाठी साइन इन केले आहे.
मॉड्युलर डेटा सेंटर्स निष्कर्षासाठी नैसर्गिक घर बनतात
कदाचित मुलाखतीचा सर्वात परिणामकारक भाग असा आहे जिथे मॅककास्किल म्हणतात की मागणी येत आहे: हायपरस्केल कॅम्पस नाही, परंतु लहान, वेगवान, मॉड्यूलर सुविधा.
"आम्ही सध्या ज्या कंपन्यांच्या गटांमध्ये वाढ पाहत आहोत आणि उत्पादनासाठी आमच्याकडे येत आहोत त्यापैकी एक म्हणजे ही मॉड्यूलर डेटा सेंटर्स, जिथे त्यांच्याकडे अर्धा मेगावाट किंवा 1 मेगावाट किंवा 2.5 मेगावाट मॉड्यूलर डेटा सेंटर आहे आणि ते खूप लवकर तैनात केले जाऊ शकतात," तो म्हणाला. "यापैकी बऱ्याच अनुमानित खेळाडूंचे ध्येय आहे की मला 90 ते 120 दिवसांत जमीन आणि शक्तीपासून कमाई करण्यायोग्य टोकन मिळवायचे आहेत."
ती टाइमलाइन — ब्रेकिंग ग्राउंड ते कमाईपर्यंतचा अंदाजे एक चतुर्थांश — गिगावॅट-स्केल प्रशिक्षण कॅम्पससाठी अशक्य आहे, ज्याला परवानगी, तयार आणि उत्साही होण्यासाठी अनेक वर्षे लागू शकतात. अनुमान वर्कलोड लहान, भौगोलिकदृष्ट्या अधिक लवचिक आणि अशा साइट्ससाठी सहिष्णु आहेत जिथे ऑपरेटर काही मेगावॅट स्वस्त उर्जा मोठ्या नियामक अडथळ्यांशिवाय शोधू शकतात. याचा परिणाम म्हणजे टेल्को साइट्स, कोलोकेशन सुविधा आणि मागणी असलेल्या ठिकाणी मॉड्युलर युनिट्समध्ये बसलेल्या वितरित अनुमान पायाभूत सुविधांचा एक उदयोन्मुख स्तर आहे.
उद्योगासाठी याचा अर्थ काय आहे
चिप विक्रेत्यांसाठी, संदेश असा आहे की एआय हार्डवेअर बाजार दुभंगत आहे. प्रशिक्षण सर्वात प्रगत प्रवेगक आणि सर्वात खोल खिशांना बक्षीस देत राहते. अनुमान विविध गुणांना बक्षीस देते: उर्जा कार्यक्षमता, मेमरी खर्च, उपयोजन गती आणि सामान्य वातानुकूलित इमारतींमध्ये धावण्याची क्षमता. केवळ प्रशिक्षण शर्यतीसाठी ऑप्टिमाइझ केलेल्या विक्रेत्यांना भविष्यातील तैनाती निर्णयांची सर्वात मोठी मात्रा सापडू शकते — जिथे टोकन प्रत्यक्षात कमाई केली जातात — भिन्न मर्यादांसाठी डिझाइन केलेल्या हार्डवेअरवर होत आहेत.
एंटरप्राइजेस आणि क्लाउड ग्राहकांसाठी, शिफ्ट बहुतेक अदृश्य आहे परंतु वाढत्या परिणामकारक आहे: 90-ते-120-दिवसांच्या वाढीमध्ये येणारी अनुमान क्षमता म्हणजे वापरकर्ते आणि डेटाच्या जवळ मॉडेल चालविण्यासाठी अधिक स्पर्धात्मक किंमत आणि अधिक भौगोलिक पर्याय.
आणि एआय इंडस्ट्रीच्या बिल्डआउट कथनासाठी — जी अनेकदा गिगावॅट कॅम्पससाठी अंतहीन शर्यत म्हणून तयार केली जाते — निष्कर्ष फ्लिप हे एक स्मरणपत्र आहे की मागणी वक्र केवळ स्केलिंगच नाही तर विस्तृत होत आहे. SC26 वर उद्धृत केलेला दोन-तृतियांश मैलाचा दगड हा एका कार्यकारीाचा अंदाज आहे, परंतु तो प्रत्येक प्रमुख क्लाउड ऑपरेटरने नोंदवलेल्या दिशेशी जुळतो: AI बिल्डआउटचे गुरुत्वाकर्षण केंद्र मॉडेलला प्रशिक्षण देण्यापासून ते सेवा देण्यापर्यंत हलवत आहे.
एआयच्या पुढे राहाAI हार्डवेअर आणि पायाभूत सुविधांच्या बातम्यांसाठी तुमचा स्रोत AI Buzz Wire सोबत घडणाऱ्या नवीनतम AI घडामोडींचा मागोवा घ्या.
अधिक AI बातम्या वाचा →