Qualcomm ने Cloud AI 100 Ultra लाँच केले आहे, एक डेटा सेंटर इन्फरन्स एक्सीलरेटर जो INT8 कार्यप्रदर्शनाच्या 870 TOPS पर्यंत आणि FP16 गणनेच्या 288 TFLOPS पर्यंत वितरीत करतो आणि फक्त 150 वॅट्स काढतो - GPUs च्या पॉवर एन्व्हलपचा एक अंश जो सध्या संदर्भ जनरेटमध्ये वर्चस्व गाजवतो.

क्वालकॉमच्या अधिकृत डेटा सेंटर उत्पादन पृष्ठावर सूचीबद्ध केलेले आणि लॉन्च कव्हरेजमध्ये तपशीलवार असलेले कार्ड, विशेषतः जनरेटिव्ह एआय आणि मोठ्या भाषा मॉडेल वर्कलोडसाठी डिझाइन केलेले आहे. हे मोबाइल चिप जायंटला अनुमान बाजारपेठेत थेट आव्हानकर्ता म्हणून स्थान देते, जेथे एंटरप्रायझेस एआय एजंट्स, कोपायलट आणि पुनर्प्राप्ती-वर्धित अनुप्रयोग मोठ्या प्रमाणावर तैनात करत असल्याने मागणी वाढत आहे. AI हार्डवेअर शर्यतीच्या अधिक संदर्भासाठी, आमचे AI बातम्यांचे कव्हरेज पहा.

चष्मा: SRAM प्रथम, DRAM द्वितीय

क्लाउड AI 100 Ultra च्या केंद्रस्थानी 64 AI कोर आणि 576 MB ऑन-डाय SRAM आहेत. Qualcomm चा पैज असा आहे की मॉडेलचे वजन आणि ॲक्टिव्हेशन्स भौतिकरित्या कॉम्प्युट युनिट्सच्या जवळ ठेवणे — प्रत्येक टोकन बाह्य मेमरीमध्ये शटल करण्याऐवजी — ट्रान्सफॉर्मर-आधारित मॉडेल्ससाठी पैसे देतात, जे मेमरी बँडविड्थवर जगतात आणि मरतात.

कार्डमध्ये अजूनही 128 GB LPDDR4x मेमरी आहे ज्यामध्ये 548 GB/s बँडविड्थ मोठ्या मॉडेल्ससाठी आणि लांब संदर्भांसाठी आहे, PCIe Gen4 वर 16 लेनसह जोडलेले आहे. ते संयोजन — मोठे ऑन-डाय एसआरएएम आणि एक माफक 150W पॉवर ड्रॉ — हे कार्डचे भिन्नता आहे. Nvidia चे डेटा सेंटर GPU ची श्रेणी सामान्यत: 300W ते 700W पर्यंत असते आणि जेव्हा टोकनद्वारे अनुमान काढले जाते तेव्हा प्रत्येक वॅट महत्त्वाचा असतो आणि डेटा सेंटर पॉवर हा उद्योगाचा सर्वात विवादित स्त्रोत आहे.

"क्लाउड एआय 100 अल्ट्रा हे एक कार्यप्रदर्शन- आणि खर्च-अनुकूलित AI अनुमान समाधान आहे," कंपनीने आपल्या उत्पादन सामग्रीमध्ये म्हटले आहे, संगणक दृष्टीपासून नैसर्गिक भाषा प्रक्रियेपर्यंतच्या वर्कलोड्समध्ये प्रोग्रामेबिलिटीवर जोर दिला आहे.

सॉफ्टवेअर: एक OpenAI-सुसंगत ऑन-रॅम्प

डेटा सेंटरमध्ये हार्डवेअर कधीही क्वालकॉमची समस्या नव्हती; सॉफ्टवेअर आहे. कंपनी त्याच्या AI Inference Suite सह, चॅटबॉट्स, copilots आणि AI एजंट तयार करण्यासाठी OpenAI-सुसंगत APIs उघड करणारी एक सॉफ्टवेअर लेयर आहे हे संबोधित करत आहे.

संच चॅट, इमेज जनरेशन, मल्टीमॉडल मॉडेल्स आणि रिट्रीव्हल-ऑगमेंटेड जनरेशन (RAG) वर्कफ्लोला सपोर्ट करतो आणि कुबर्नेट्स किंवा बेअर-मेटल कंटेनरद्वारे तैनात करतो. क्वालकॉम युजर मॅनेजमेंट आणि ॲडमिनिस्ट्रेशन टूल्स देखील पाठवते — एक अनोखी जोड जी कच्च्या प्रवेगक ऑफरिंगमध्ये सहसा कमी पडतात, परंतु एंटरप्राइझ आयटी टीम जेव्हा वर्कलोड्स इन-हाउस हलवतात तेव्हा खूप वजन करतात.

OpenAI-सुसंगत API पृष्ठभाग धोरणात्मकदृष्ट्या महत्त्वाचे आहे: ते विकसकांना क्वालकॉम हार्डवेअरवर विद्यमान OpenAI-बद्ध पाइपलाइन पुनर्लेखनाऐवजी कॉन्फिगरेशन बदलासह निर्देशित करू देते, स्विचिंग खर्च कमी करते ज्यामुळे या मार्केटमध्ये इनकमबन्सी संरक्षित आहे.

एका स्पष्ट नेत्यासह गर्दीचे मैदान

Qualcomm एक अनुमान बाजारात प्रवेश करते जे AI हार्डवेअर सायकलचे रणांगण बनले आहे. Nvidia चे L40S आणि H100 वर्चस्व; AMD चे MI300X आणि Intel चे Gaudi 3 समान वर्कलोडला लक्ष्य करतात; आणि Groq आणि Cerebras मधील विशेष सिलिकॉनने कच्च्या अनुमानाच्या गतीवर कोनाडे कोरले आहेत.

मागणीची बाजू स्क्रॅम्बल स्पष्ट करते. एआय एजंट्स आणि आरएजी पाइपलाइन्सना सेवा देणे हे एका वापरकर्त्याच्या सत्राने व्युत्पन्न केलेल्या मॉडेल कॉल्सच्या संख्येने गुणाकार करते, आणि त्यातील प्रत्येक कॉल ही एक अनुमान समस्या आहे जी प्रति टोकन सर्वात कमी खर्चात सोडवली जाते. हायपरस्केलर हे हाताळण्यासाठी फ्लॅगशिप GPU चे रॅक खरेदी करतात; त्यांच्या खाली असलेले उद्योग त्यांच्या वीज करारावर फेरनिविदा न करता, मानक पॉवर सर्किटवर, मानक सर्व्हरमध्ये बसणारे हार्डवेअर शोधत आहेत.

क्वालकॉमची खेळपट्टी ही कमाल कामगिरीपेक्षा मालकीची एकूण किंमत आहे. स्केलवर अनुमान चालवणाऱ्या उद्योगांसाठी, वीज वापर थेट ऑपरेटिंग खर्चात जातो आणि 150W वर स्पर्धात्मक थ्रूपुट वितरीत करणारे कार्ड ब्रूट-फोर्स GPU चे अर्थशास्त्र कमी करते. प्रशिक्षण हे Nvidia चे डोमेन राहते — अल्ट्रा त्यावर कोणताही दावा करत नाही — परंतु अनुमान म्हणजे उद्योगाचे एकक अर्थशास्त्र प्रत्यक्षात कुठे ठरवले जाते, आणि ऑन-प्रिमाइसेस क्लस्टर किंवा कोलोकेशन केजमध्ये असले तरीही बहुतेक उपक्रम स्वतः चालवतील असा वर्कलोड आहे.

सॉफ्टवेअर इकोसिस्टम ही चढाईची लढाई आहे. Nvidia चे CUDA प्लॅटफॉर्म अजूनही बहुतेक AI डेव्हलपरसाठी डीफॉल्ट निवड आहे आणि OpenAI- सुसंगत API एंट्रीमधील अडथळे कमी करत असताना, ते सानुकूल अनुमान पाइपलाइनसाठी आवश्यक पुनर्कार्य दूर करत नाहीत.

ते Qualcomm च्या लाइनअपमध्ये कुठे बसते

अल्ट्रा क्वालकॉमच्या अनुमान लाइनअपच्या शीर्षस्थानी आहे, ज्यामध्ये क्लाउड एआय 80 अल्ट्रा (समान 576 एमबी एसआरएएमसह INT8 च्या 618 TOPS पर्यंत), क्लाउड एआय 100 प्रो, आणि क्लाउड एआय 100 स्टँडर्डचा समावेश आहे, जे एज आणि 5W स्केलच्या लहान-मोठ्या पॉवरसह लक्ष्यित करते.

लाँच क्वालकॉमच्या ड्रॅगनफ्लाय डेटा सेंटर रोडमॅपच्या सध्याच्या पिढीचे प्रतिनिधित्व करते, जी कंपनी क्लाउड-स्केल AI वर्कलोडसाठी विकसित करत आहे — आणि जे आता क्वालकॉमला अशा उपक्रमांसाठी युक्तिवाद देते जे सार्वजनिक क्लाउडमध्ये ऑन-प्रिमाइसेस चालवायचे आहेत, मग ते खर्च, लेटन्सी किंवा डेटा गव्हर्नन्स कारणास्तव असो.

बेट, एका वाक्यात

Qualcomm हे वाजवीत आहे की AI मूठभर हायपरस्केलर्सपासून हजारो उपक्रमांकडे जात असताना, विजयी अनुमान कार्ड सर्वात वेगवान नसून सर्वात कार्यक्षम कार्ड आहे. क्लाउड एआय 100 अल्ट्रा हा सिलिकॉनमधील युक्तिवाद आहे; विकासक वॅट्सचे अनुसरण करतात की नाही हा खुला प्रश्न आहे.

---

एआयच्या पुढे राहा

नवीनतम AI बातम्या, विश्लेषण आणि यश मिळवा — सर्व एकाच ठिकाणी.

अधिक AI बातम्या वाचा →