क्वालकॉम ने क्लाउड एआई 100 अल्ट्रा लॉन्च किया है, जो एक डेटा सेंटर अनुमान त्वरक है जो INT8 प्रदर्शन के 870 टॉप्स और एफपी 16 गणना के 288 टीएफएलओपीएस प्रदान करता है, जबकि केवल 150 वाट खींचता है - जीपीयू के पावर लिफाफे का एक अंश जो वर्तमान में जेनरेटिव एआई अनुमान पर हावी है।

क्वालकॉम के आधिकारिक डेटा सेंटर उत्पाद पृष्ठ पर सूचीबद्ध और लॉन्च कवरेज में विस्तृत कार्ड, विशेष रूप से जेनरेटिव एआई और बड़े भाषा मॉडल वर्कलोड के लिए डिज़ाइन किया गया है। यह मोबाइल चिप दिग्गज को अनुमान बाजार में प्रत्यक्ष चुनौती देने वाले के रूप में रखता है, जहां उद्यमों द्वारा एआई एजेंटों, सह-पायलटों और पुनर्प्राप्ति-संवर्धित अनुप्रयोगों को बड़े पैमाने पर तैनात करने के कारण मांग बढ़ रही है। एआई हार्डवेयर दौड़ पर अधिक संदर्भ के लिए, हमारा [एआई समाचार कवरेज] (https://aibuzzwire.news) देखें।

विशिष्टताएँ: SRAM प्रथम, DRAM द्वितीय

क्लाउड एआई 100 अल्ट्रा के केंद्र में 64 एआई कोर और 576 एमबी ऑन-डाई एसआरएएम हैं। क्वालकॉम का दांव यह है कि प्रत्येक टोकन को बाहरी मेमोरी में बंद करने के बजाय मॉडल के वजन और सक्रियण को भौतिक रूप से गणना इकाइयों के करीब रखना ट्रांसफार्मर-आधारित मॉडल के लिए फायदेमंद होता है, जो मेमोरी बैंडविड्थ पर रहते हैं और मर जाते हैं।

कार्ड में अभी भी बड़े मॉडलों और लंबे संदर्भों के लिए 548 जीबी/एस बैंडविड्थ के साथ 128 जीबी एलपीडीडीआर4एक्स मेमोरी है, जो 16 लेन के साथ पीसीआईई जेन4 पर जुड़ा हुआ है। वह संयोजन - बड़ा ऑन-डाई SRAM और एक मामूली 150W पावर ड्रॉ - कार्ड का विभेदक है। एनवीडिया के डेटा सेंटर जीपीयू आम तौर पर 300W से 700W तक होते हैं, और प्रत्येक वाट मायने रखता है जब अनुमान टोकन द्वारा बिल किया जाता है और डेटा सेंटर पावर उद्योग का सबसे विवादित संसाधन है।

कंपनी ने अपने उत्पाद सामग्रियों में कहा, "क्लाउड एआई 100 अल्ट्रा एक प्रदर्शन- और लागत-अनुकूलित एआई अनुमान समाधान है," कंप्यूटर विज़न से लेकर प्राकृतिक भाषा प्रसंस्करण तक के कार्यभार में प्रोग्रामयोग्यता पर जोर दिया गया है।

सॉफ्टवेयर: एक ओपनएआई-संगत ऑन-रैंप

डेटा सेंटर में हार्डवेयर कभी भी क्वालकॉम की समस्या नहीं रही है; सॉफ्टवेयर है. कंपनी अपने एआई इनफेरेंस सूट के साथ इसे संबोधित कर रही है, एक सॉफ्टवेयर परत जो चैटबॉट, कोपायलट और एआई एजेंटों के निर्माण के लिए ओपनएआई-संगत एपीआई को उजागर करती है।

सुइट चैट, छवि निर्माण, मल्टीमॉडल मॉडल और पुनर्प्राप्ति-संवर्धित पीढ़ी (आरएजी) वर्कफ़्लो का समर्थन करता है, और कुबेरनेट्स या बेयर-मेटल कंटेनरों के माध्यम से तैनात करता है। क्वालकॉम उपयोगकर्ता प्रबंधन और प्रशासन उपकरण भी शिप करता है - एक अनग्लैमरस अतिरिक्त जिसमें कच्चे त्वरक की पेशकशों की अक्सर कमी होती है, लेकिन उद्यम आईटी टीमें जब वर्कलोड को घर में स्थानांतरित करती हैं तो भारी वजन उठाती हैं।

ओपनएआई-संगत एपीआई सतह रणनीतिक रूप से मायने रखती है: यह डेवलपर्स को क्वालकॉम हार्डवेयर पर मौजूदा ओपनएआई-बाउंड पाइपलाइनों को फिर से लिखने के बजाय कॉन्फ़िगरेशन परिवर्तन के साथ इंगित करने देती है, जिससे स्विचिंग लागत कम हो जाती है जिसने इस बाजार में सत्ता को संरक्षित किया है।

एक स्पष्ट नेता के साथ भीड़ भरा क्षेत्र

क्वालकॉम एक अनुमान बाजार में प्रवेश करता है जो एआई हार्डवेयर चक्र का युद्धक्षेत्र बन गया है। एनवीडिया के एल40एस और एच100 हावी हैं; एएमडी का एमआई300एक्स और इंटेल का गौडी 3 समान कार्यभार को लक्षित करते हैं; और ग्रोक और सेरेब्रस के विशेष सिलिकॉन ने कच्ची अनुमान गति पर जगह बनाई है।

मांग पक्ष हाथापाई की व्याख्या करता है। एआई एजेंटों और आरएजी पाइपलाइनों की सेवा करने से एकल उपयोगकर्ता सत्र द्वारा उत्पन्न मॉडल कॉल की संख्या कई गुना बढ़ जाती है, और उनमें से प्रत्येक कॉल एक अनुमान समस्या है जिसे प्रति टोकन न्यूनतम संभव लागत पर हल किया जाना है। हाइपरस्केलर्स इसे संभालने के लिए फ्लैगशिप जीपीयू के रैक खरीदते हैं; उनके नीचे के उद्यम ऐसे हार्डवेयर की तलाश में हैं जो अपने बिजली अनुबंधों पर दोबारा बातचीत किए बिना, एक मानक पावर सर्किट पर एक मानक सर्वर में फिट हो।

क्वालकॉम की पिच चरम प्रदर्शन के बजाय स्वामित्व की कुल लागत है। बड़े पैमाने पर अनुमान लगाने वाले उद्यमों के लिए, बिजली की खपत सीधे परिचालन लागत में प्रवाहित होती है, और 150W पर प्रतिस्पर्धी थ्रूपुट प्रदान करने वाला कार्ड ब्रूट-फोर्स जीपीयू के अर्थशास्त्र को कम कर देता है। प्रशिक्षण एनवीडिया का डोमेन बना हुआ है - अल्ट्रा इस पर कोई दावा नहीं करता है - लेकिन अनुमान वह है जहां उद्योग की इकाई अर्थशास्त्र वास्तव में तय किया जाता है, और यह कार्यभार है कि अधिकांश उद्यम स्वयं चलाएंगे, चाहे ऑन-प्रिमाइसेस क्लस्टर में या कोलोकेशन पिंजरे में।

सॉफ़्टवेयर पारिस्थितिकी तंत्र एक कठिन लड़ाई बनी हुई है। एनवीडिया का CUDA प्लेटफ़ॉर्म अभी भी अधिकांश AI डेवलपर्स के लिए डिफ़ॉल्ट विकल्प है, और जबकि OpenAI-संगत एपीआई प्रवेश की बाधा को कम करते हैं, वे कस्टम अनुमान पाइपलाइनों के लिए आवश्यक पुनर्कार्य को समाप्त नहीं करते हैं।

यह क्वालकॉम के लाइनअप में कहां फिट बैठता है

अल्ट्रा क्वालकॉम के अनुमान लाइनअप के शीर्ष पर बैठता है, जिसमें क्लाउड एआई 80 अल्ट्रा (समान 576 एमबी एसआरएएम के साथ आईएनटी8 के 618 टॉप्स तक), क्लाउड एआई 100 प्रो और क्लाउड एआई 100 स्टैंडर्ड शामिल है, जो 75W पावर लिफाफे के साथ किनारे और छोटे पैमाने पर तैनाती को लक्षित करता है।

लॉन्च क्वालकॉम के ड्रैगनफ्लाई डेटा सेंटर रोडमैप की वर्तमान पीढ़ी का प्रतिनिधित्व करता है, जिसे कंपनी क्लाउड-स्केल एआई वर्कलोड के लिए विकसित कर रही है - और जो अब क्वालकॉम को उन उद्यमों के लिए एक तर्क देता है जो सार्वजनिक क्लाउड के बजाय जेनरेटिव एआई अनुमान को ऑन-प्रिमाइसेस चलाना चाहते हैं, चाहे लागत, विलंबता या डेटा गवर्नेंस कारणों से।

शर्त, एक वाक्य में

क्वालकॉम दांव लगा रहा है कि जैसे-जैसे एआई मुट्ठी भर हाइपरस्केलर्स से हजारों उद्यमों की ओर बढ़ता है, जीतने वाला अनुमान कार्ड सबसे तेज़ नहीं बल्कि सबसे कुशल होता है। क्लाउड एआई 100 अल्ट्रा सिलिकॉन में वह तर्क है; क्या डेवलपर्स वाट्स का पालन करते हैं यह खुला प्रश्न बना हुआ है।

---

एआई से आगे रहें

नवीनतम एआई समाचार, विश्लेषण और सफलताएँ प्राप्त करें - सभी एक ही स्थान पर।

अधिक AI समाचार पढ़ें →