Qualcomm نے Cloud AI 100 Ultra: 128GB میموری اور 870 TOPS کے ساتھ 150W انفرنس کارڈ لانچ کیا

Qualcomm نے Cloud AI 100 Ultra لانچ کیا ہے، ایک ڈیٹا سینٹر انفرنس ایکسلریٹر جو INT8 کی کارکردگی کے 870 TOPS تک اور FP16 کمپیوٹ کے 288 TFLOPS تک فراہم کرتا ہے جبکہ صرف 150 واٹ ڈرائنگ کرتا ہے - GPUs کے پاور لفافے کا ایک حصہ جو فی الحال حوالہ سازی میں حاوی ہے۔

کارڈ، جو Qualcomm کے آفیشل ڈیٹا سینٹر پروڈکٹ پیج پر درج ہے اور لانچ کوریج میں تفصیلی ہے، خاص طور پر تخلیقی AI اور بڑے لینگویج ماڈل کے کام کے بوجھ کے لیے ڈیزائن کیا گیا ہے۔ یہ موبائل چپ دیو کو انفرنس مارکیٹ میں براہ راست چیلنجر کے طور پر رکھتا ہے، جہاں انٹرپرائزز AI ایجنٹس، کوپائلٹس اور دوبارہ حاصل کرنے کے لیے بڑھے ہوئے ایپلی کیشنز کو پیمانے پر تعینات کرتے ہوئے مانگ بڑھ رہی ہے۔ AI ہارڈویئر ریس کے بارے میں مزید سیاق و سباق کے لیے، ہماری AI نیوز کوریج دیکھیں۔

چشمی: SRAM پہلا، DRAM دوسرا

کلاؤڈ AI 100 الٹرا کے مرکز میں 64 AI کور اور 576 MB آن ڈائی SRAM ہیں۔ Qualcomm کی شرط یہ ہے کہ ماڈل کے وزن اور ایکٹیویشنز کو جسمانی طور پر کمپیوٹ یونٹس کے قریب رکھنا - ہر ٹوکن کو بیرونی میموری میں بند کرنے کے بجائے - ٹرانسفارمر پر مبنی ماڈلز کے لیے ادائیگی کرتا ہے، جو میموری بینڈوڈتھ پر زندہ اور مر جاتے ہیں۔

کارڈ میں اب بھی 128 GB کی LPDDR4x میموری ہے جس میں 548 GB/s بینڈوتھ بڑے ماڈلز اور طویل سیاق و سباق کے لیے ہے، جو PCIe Gen4 پر 16 لین کے ساتھ منسلک ہے۔ وہ مجموعہ — بڑے آن ڈائی SRAM کے علاوہ ایک معمولی 150W پاور ڈرا — کارڈ کا فرق ہے۔ Nvidia کے ڈیٹا سینٹر GPUs کی رینج عام طور پر 300W سے 700W تک ہوتی ہے، اور ہر واٹ اس وقت اہمیت رکھتا ہے جب ٹوکن کے ذریعے بل کیا جاتا ہے اور ڈیٹا سینٹر پاور انڈسٹری کا سب سے زیادہ مقابلہ کرنے والا وسیلہ ہے۔

"کلاؤڈ AI 100 الٹرا ایک کارکردگی اور لاگت سے بہتر AI انفرنس حل ہے،" کمپنی نے اپنے پروڈکٹ کے مواد میں کہا، کمپیوٹر ویژن سے لے کر قدرتی زبان کی پروسیسنگ تک کے کام کے بوجھ میں پروگرامیبلٹی پر زور دیا۔

سافٹ ویئر: ایک OpenAI-مطابق آن ریمپ

ڈیٹا سینٹر میں ہارڈ ویئر کبھی بھی Qualcomm کا مسئلہ نہیں رہا۔ سافٹ ویئر ہے. کمپنی اپنے AI انفرنس سویٹ کے ساتھ اس بات پر توجہ دے رہی ہے، ایک سافٹ ویئر پرت جو چیٹ بوٹس، کوپائلٹس اور AI ایجنٹس کی تعمیر کے لیے OpenAI سے مطابقت رکھنے والے APIs کو بے نقاب کرتی ہے۔

یہ سوٹ چیٹ، امیج جنریشن، ملٹی موڈل ماڈلز اور ریٹریول-آگمینٹڈ جنریشن (RAG) ورک فلو کو سپورٹ کرتا ہے، اور Kubernetes یا ننگے دھاتی کنٹینرز کے ذریعے تعینات کرتا ہے۔ Qualcomm صارف کے نظم و نسق اور انتظامیہ کے ٹولز کو بھی بھیجتا ہے - ایک غیر معمولی اضافہ جس میں خام ایکسلریٹر کی پیشکشوں کی اکثر کمی ہوتی ہے، لیکن ایک ایسا جو انٹرپرائز IT ٹیموں کا وزن بہت زیادہ ہوتا ہے جب وہ گھر کے اندر کام کے بوجھ کو منتقل کرتی ہیں۔

OpenAI-مطابقت پذیر API کی سطح حکمت عملی کے لحاظ سے اہمیت رکھتی ہے: یہ ڈویلپرز کو Qualcomm ہارڈویئر پر موجودہ OpenAI- پابند پائپ لائنوں کو دوبارہ لکھنے کے بجائے کنفیگریشن تبدیلی کے ساتھ نشاندہی کرنے دیتا ہے، جس سے سوئچنگ لاگت کم ہوتی ہے جس نے اس مارکیٹ میں اقتدار کو محفوظ کیا ہے۔

ایک واضح لیڈر کے ساتھ ایک پرہجوم میدان

Qualcomm ایک انفرنس مارکیٹ میں داخل ہوتا ہے جو AI ہارڈویئر سائیکل کا میدان جنگ بن گیا ہے۔ Nvidia کا L40S اور H100 غالب ہے۔ AMD کا MI300X اور Intel کا Gaudi 3 ایک ہی کام کے بوجھ کو نشانہ بناتا ہے۔ اور Groq اور Cerebras کے خصوصی سلکان نے خام تخمینہ کی رفتار پر طاق بنائے ہیں۔

مطالبہ کی طرف ہنگامہ آرائی کی وضاحت کرتا ہے۔ AI ایجنٹوں اور RAG پائپ لائنوں کو پیش کرنے سے ایک صارف کے سیشن سے پیدا ہونے والی ماڈل کالز کی تعداد میں کئی گنا اضافہ ہو جاتا ہے، اور ان کالوں میں سے ہر ایک ایک تخمینہ مسئلہ ہے جس کو فی ٹوکن کم سے کم قیمت پر حل کیا جا سکتا ہے۔ ہائپر اسکیلرز اسے سنبھالنے کے لیے فلیگ شپ GPUs کے ریک خریدتے ہیں۔ ان کے نیچے موجود ادارے اپنے بجلی کے معاہدوں پر دوبارہ گفت و شنید کیے بغیر، معیاری پاور سرکٹ پر، معیاری سرور میں فٹ ہونے والے ہارڈ ویئر کی تلاش میں ہیں۔

Qualcomm کی پچ اعلی کارکردگی کے بجائے ملکیت کی کل قیمت ہے۔ پیمانے پر تخمینہ چلانے والے اداروں کے لیے، بجلی کی کھپت براہ راست آپریٹنگ اخراجات میں آتی ہے، اور 150W پر مسابقتی تھرو پٹ فراہم کرنے والا کارڈ بروٹ فورس GPUs کی معاشیات کو کم کرتا ہے۔ ٹریننگ Nvidia کا ڈومین بنی ہوئی ہے — الٹرا اس پر کوئی دعویٰ نہیں کرتا — لیکن اندازہ وہ ہے جہاں صنعت کی اکنامکس کا اصل میں فیصلہ کیا جاتا ہے، اور یہ کام کا بوجھ ہے کہ زیادہ تر انٹرپرائزز خود چلیں گی، چاہے آن پریمیسس کلسٹر میں ہوں یا کالوکیشن کیج میں۔

سافٹ ویئر ماحولیاتی نظام مشکل جنگ ہے۔ Nvidia کا CUDA پلیٹ فارم اب بھی زیادہ تر AI ڈویلپرز کے لیے پہلے سے طے شدہ انتخاب ہے، اور جب کہ OpenAI-مطابقت پذیر APIs داخلے میں رکاوٹ کو کم کرتے ہیں، وہ حسب ضرورت انفرنس پائپ لائنز کے لیے درکار دوبارہ کام کو ختم نہیں کرتے ہیں۔

جہاں یہ Qualcomm کی لائن اپ میں فٹ بیٹھتا ہے۔

الٹرا Qualcomm کے انفرنس لائن اپ میں سب سے اوپر بیٹھا ہے، جس میں Cloud AI 80 Ultra (SRAM کے اسی 576 MB کے ساتھ INT8 کے 618 TOPS تک)، Cloud AI 100 Pro، اور Cloud AI 100 اسٹینڈرڈ بھی شامل ہے، جس کا ہدف edge اور چھوٹے پیمانے پر پاور 7W کے ساتھ ہے۔

لانچ Qualcomm کے Dragonfly ڈیٹا سینٹر روڈ میپ کی موجودہ نسل کی نمائندگی کرتا ہے، جسے کمپنی کلاؤڈ پیمانے پر AI کام کے بوجھ کے لیے تیار کر رہی ہے - اور جو اب Qualcomm کو ان کاروباری اداروں کے لیے ایک دلیل دیتا ہے جو عوامی کلاؤڈ کے بجائے آن پریمیسسز میں جنریٹو AI انفرنس چلانا چاہتے ہیں، چاہے قیمت، تاخیر یا ڈیٹا گورننس کی وجہ سے ہو۔

شرط، ایک جملے میں

Qualcomm یہ شرط لگا رہا ہے کہ جیسا کہ AI مٹھی بھر ہائپر اسکیلرز سے ہزاروں کاروباری اداروں میں منتقل ہوتا ہے، جیتنے والا انفرنس کارڈ تیز ترین نہیں بلکہ سب سے زیادہ کارآمد ہے۔ کلاؤڈ AI 100 الٹرا سلکان میں وہ دلیل ہے؛ کیا ڈویلپر واٹس کی پیروی کرتے ہیں یہ کھلا سوال ہے۔

---

AI سے آگے رہیں

تازہ ترین AI خبریں، تجزیہ اور کامیابیاں حاصل کریں — سب ایک جگہ پر۔

مزید AI خبریں پڑھیں →