Google نے اپنی آٹھویں نسل کے TPU لائن اپ کو دو نئے خصوصی نظاموں کے ساتھ بڑھایا ہے: TPU 8i Max، جو طویل سیاق و سباق کے ایجنٹی کام کے بوجھ کے لیے ایک پیکج پر دو انفرنس چپس کو جوڑتا ہے، اور TPU 8tx، جو خفیہ، ہارڈ ویئر سے الگ تھلگ انفرنس کے لیے بنایا گیا ہے جس کا مقصد ریگولیٹڈ انٹرپرائزز اور حکومتیں ہیں۔ ٹام کے ہارڈ ویئر نے جمعرات کو اضافے کی اطلاع دی۔

یہ اقدام ایک ایسے خاندان کی طرف گامزن ہے جس کا آغاز گوگل نے اپریل میں TPU 8t کے ساتھ کیا تھا، جسے بڑے پیمانے پر AI ٹریننگ کے لیے ڈیزائن کیا گیا تھا، اور TPU 8i، جو نمونے لینے، سرونگ اور استدلال جیسے عمومی مقصد کے کام کے لیے بنایا گیا تھا۔ نئے ویریئنٹس کے ساتھ، آٹھویں جنریشن لائن اپ میں اب ٹریننگ، معیاری تخمینہ، محفوظ تخمینہ اور زیادہ سے زیادہ بینڈوتھ ایجنٹی تخمینہ شامل ہے - اختیارات کا ایک میٹرکس جو اس بات کی عکاسی کرتا ہے کہ اب انٹرپرائزز AI ہارڈویئر کو کس طرح مختلف طریقے سے استعمال کرتے ہیں۔ یہ چِپ نیوز پوری AI ہارڈویئر مارکیٹ میں ہماری تازہ ترین AI پیش رفت کوریج کا حصہ ہے۔

نئے چپس کیا کرتے ہیں۔

TPU 8i Max ایک پیکج پر دو 8i چپس لگاتا ہے، جس سے کمپیوٹ، SRAM اور اصل 8i کی ہائی بینڈوتھ میموری بینڈوڈتھ دوگنا ہو جاتی ہے۔ ڈیزائن طویل سیاق و سباق کے ایجنٹ کے کام کو نشانہ بناتا ہے - ایسے منظرنامے جن میں AI ایجنٹس کثیر مرحلہ کاموں میں بہت بڑے کام کے سیاق و سباق کو لے کر جاتے ہیں۔

Tom's Hardware نے بینڈوتھ کو دوگنا کرنے کا ایک طریقہ بنایا جس کے ارد گرد گوگل میموری وال کہتا ہے، بینڈوڈتھ کی رکاوٹ جو کہ شدید ہو جاتی ہے "جب درجنوں AI ایجنٹس پورے سافٹ ویئر کوڈ بیس میں مل کر کام کرتے ہیں۔" بڑی سیاق و سباق والی ونڈوز - جس میں بڑے ماڈلز تقریباً 1 ملین ٹوکنز کو نشانہ بناتے ہیں - کا مطلب ہے بڑے KV کیچز، جو جزوی طور پر SRAM میں رکھے گئے ہیں، اور ہر نئے ٹوکن کو اس کیش کو میموری سے پڑھنا چاہیے۔ ایک پیکج میں HBM بینڈوتھ کو دوگنا کرنا بالکل اسی رکاوٹ پر حملہ کرتا ہے، اور اشاعت نے نوٹ کیا کہ یہ سیاق و سباق کے لیے اسٹوریج ٹائر کے ساتھ ڈی کوڈنگ کے لیے دوسری چپ قسم کو جوڑنے کے Nvidia کے نقطہ نظر سے ایک مختلف راستہ ہے۔

دریں اثنا، TPU 8tx، اسی سلکان پر بنایا گیا ہے جیسا کہ پہلے اعلان کردہ تربیت پر مبنی 8t، لیکن اسے خفیہ کمپیوٹنگ کے لیے ترتیب دیا گیا ہے: ریگولیٹڈ انٹرپرائزز اور حکومتوں کے لیے ہارڈ ویئر سے الگ تھلگ انفرنس جن کو ثبوت کی ضرورت ہوتی ہے کہ ان کے ڈیٹا اور ماڈلز پروسیسنگ کے دوران محفوظ ہیں۔ یہ سسٹم 5ویں جنرل AMD EPYC پروسیسر کے لیے 8t اور 8i کے ذریعے استعمال ہونے والے آرم بیسڈ ایکسیون ہوسٹ سی پی یوز کو تبدیل کرتا ہے اور گوگل کے بورڈ فلائی نیٹ ورکنگ کو اپناتا ہے۔

قابل ذکر بات یہ ہے کہ گوگل نے ابھی تک کسی بھی نئے سسٹم کے لیے تفصیلی وضاحتیں، قیمتیں یا جہاز کی تاریخوں کا اشتراک کرنا ہے، اس لیے خریداروں کے پاس فی الحال قابل ترتیب مصنوعات کے بجائے رینڈرنگ اور پوزیشننگ ہے۔

اعلان کے ساتھ گوگل کی جانب سے شائع کردہ رینڈرنگز میں ایک TPU 8tx بورڈ دکھایا گیا ہے جس میں چار چپس ہیں، چار TPU 8i Max بورڈز کے ساتھ، ہر ایک ایک پیکج پر دو چپس رکھتا ہے — اس بات کی ایک جسمانی مثال کہ آٹھویں نسل کا خاندان پہلے کی نسلوں کے ون چپ کے تمام ایکسلریٹر ماڈل سے کس حد تک ہٹ گیا ہے۔

TPU مطابقت پذیری: ایجنٹ میموری کے لئے سافٹ ویئر کی پرت

سلیکون کے ساتھ ساتھ، گوگل ایجنٹ میموری کے مسئلے کو حل کرنے کے لیے سافٹ ویئر پر جھک رہا ہے۔ TPU Sync ایک اوپن سورس "TPU کلسٹرز کے لیے ماڈل سٹیٹ لیئر" ہے جو خود بخود بڑے پیمانے پر KV کیچز کو ملی سیکنڈز میں چپ سے دور کرتا ہے، انہیں DRAM کی میزبانی اور تجرباتی طور پر مشترکہ اسٹوریج پر لے جاتا ہے۔

گوگل کے مطابق، یہ KV-کیش ٹرانسفر لیٹینسی کو 90% سے زیادہ کم کر سکتا ہے، جس میں ٹائم ٹو فرسٹ ٹوکن میں اسی طرح کے فوائد ہوتے ہیں - AI سسٹم کا جواب دینا شروع کرنے سے پہلے صارف کو تاخیر کا سامنا کرنا پڑتا ہے۔ ایجنٹی کام کے بوجھ کے لیے، جہاں ایک ہی سیشن میں درجنوں ترتیب وار ماڈل کالز شامل ہو سکتی ہیں جن میں سے ہر ایک کو ایک ہی جمع شدہ سیاق و سباق تک رسائی کی ضرورت ہوتی ہے، کیش مینجمنٹ خام کمپیوٹ کی طرح اہم ہوتا جا رہا ہے۔

یہ AI ہارڈویئر مارکیٹ کے لیے کیوں اہم ہے۔

TPUs گوگل کے لیے تیزی سے بڑھتا ہوا کاروبار بن گیا ہے، جو چپس کے لیے تقریباً 100 صارفین کا دعویٰ کرتا ہے — بشمول Meta، جس کے ڈیٹا سینٹرز میں Google TPUs کو اپنانا Nvidia کے علاقے میں سب سے اہم مسابقتی مداخلتوں میں سے ایک ہے۔ کمپنی کا کہنا ہے کہ گوگل آٹھویں نسل کے خاندان کے ساتھ جو زیادہ ماڈیولر طریقہ اختیار کر رہا ہے، وہ اسے "سالوں کے بجائے مہینوں کے معاملے میں" خصوصی نظام فراہم کرنے کی اجازت دیتا ہے، جس سے اس گاہک کی ترقی میں مدد ملتی ہے۔

اعلان کا وقت حیران کن ہے۔ گوگل کی چپ کی توسیع اسی دن ہوئی جب Nvidia نے اعلان کیا کہ CEO جینسن ہوانگ نے استعفیٰ دے دیا ہے، جس کے ساتھ CFO Colette Kress کو عبوری CEO مقرر کیا گیا ہے - اس کمپنی میں قیادت میں ایک غیر معمولی رکاوٹ جس کے GPUs کا بازار پر غلبہ ہے Google کے TPUs تیزی سے ختم ہو رہے ہیں۔ دونوں واقعات کا سبب میں کوئی تعلق نہیں ہے، لیکن وہ مل کر اس بات کی نشاندہی کرتے ہیں کہ AI بنیادی ڈھانچے کی مارکیٹ کتنی مسابقتی اور کتنی غیر مستحکم ہو گئی ہے۔

AI انفراسٹرکچر کا جائزہ لینے والے اداروں کے لیے، اضافہ اس بات کا اشارہ دیتا ہے کہ انتخاب کا سیٹ وسیع ہو رہا ہے: تربیت کے لیے موزوں سلکان، عمومی تخمینہ، ریگولیٹڈ ڈیٹا کے لیے محفوظ تخمینہ، اور ایجنٹ کے بیڑے کے لیے زیادہ سے زیادہ بینڈوتھ پیکجز ایک سائز کے فٹ ہونے والے تمام ایکسلریٹروں کے بجائے الگ مصنوعات کے زمرے بن رہے ہیں۔ جب گوگل قیمتوں اور دستیابی کی تفصیلات شائع کرتا ہے تو خریداروں کے لیے عملی سوال یہ ہوگا کہ آیا 8i میکس کی دگنی بینڈوڈتھ ایجنٹی بیڑے کے لیے معیاری 8i تعیناتیوں پر پریمیم کا جواز پیش کرنے کے لیے کافی تھرو پٹ میں ترجمہ کرتی ہے۔

ماڈیولرٹی میں سپلائی سائیڈ منطق بھی ہے۔ مکمل ہارڈویئر اسٹیک کے ذریعے اگلی نسل کے ڈیزائن کے لیے سالوں کا انتظار کرنے کے بجائے، Google موجودہ سلیکون کو دوبارہ جوڑ سکتا ہے — جیسا کہ اس نے 8t سلکان کو ایک مختلف میزبان CPU کے ساتھ ایک محفوظ-انفرنس پیکج میں منتقل کر کے — طاق حصوں تک تیزی سے پہنچنے کے لیے، جبکہ تمام قسموں میں ایک مشترکہ سافٹ ویئر اسٹیک کو برقرار رکھا۔ یہ رفتار بذات خود ایک ایسی مارکیٹ میں ایک مسابقتی ہتھیار ہے جہاں گاہک کی ضروریات ہر سہ ماہی میں بدل رہی ہیں۔

---

AI سے آگے رہیں

تازہ ترین AI خبریں، تجزیہ اور کامیابیاں حاصل کریں — سب ایک جگہ پر۔

مزید AI خبریں پڑھیں →