Cerebras نے ایک تفصیلی انجینئرنگ بریک ڈاؤن شائع کیا ہے کہ وہ کس طرح ٹریلین پیرامیٹر AI ماڈلز کو اپنے ویفر اسکیل ہارڈویئر پر لگاتا ہے - ان ماڈلز کے لیے الٹرا فاسٹ انفرنس کے پیچھے پلمبنگ پر ایک نادر عوامی نظر جن کے وزن میں صرف ٹیرا بائٹس میموری کی ضرورت ہوتی ہے۔

سارہ چیانگ کی تحریر کردہ اور 22 اکتوبر 2026 کو سیریبراس بلاگ پر شائع ہونے والی پوسٹ نے ہیکر نیوز کے صفحہ اول پر پہنچنے کے بعد ہفتے کے آخر میں نئی ​​توجہ مبذول کرائی۔ اس کا مرکزی سوال آسان ہے: ایک واحد Cerebras WSE-3T ویفر میں 44 GB آن چپ میموری ہے، لیکن ٹریلین پیرامیٹر فرنٹیئر ماڈلز کو صرف اپنے وزن کو ذخیرہ کرنے کے لیے ٹیرا بائٹس کی ضرورت ہوتی ہے۔ آپ اس خلا کو کیسے پُر کرتے ہیں؟ For more context on this story, see our ongoing more AI stories.

کیوں ٹریلین پیرامیٹر ماڈلز نارمل ہارڈ ویئر کو توڑتے ہیں۔

جواب روایتی ایکسلریٹر کے لیے ایک غیر آرام دہ سچائی کے ساتھ شروع ہوتا ہے: مکمل درستگی کے ساتھ، تین ٹریلین پیرامیٹرز والا ماڈل مارکیٹ میں کسی ایک چپ کی یاد میں فٹ نہیں ہو سکتا۔ GPU کلسٹرز ماڈلز کو بہت سارے آلات پر تقسیم کرکے اور تیز رفتار انٹرکنیکٹس پر وزن اور ایکٹیویشن کو مسلسل بھیج کر حل کرتے ہیں - کیوں کہ بڑے ماڈلز پر اندازہ لگانا مہنگا اور سست ہے۔

Cerebras ایک مختلف نقطہ نظر لیتا ہے. اس کی ویفر اسکیل چپس بڑی مقدار میں آن-چِپ SRAM پیک کرتی ہے — 44 GB فی WSE-3T ویفر — جس کا مطلب ہے کہ کمپنی کا مقصد وزن کو آن چپ پر رکھنا ہے، جہاں میموری تک رسائی کسی بھی آف چپ لنک سے ڈرامائی طور پر تیز ہے۔

کمپنی کا کہنا ہے کہ یہ فن تعمیر اسے ملٹی ٹریلین پیرامیٹر ماڈلز کو 1,000 سے 2,000+ ٹوکن فی سیکنڈ پر چلانے دیتا ہے۔

کامی مثال کے طور پر Kimi K3

وضاحت کو ٹھوس بنانے کے لیے، Cerebras Kimi K3، تقریباً 3 ٹریلین پیرامیٹرز کے ساتھ ایک اوپن سورس ماڈل کی تعیناتی کے ذریعے چلتا ہے۔ ماڈل ایک ہائبرڈ فن تعمیر کا استعمال کرتا ہے: 69 لکیری توجہ کی تہیں اور 24 گھنی تہیں۔

بینچ مارک کے نتائج کا حوالہ دیتے ہوئے، بلاگ کا کہنا ہے کہ Kimi K3 نے ٹرمینل-بینچ 2.1 پر 88.3% اسکور کیا — GPT-5.6 Sol کے 88.8% سے بالکل پیچھے — اور BrowseComp پر 91.2%، GPT-5.6 Sol کے 90.4% سے آگے۔ سیریبراس کا استدلال ہے کہ وہ نمبر کھلے وزن والے ماڈل میں فرنٹیئر لیول کوڈنگ اور ایجنٹ کی صلاحیت کو ظاہر کرتے ہیں، جو اسے ایک اچھا مظاہرہ کا ہدف بناتا ہے۔

کام کی گئی مثال 256,000 ٹوکن اوسط درخواست کا سائز، 4 بٹ ویٹ کوانٹائزیشن (ہگنگ فیس کے نفاذ سے مماثل) اور 8 بٹ کے وی کیشے کو فرض کرتی ہے۔

ایک 3T ماڈل کو 44 جی بی کے ٹکڑوں میں کاٹنا

ریاضی پوسٹ کا سب سے روشن حصہ ہے۔ 4 بٹس فی پیرامیٹر پر، Kimi K3 کے 3 ٹریلین پیرامیٹر خام وزن کے تقریباً 1.5 TB کے برابر ہیں۔ ماڈل کی 93 پرتوں میں تقسیم، ہر پرت کو تقریباً 16 جی بی کی ضرورت ہے۔

یہ ہر ویفر پر دستیاب 44 جی بی میں صاف طور پر فٹ بیٹھتا ہے، لیکن دو پرتوں کی اقسام مختلف طریقے سے تقسیم ہوتی ہیں:

  • گھنی تہوں کو KV کیش کے لیے جگہ کی ضرورت ہوتی ہے، کیونکہ پوری توجہ ہر ایکٹو درخواست میں ہر ٹوکن کے لیے کلیدیں اور اقدار محفوظ کرتی ہے۔ سیریبراس فی ویفر میں ایک گھنی تہہ رکھتا ہے، اس کیش کے لیے بقیہ SRAM چھوڑ دیتا ہے۔
  • لکیری توجہ کی پرتیں سیاق و سباق کی لمبائی سے قطع نظر فی درخواست صرف ایک چھوٹی، مقررہ سائز کی حالت رکھتی ہیں، لہذا کسی KV کیش کی ضرورت نہیں ہے۔ اس سے فی ویفر دو لکیری تہوں کے لیے گنجائش نکلتی ہے۔

69 لکیری تہوں اور 24 گھنی تہوں کے ساتھ، ماڈل لکیری تہوں کے لیے 35 ویفرز کے علاوہ گھنے تہوں کے لیے 24 ویفرز کا نقشہ بناتا ہے — Kimi K3 کی ایک کاپی کے لیے مجموعی طور پر 59 ویفرز۔

وزن کبھی حرکت نہیں کرتے - صرف ایکٹیویشنز کرتے ہیں۔

دوسرا اہم خیال یہ ہے کہ سیریبراس کیا کرتا ہے - اور کیا نہیں - ان 59 ویفرز کے درمیان بھیجتا ہے۔ کمپنی ماڈلز کو ایک پائپ لائن کے طور پر انجام دیتی ہے: مرتب کرنے والے کے بعد ویفرز کے خطوں پر تہوں کو نقشہ کرنے کے بعد، رن ٹائم چارٹ کرتا ہے جس راستے کے ٹوکن ویفر سے ویفر تک لے جاتے ہیں۔

اہم طور پر، کیونکہ ہر پرت مکمل طور پر ایک ویفر (یا دو، لکیری تہوں کے لیے) پر فٹ بیٹھتی ہے، اس لیے ماڈل کے وزن کو کبھی بھی حرکت نہیں کرنی پڑتی۔ پرتیں ویفرز میں تقسیم نہیں ہوتی ہیں۔ صرف ایکٹیویشنز ایک ویفر سے دوسرے تک جاتی ہیں، جو تقریباً 2 مائیکرو سیکنڈز کے ہاپ ٹائم کے ساتھ معیاری ایتھرنیٹ پر RDMA کے اوپر لے جاتی ہیں۔

یہ ڈیزائن پوائنٹ سیریبراس کی کارکردگی کے دعووں کے بارے میں بہت کچھ بتاتا ہے۔ GPU کی تعیناتیوں میں، وزن کو منتقل کرنا یا آلات کے درمیان شارڈنگ کی حالت اکثر رکاوٹ ہوتی ہے۔ Cerebras ہارڈویئر پر، آپس میں جڑے ہوئے صرف بہت چھوٹے ایکٹیویشن ٹینسر ہوتے ہیں۔

انفرنس مارکیٹ کے لیے یہ کیوں اہمیت رکھتا ہے۔

پوسٹ جزوی طور پر انجینئرنگ کی وضاحت کرنے والا اور جزوی طور پر ایک دلیل ہے: کہ ویفر اسکیل SRAM صنعت کی طرف سے بھیجے جانے والے تیزی سے بڑے ماڈلز کی خدمت کا ایک قابل اعتبار طریقہ ہے۔ جیسا کہ اوپن ویٹ ریلیزز جیسے Kimi K3 تین ٹریلین پیرامیٹرز تک پہنچتی ہے، میموری وال انفرنس اکنامکس کی وضاحتی رکاوٹ بن جاتی ہے، اور وہ نقطہ نظر جو وزن کو ساکت رکھتے ہیں فی ٹوکن رفتار پر ساختی فائدہ رکھتے ہیں۔

یہ اس بات کی بھی نشاندہی کرتا ہے کہ کوانٹائزیشن پر کتنا انحصار کرتا ہے۔ پوری تعیناتی 4-بٹ وزن اور 8-بٹ کے وی کیشے پر منحصر ہے - وہ تکنیک جو بینچ مارک کارکردگی کو محفوظ رکھتے ہوئے 16-بٹ بیس لائنز کے مقابلے میں میموری کے نقشوں کو تقریباً 75% یا اس سے زیادہ کم کرتی ہے۔ ان کے بغیر 59 ویفرز بھی کافی نہیں ہوں گے۔

ٹریڈ آف بھی حقیقی ہیں۔ 59-ویفر سسٹم ایک بڑی، خصوصی مشین ہے، اور پائپ لائن اپروچ یہ فرض کرتی ہے کہ درخواستوں کو پورے سسٹم میں مؤثر طریقے سے بیچا جا سکتا ہے۔ سیریبراس کا بلاگ اپنے بنیادی عنوانات میں سے ایک کے طور پر ہم آہنگی کو ایڈریس کرتا ہے، یہ نوٹ کرتے ہوئے کہ فن تعمیر کو بیک وقت درخواستوں کی ایک بڑی تعداد کو سنبھالنے کے لیے ڈیزائن کیا گیا ہے۔

ابھی کے لیے، پوسٹ اس بات کی واضح ترین عوامی وضاحتوں میں سے ایک ہے کہ فرنٹیئر اسکیل اوپن ماڈل کو چار فیگر ٹوکن اسپیڈ پر پیش کرنے کے لیے درحقیقت کیا ضرورت ہے - اور اس بات کی علامت ہے کہ انفرنس ہارڈویئر کے بارے میں بات چیت چپس سے ہول ویفر سسٹمز میں منتقل ہو رہی ہے۔

ماخذ: Cerebras بلاگ، "ہم Cerebras پر ٹریلین پیرامیٹر فرنٹیئر ماڈل کیسے تعینات کرتے ہیں" (22 اکتوبر 2026)

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →