ڈیپ سیک کے پاس اوپن سورس ڈیپ انفر ہے، اعلی کارکردگی کا اندازہ لگانے والا فریم ورک جس کے بارے میں چینی AI لیب کا کہنا ہے کہ اس کی اپنی بڑے پیمانے پر پیداواری خدمات کو طاقت دیتا ہے۔ کوڈ اپاچی 2.0 لائسنس کے تحت گٹ ہب پر ظاہر ہوا اور کچھ ہی دنوں میں پہلے ہی 5,500 سے زیادہ ستارے اکٹھے کر چکا تھا، جب پیر کو ریلیز کے بارے میں ہیکر نیوز کی بحث نے سینکڑوں ووٹ حاصل کیے تھے۔

پروجیکٹ کے README کے مطابق، ریلیز ان بنیادی خصوصیات کے ساتھ آف لائن اندازہ فراہم کرتی ہے جو ڈیپ سیک اپنے ماڈلز کو پیمانے پر پیش کرنے کے لیے انحصار کرتی ہے۔ ڈیفالٹ کنفیگریشن ڈیپ سیک-V4.1-فلیش کو نشانہ بناتی ہے، اور فریم ورک خود بخود ڈیپ سیک-V4.1-فلیش-1017 چیک پوائنٹ کو پہلی بار ہیگنگ فیس سے ڈاؤن لوڈ کرتا ہے۔ For more context on this story, see our ongoing AI news.

ڈیپ انفر میں اصل میں کیا شامل ہے۔

ڈیپ انفر شروع سے دوبارہ لکھنا نہیں ہے۔ یہ ڈیپ سیک پچھلے دو سالوں سے ٹکڑے ٹکڑے کر کے جاری کیے جانے والے مخصوص کرنلز کو آپس میں جوڑتا ہے — FlashMLA، DeepGEMM، DeepEP، TileKernels، DeepSelect، اور کسٹم TileLang کرنلز — کو ایک ہی رن ٹائم میں ماڈل اور نمونے کے عمل میں شامل کیا گیا ہے۔

فریم ورک کئی سرونگ تکنیکوں کو بھی بھیجتا ہے جو کہ مخزن میں تفصیل سے دستاویزی ہیں:

  • اعتماد سے طے شدہ توثیق، ایک قیاس آرائی پر مبنی ضابطہ کشائی کا طریقہ جو تصدیق کے شیڈول کے لیے ڈرافٹ ٹوکنز اور اعتماد کے تخمینے کا استعمال کرتا ہے، جو ماحولیاتی متغیرات کے ذریعے قابل کنٹرول ہے۔
  • ڈیکوڈر ایس ڈبلیو اے باؤنڈڈ ری پلے، جو ترتیب کے صرف ایک پابند لاحقہ کو دوبارہ چلا کر ڈیکوڈر پری فل کے کام کو کم کرتا ہے۔
  • غیر مطابقت پذیر شیڈولنگ جو سی پی یو بیچ شیڈولنگ کو ڈیوائس کے عمل کے ساتھ اوورلیپ کرتی ہے، بطور ڈیفالٹ فعال
  • بیچ انویریئنٹ انفرنس، جو مختلف بیچ کمپوزیشنز میں ماڈل کے نتائج کو یکساں رکھتا ہے
  • ڈیٹرمنسٹک سیمپلنگ، ایک جیسے ان پٹس اور نمونے لینے کے پیرامیٹرز کے لیے ایک جیسے آؤٹ پٹ تیار کرنا
  • سٹرکچرڈ آؤٹ پٹ، نسل کو ریجیکس، JSON اسکیما، یا EBNF گرامر تک محدود کرنا

اس امتزاج کا مقصد آپریٹرز کے لیے ہے جنہیں تجرباتی کھیل کے بجائے دوبارہ پیدا کرنے کے قابل، اعلی تھرو پٹ ٹیکسٹ جنریشن کی ضرورت ہے۔ بیچ کی انویرینس اور خاص طور پر کاروباری اداروں کے لیے ڈیٹرمنسٹک سیمپلنگ جس کا آڈٹ کرنا چاہیے کہ ایک ماڈل نے دی گئی آؤٹ پٹ کیوں تیار کی۔

NVIDIA اور Huawei Ascend، ساتھ ساتھ

سب سے زیادہ قریب سے دیکھی جانے والی تفصیل ہارڈ ویئر سپورٹ ہے۔ DeepInfer نے NVIDIA SM100 GPUs کو CUDA 13 کے ذریعے اور Huawei Ascend 950 NPUs کو CANN 9.2 کے ذریعے نشانہ بنایا، لینکس، GCC 13، اور Python 3.12 کے ساتھ دونوں راستوں کے لیے شرط کے طور پر درج ہیں۔

وہ دوہری پلیٹ فارم موقف ڈیپ سیک کی حالیہ تاریخ کے مطابق ہے۔ کمپنی نے Ascend ہارڈویئر کے لیے TileLang کی بنیاد پر سافٹ ویئر تیار کرنے میں مہینوں گزارے ہیں اور عوامی طور پر ان مفروضوں کو چیلنج کیا ہے کہ CUDA ناقابل تلافی ہے۔ ایک پروڈکشن انفرنس فریم ورک کی ترسیل جو Ascend کو ایک فرسٹ کلاس شہری کے طور پر پیش کرتا ہے - تحقیق کے بعد سوچنے کے بجائے - اس حکمت عملی کو بڑھاتا ہے، اور یہ ایسے وقت میں اترتا ہے جب امریکی برآمدی کنٹرول اس بات پر پابندی لگاتے رہتے ہیں کہ Nvidia چپس چینی کمپنیاں خرید سکتی ہیں۔

گھریلو سلکان چلانے والے چینی کلاؤڈ آپریٹرز کے لیے، ایک برقرار رکھا انفرنس انجن جو Ascend 950 کو سپورٹ کرتا ہے Nvidia ایکو سسٹم سے باہر فرنٹیئر کلاس اوپن ماڈلز کی خدمت میں عملی رکاوٹوں میں سے ایک کو دور کرتا ہے۔

ریلیز سے کیا غائب ہے۔

README واضح ہے کہ یہ ابھی تک مکمل سرونگ اسٹیک نہیں ہے۔ ڈیپ انفر پر تیار کردہ پروڈکشن تعیناتی کو ابھی بھی تین اجزاء کی ضرورت ہے جو ریلیز میں شامل نہیں ہیں: ایک KV کیش سسٹم، پری فل اور ڈی کوڈ ڈسگریگیشن، اور ڈیٹا کے متوازی نقلوں میں لوڈ بیلنسنگ۔ ریپوزٹری نوٹ کرتی ہے کہ تفریق کے لیے زیادہ تر مطلوبہ انجن کی فعالیت پہلے ہی نافذ کر دی گئی ہے، لیکن ارد گرد کے نظام کو آپریٹر پر چھوڑ دیا گیا ہے۔

عملی طور پر اس کا مطلب ہے کہ ڈیپ انفر کو ڈیپ سیک کے بنیادی ڈھانچے کے کمپیوٹ انجن کے طور پر بہتر سمجھا جاتا ہے بجائے اس کے کہ کمیونٹی کی خدمت کرنے والے فریم ورک کے متبادل کے طور پر۔ ٹیموں کو اب بھی اسے حقیقی ٹریفک کے سامنے رکھنے سے پہلے اسے کیشنگ اور روٹنگ پرتوں کے ساتھ ضم کرنے کی ضرورت ہوگی۔

یہ کیوں اہمیت رکھتا ہے۔

ڈیپ سیک کا کاروبار انتہائی سستے ماڈلز پیش کرنے پر منحصر ہے، اور اس کاروبار کی معاشیات شدید جانچ کا موضوع رہی ہے کیونکہ کمپنی اس کی طرف بڑھ رہی ہے جس کی وضاحت اس نے کی ہے کہ قیمتوں کا تعین اپنی پہلے کی کم لاگت والی پوزیشننگ سے ہٹ جاتا ہے۔ اصل پروڈکشن انفرنس پاتھ کھولنا — نہ صرف ریسرچ کوڈ — باہر کے ڈویلپرز اور کلاؤڈ فراہم کرنے والوں کو ان اخراجات کے پیچھے کی تکنیکوں پر غیر معمولی طور پر براہ راست نظر ڈالتا ہے۔

یہ بھی ایک جان بوجھ کر پیٹرن جاری ہے. FlashMLA، DeepGEMM، اور DeepEP سبھی کو انفرادی طور پر جاری کیا گیا جب لیب نے اپنا اسٹیک بنایا۔ ڈیپ انفر مؤثر طریقے سے دستاویز کرتا ہے کہ ٹکڑے ایک ساتھ کیسے فٹ ہوتے ہیں۔ محققین کے لیے، ریلیز ڈیپ سیک کے شائع شدہ کارکردگی کے دعووں کو دوبارہ پیش کرنا آسان بناتی ہے۔ حریفوں کے لیے، یہ اس بار کو بڑھاتا ہے جس کا شمار اوپن انفرنس اسٹیک کے طور پر ہوتا ہے۔

Apache 2.0 لائسنس کاپی لیفٹ ذمہ داریوں کے بغیر تجارتی استعمال کی اجازت دیتا ہے، جس کا مطلب ہے کہ مغربی کلاؤڈ فراہم کرنے والے اسے قانونی طور پر تعینات کر سکتے ہیں - حالانکہ اس کے ماڈل کی سپورٹ فی الحال DeepSeek کے اپنے V4.1-Flash چیک پوائنٹ تک محدود ہے، لہذا زیادہ تر اسے ابھی کے لیے ایک حوالہ کے نفاذ کے طور پر مانیں گے۔

کیا دیکھنا ہے۔

تین سوالات اس بات کا تعین کریں گے کہ آیا ڈیپ انفر بڑے پیمانے پر اپنایا جاتا ہے یا ایک تجسس رہتا ہے۔ سب سے پہلے، چاہے کمیونٹی اسے V4.1-Flash سے آگے دوسرے ماڈل آرکیٹیکچرز میں پورٹ کرے۔ دوسرا، آیا ریپوزٹری کے پرفارمنس ٹیبلز میں شائع ہونے والے بینچ مارک کے نتائج ڈیپ سیک کے اپنے کلسٹرز کے باہر ہارڈ ویئر پر برقرار ہیں۔ تیسرا، چاہے گمشدہ ٹکڑے — KV کیش مینجمنٹ، ڈسگریگیشن، اور لوڈ بیلنسنگ — مستقبل کی ریلیز میں پہنچیں، انجن کو ایک مکمل سرونگ فریم ورک میں بدل دیں۔

ابھی کے لیے، ریلیز ایک لیب کی جانب سے ایک قابل ذکر شفافیت کا اقدام ہے جس نے بار بار اپنے ماڈلز کے نیچے انفراسٹرکچر کو شائع کرنے کا انتخاب کیا ہے۔ ڈیولپرز جو تجربہ کرنا چاہتے ہیں وہ کسی بھی معاون پلیٹ فارم پر سورس سے DeepInfer بنا سکتے ہیں اور ایک مثال کے اسکرپٹ کے ساتھ آف لائن اندازہ چلا سکتے ہیں۔

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →