DeepSeek نے DSpark جاری کیا ہے، جو ایک اوپن سورس قیاس آرائی پر مبنی ضابطہ کشائی کا فریم ورک ہے جس کے بارے میں کمپنی کا کہنا ہے کہ لائیو ٹریفک کے تحت بڑے لینگویج ماڈل (LLM) کو 85 فیصد تک تیز کرتا ہے، بغیر کسی نقصان کے آؤٹ پٹ کوالٹی۔ ڈیپ سیک-اے آئی اور پیکنگ یونیورسٹی کے ایک نئے مقالے میں بیان کیا گیا ہے، یہ نظام پہلے سے ہی ڈیپ سیک-وی4 سرونگ انفراسٹرکچر کے اندر چل رہا ہے جو حقیقی صارف کی درخواستوں کو ہینڈل کرتا ہے۔
یہ کام پروڈکشن AI میں سب سے زیادہ ضدی مسائل میں سے ایک سے نمٹتا ہے: اندازہ سست ہے کیونکہ ماڈل ایک وقت میں ٹیکسٹ ایک ٹوکن تیار کرتے ہیں، ہر ایک کو نیٹ ورک کے ذریعے مکمل پاس کی ضرورت ہوتی ہے۔ قیاس آرائی پر مبنی ضابطہ کشائی ایک مقبول طریقہ ہے جس میں ایک چھوٹا، تیز "ڈرافٹ" ماڈل ٹوکنز کا ایک بلاک تجویز کرتا ہے جس کی مکمل سائز ماڈل پھر ایک ہی پاس میں تصدیق کرتا ہے، اور سب سے طویل درست سابقہ کو قبول کرتا ہے۔ چونکہ توثیق متوازی اور ریاضی کے لحاظ سے بالکل درست ہے، یہ اصل ماڈل کی تقسیم کو محفوظ رکھتے ہوئے چیزوں کو تیز کرتا ہے۔ DSpark، GitHub پر ڈیپ اسپیک ٹریننگ ریپوزٹری کے ساتھ ریلیز ہوا، جلد ہی ہیکر نیوز پر سب سے زیادہ زیر بحث AI انجینئرنگ کہانیوں میں سے ایک بن گیا۔ For more context on this story, see our ongoing more AI stories.
موجودہ قیاس آرائی پر مبنی ضابطہ کشائی دیوار سے کیوں ٹکرا جاتی ہے۔
حالیہ قیاس آرائی پر مبنی ضابطہ کشائی کی تحقیق "متوازی ڈرافٹرز" کی طرف بڑھی ہے جو ایک ہی فارورڈ پاس میں امیدواروں کے ٹوکنز کا ایک پورا بلاک تیار کرتے ہیں، جس سے مسودہ کی تاخیر بلاک کے سائز سے تقریباً آزاد ہوتی ہے۔ DSpark پیپر دو رکاوٹوں کی نشاندہی کرتا ہے جنہوں نے ان طریقوں کو پیمانے پر اپنے وعدے کو پورا کرنے سے روکا ہے۔
سب سے پہلے معیار کا مسئلہ ہے۔ چونکہ متوازی ڈرافٹرز ہر پوزیشن کی آزادانہ طور پر پیشین گوئی کرتے ہیں، اس لیے وہ ماڈل نہیں بنا سکتے کہ بلاک کے اندر ٹوکن کس طرح ایک دوسرے پر منحصر ہوتے ہیں۔ محققین دکھاتے ہیں کہ یہ "ملٹی موڈل تصادم" اور ڈرافٹ بلاک میں بعد کی پوزیشنوں پر تیزی سے قبولیت کے زوال کی طرف جاتا ہے، ایک ایسا رجحان جسے وہ لاحقہ کشی کہتے ہیں۔ متوازی بلاک جتنا لمبا ہوگا، اس کی دم کے غلط ہونے کا امکان اتنا ہی زیادہ ہوگا۔
دوسرا نظام کی سطح کا مسئلہ ہے۔ اگرچہ لمبے ڈرافٹ بلاکس بنانا سستا ہے، لیکن ہر مجوزہ ٹوکن کی آنکھیں بند کر کے تصدیق کرنے سے ٹوکنز پر قلیل بیچ کی گنجائش ضائع ہو جاتی ہے جس کے مسترد ہونے کا امکان ہے۔ ایک حقیقی سرونگ سسٹم کی اعلی ہم آہنگی کے تحت، مثالی توثیق کی لمبائی دو محوروں کے ساتھ مختلف ہوتی ہے: کوڈ جیسی ساختی درخواستیں اوپن اینڈڈ چیٹ کے مقابلے زیادہ قبولیت کی شرح کو برقرار رکھتی ہیں، اور اضافی ٹوکنز کی تصدیق ہلکے بوجھ کے تحت تقریباً مفت ہوتی ہے لیکن جب سسٹم سیر ہو جاتا ہے تو مہنگا ہوتا ہے۔
ایک نیم خودکار ڈرافٹ ماڈل
لاحقہ کشی کو ٹھیک کرنے کے لیے، DSpark اسے اپناتا ہے جسے مصنفین نیم خودکار فن تعمیر کہتے ہیں۔ یہ کمپیوٹیشنل طور پر بھاری متوازی ریڑھ کی ہڈی کو جوڑتا ہے، جو ایک ہی وقت میں بہت سے ٹوکن تجویز کر سکتا ہے، ایک ہلکے وزن کے ترتیب وار ماڈیول کے ساتھ جو انٹرا بلاک انحصاری ماڈلنگ متعارف کراتا ہے۔ ڈیزائن کا مقصد ابتدائی پوزیشنوں پر متوازی ماڈلز کی اعلیٰ صلاحیت کو روایتی آٹوریگریسو ڈرافٹرز کے لاحقہ ہم آہنگی کے ساتھ جوڑنا ہے، جو ایک کے بعد ایک ٹوکن تیار کرتے ہیں اور قدرتی طور پر انحصار کا احترام کرتے ہیں۔
ریاضیاتی استدلال، کوڈ جنریشن، اور روزانہ چیٹ پر محیط کنٹرول شدہ آف لائن بینچ مارکس پر، ٹیم رپورٹ کرتی ہے کہ DSpark مضبوط بیس لائنوں کے مقابلے میں فی تصدیقی سائیکل کی قبول شدہ لمبائی کو کافی حد تک بہتر بناتا ہے۔ خاص طور پر، کاغذ میں کہا گیا ہے کہ DSpark نے تین سیٹنگز میں آٹوریگریسو ایگل3 ڈرافٹر پر 30.9%، 26.7%، اور 30.0%، اور متوازی DFlash ڈرافٹر پر 16.3%، 18.4%، اور 18.3% اضافہ کیا ہے۔
اعتماد سے طے شدہ، لوڈ سے آگاہی کی تصدیق
DSpark کا زیادہ ناول نصف تصدیق کے لیے اس کا نقطہ نظر ہے۔ ہر درخواست کے لیے ڈرافٹ ٹوکنز کی ایک مقررہ تعداد کی تصدیق کرنے کے بجائے، DSpark تصدیق کی لمبائی کے انتخاب کو ایک عالمی تھرو پٹ زیادہ سے زیادہ مسئلہ کے طور پر تیار کرتا ہے۔ یہ ایک ہارڈ ویئر سے آگاہ شیڈیولر کے ساتھ جو ریئل ٹائم انجن کے بوجھ کو پڑھتا ہے کے ساتھ کیلیبریٹڈ اندازوں کو جوڑتا ہے کہ ڈرافٹ کا سابقہ کتنی دیر تک زندہ رہنے کا امکان ہے، جسے کاغذ بقا کے امکانات کا نام دیتا ہے۔
نتیجہ اعتماد کے مطابق طے شدہ تصدیق ہے: نظام متحرک طور پر اس بات کو تیار کرتا ہے کہ وہ درخواست کے مواد اور سرونگ انجن کی موجودہ حالت دونوں کی بنیاد پر ہر درخواست کے لیے کتنے ٹوکن کی تصدیق کرتا ہے۔ ہلکے بوجھ کے تحت یہ فراخدلی سے تصدیق کرنے کا متحمل ہوسکتا ہے، جب کہ بھاری ہم آہنگی کے تحت یہ ہدف ماڈل کے توثیقی بجٹ کو صرف سب سے زیادہ متوقع واپسی والے ٹوکنز کی طرف روٹ کرتا ہے، اس تھرو پٹ کے خاتمے سے بچتا ہے جو کم امکان والے ٹوکنز پر بیچ کی گنجائش خرچ کرنے سے آتا ہے۔
براہ راست صارف ٹریفک کے تحت نتائج
سب سے زیادہ نتیجہ خیز نمبر پیداوار سے آتے ہیں۔ ٹیم نے DSpark کو DeepSeek-V4 سرونگ سسٹم کے اندر تعینات کیا جو براہ راست صارف ٹریفک کو پیش کرتا ہے اور اس کا موازنہ کمپنی کی پیشگی پروڈکشن بیس لائن سے کیا، ایک کثیر ٹوکن پیشن گوئی کا طریقہ جسے MTP-1 کہا جاتا ہے۔
پیپر کے مطابق، DSpark مسلسل ڈیپ سیک-V4-فلیش کے لیے فی صارف جنریشن کی رفتار کو 60% سے 85% تک اور DeepSeek-V4-Pro کے لیے مماثل مجموعی تھرو پٹ پر 57% سے 78% تک تیز کرتا ہے۔ سروس لیول کے سخت معاہدوں کے تحت جہاں بیس لائن کی صلاحیت شدید طور پر بگڑ جاتی ہے، فلیش کے لیے 120 ٹوکن فی سیکنڈ اور پرو کے لیے 50 ٹوکن فی سیکنڈ کے برابر، DSpark مضبوط تھرو پٹ کو برقرار رکھنے کے لیے تصدیق کے اوور ہیڈ کو کم کرتا ہے۔ اس پرفارمنس کلف پر قابو پا کر، مصنفین کا استدلال ہے کہ یہ ان سخت تعاملاتی سطحوں کو کھولتا ہے جو پہلے ناقابل حصول تھے، مؤثر طریقے سے ایل ایل ایم کے پاریٹو فرنٹیئر کو باہر کی طرف منتقل کرتے ہیں۔
یہ فرق آپریٹرز کے لیے اہم ہے۔ ایک ہی کل تھرو پٹ پر فی صارف تیز رفتار کا مطلب ہے زیادہ ہارڈ ویئر خریدے بغیر زیادہ ریسپانسیو اسسٹنٹ اور ایجنٹ ورک فلو، جب کہ بوجھ کے نیچے سخت لیٹنسی SLAs سے بچنا وہی ہے جو ایک ریسرچ ڈیمو کو ایسے سسٹم سے الگ کرتا ہے جو ٹریفک میں اضافے کے دوران برقرار رہ سکتا ہے۔
کمیونٹی کے لیے اوپن سورس
DeepSeek DeepSeek-V4-Flash اور DeepSeek-V4-Pro پیش نظارہ ماڈلز دونوں کے لیے تربیت یافتہ DSpark چیک پوائنٹس جاری کر رہا ہے۔ اس کے ساتھ دیپ اسپیک ریپوزٹری، جو اجازت دینے والے MIT لائسنس کے تحت شائع ہوئی ہے، کو قیاس آرائی پر مبنی ضابطہ کشائی کے لیے ایک مکمل اسٹیک، الگورتھم سے چلنے والی تربیت اور تشخیصی کوڈ بیس کے طور پر بیان کیا گیا ہے۔ اس میں ڈیٹا کی تیاری کی افادیت، ڈرافٹ ماڈل کے نفاذ، تربیتی اسکرپٹس، اور تشخیص کے استعمال، اور تین ڈرافٹ ماڈل الگورتھم کے ساتھ جہاز شامل ہیں: DSpark، DFlash، اور Eagle3۔
ریلیز دیگر لیبز اور انفراسٹرکچر ٹیموں کے لیے ایک معیاری پائپ لائن کے خلاف اپنے ڈرافٹ ماڈل کو تربیت دینے اور بینچ مارک کرنے میں رکاوٹ کو کم کرتی ہے۔ ڈیپ اسپیک کے ایویلیویشن سوٹ میں GSM8K، MATH500، AIME 2025، HumanEval، MBPP، LiveCodeBench، MT-Bench، AlpacaEval، اور Arena-Hard-v2 سمیت قائم کردہ بینچ مارکس کا احاطہ کیا گیا ہے۔
یہ کیوں اہمیت رکھتا ہے۔
تخمینہ لاگت اور تاخیر اب AI صنعت کی وضاحتی رکاوٹوں میں شامل ہیں، جو کمپنیاں AI ایجنٹوں کو کس طرح جارحانہ انداز میں تعینات کرتی ہیں اس سے لے کر ہر چیز کی تشکیل کرتی ہے کہ آیا چھوٹے فراہم کنندگان یونٹ اکنامکس پر ہائپر اسکیلرز کا مقابلہ کر سکتے ہیں۔ DSpark کا تعاون کسی ایسے مظاہرے سے کم ایک نیا الگورتھم ہے جو احتیاط سے ڈرافٹ ماڈل اور تصدیقی شیڈولر کو مشترکہ ڈیزائن کرتا ہے، اور تصدیق کی طوالت کو لائیو سسٹم اسٹیٹ کے کام کے طور پر سمجھتا ہے، حقیقی تعیناتیوں میں سوئی کو معنی خیز طور پر منتقل کر سکتا ہے۔
ڈیپ سیک کے لیے، جس نے موثر، کھلے عام جاری کردہ سسٹمز پر اپنی ساکھ بنائی ہے، ڈی ایسپارک اس دلیل میں ایک اور ڈیٹا پوائنٹ ہے جو لیب ایک سال سے زیادہ عرصے سے پیش کر رہی ہے: یہ فرنٹیئر گریڈ سرونگ پرفارمنس صرف خام کمپیوٹ کے ذریعے بہتر انجینئرنگ کے ذریعے حاصل کی جا سکتی ہے۔ حقیقت یہ ہے کہ حاصلات کو مصنوعی معیار کے بجائے لائیو ٹریفک کے تحت ماپا گیا تھا، اس نتیجے کو دوسرے آپریٹرز کے لیے سنجیدگی سے لینا آسان بناتا ہے کیونکہ اوپن سورس کمیونٹی کاغذ کو ہضم کر لیتی ہے اور اعداد کو دوبارہ تیار کرنا شروع کر دیتی ہے۔
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
