پڑھنے کے لیے بنایا گیا ہے، نہ صرف بھاگنا ہے۔
جیسا کہ MarkTechPost رپورٹ کرتا ہے، Molt تقریباً RL کوڈ کی 8.6K لائنوں کی پیمائش کرتا ہے، ہر فریم ورک کے RL انٹری پوائنٹ سے درآمدی گراف کو ٹریس کرکے شمار کیا جاتا ہے۔ یہی طریقہ verl کے لیے تقریباً 62K لائنوں، سلائیم کے لیے 25K، اور OpenRLHF کے لیے 7.2K لائنوں پر مشتمل ہے۔ یہ جان بوجھ کر کمپیکٹ پن پروجیکٹ کی مرکزی پچ ہے: ایجنٹ RL ریسرچ مستقل الگورتھم میں ترمیم ہے — نئے تخمینہ لگانے والے، نئے پائپ لائن مراحل، نئی رول آؤٹ اسکیمیں — اور مین اسٹریم فریم ورک میں ٹرینر، ڈسٹری بیوٹڈ بیک اینڈ، اور رول آؤٹ گلو کی پرتوں کے ذریعے ہر تھریڈ کو تبدیل کرتا ہے۔ Molt کا مقصد اس رگڑ کو دور کرنا ہے۔
فریم ورک Apache 2.0 لائسنس یافتہ ہے اور لانچ کوڈز، Slurm اسکرپٹس، اور پہلے سے تعمیر شدہ کنٹینر کے ساتھ بحری جہاز۔ تاہم، NVIDIA واضح ہے کہ اس کے ساتھ موجود تحقیقی مقالے میں Molt کو پروڈکشن ٹریننگ سروس کے بجائے ریسرچ انفراسٹرکچر کے طور پر رکھا گیا ہے، اور ہارڈ ویئر ہی اصل دربان ہے۔ بھیجی گئی ترکیبیں 8 H100 GPUs کے 2 نوڈس، تربیت کے لیے 8 اور رول آؤٹ کے لیے 8 تقسیم کرتی ہیں۔ یہ اسے فرنٹیئر اور فرنٹیئر سے ملحقہ لیبز، پوسٹ ٹریننگ کرنے والے اچھے فنڈ سے چلنے والے اسٹارٹ اپس، انٹرپرائز AI ریسرچ گروپس، اور ملٹی نوڈ H100 یا H200 تک رسائی کے ساتھ اکیڈمک گروپس کی پہنچ میں رکھتا ہے۔
کمپوزڈ، فورکڈ نہیں۔
مولٹ کا فن تعمیر تین موجودہ ٹولز کو بناتا ہے ان میں سے کسی کو جوڑے بغیر، اس لیے اپ اسٹریم میں بہتری ایک تکلیف دہ ریبیس کے بجائے کنٹینر پن کے طور پر آتی ہے۔ یہ پلیسمنٹ اور غیر مطابقت پذیر قطاروں کے لیے Ray، رول آؤٹ کے لیے vLLM، اور تربیت کے لیے FSDP2 کے ساتھ NVIDIA AutoModel کا استعمال کرتا ہے۔ رن ٹائم ایک ایجنٹ پول، درخواست کے راؤٹر کے پیچھے vLLM انجنوں کا ایک سیٹ، اور ایک واحد قابل تربیت پالیسی اداکار پر مشتمل ہوتا ہے۔ ایک اسٹریمنگ پول فوری گروپوں کو پرواز میں رکھتا ہے تاکہ اداکار ٹرین کے دوران انجن کبھی ختم نہ ہوں۔
جزوی رول آؤٹ نامی ایک خصوصیت کارکردگی کے لیے مرکزی حیثیت رکھتی ہے۔ جب پالیسی اپ ڈیٹ ہوتی ہے، تو Molt انجنوں کو روکتا ہے، اداکار کے اپڈیٹ شدہ شارڈز کو NCCL پر براہ راست ہر انجن پر نشر کرتا ہے، اور برقرار رکھی ہوئی درخواستوں کو رد کرنے کے بجائے دوبارہ شروع کرتا ہے۔ یہ ہر بار ماڈل میں تبدیلی کے دوران جاری رول آؤٹس کو پھینکنے کے فضول انداز سے بچتا ہے۔ایک ماڈیول، دو ایجنٹ فارم
Molt میں چلنے والا RL ایک واحد Python ماڈیول کا نام دیتا ہے جو ایک AgentRunner کو برآمد کرتا ہے، اور باقی سب کچھ — بشمول ریوارڈ فنکشن — ایک عام کوڈ ہے۔ فریم ورک دو شکلوں کی حمایت کرتا ہے۔ Env کے ساتھ، فریم ورک جمنازیم سے منسلک `step()` کے اندر LLM لوپ کا مالک ہے، جو کمک سیکھنے کے مانوس انداز میں فٹ بیٹھتا ہے۔ ChatAgent کے ساتھ، صارف ایک اسٹاک OpenAI یا Anthropic SDK کے ذریعے لوپ کا مالک ہے، جس سے موجودہ ایجنٹ کو لپیٹنا آسان ہو جاتا ہے۔
دونوں کو پورا کرنے کے لیے، Molt ایک لوپ بیک سرور لانچ کرتا ہے جو دونوں وائر پروٹوکولز کو بولتا ہے، اور ہر درخواست کو سرور کی طرف سے ایک ٹوکن کے عین مطابق جمع میں ڈی کوڈ کیا جاتا ہے۔ جب ایک طویل افق ایجنٹ اپنے سیاق و سباق کو کمپیکٹ کرتا ہے اور سابقہ کو دوبارہ لکھتا ہے — ایجنٹوں کے لیے ایک عام عمل جو کئی موڑ تک چلتا ہے — سرور موجودہ سیگمنٹ کو سیل کر دیتا ہے اور خود بخود ایک تازہ کو کھول دیتا ہے۔ یہ پلمبنگ کی تفصیل کی ایک قسم ہے جو اس بات کا تعین کرتی ہے کہ آیا ایجنٹ RL رن عملی طور پر درست ہے یا صرف درست نظر آتا ہے۔
درستگی کے تین انویرینٹس
مولٹ کے ڈیزائن کو تین درستگی انویریئنٹس کے ارد گرد منظم کیا گیا ہے جو غیر مطابقت پذیر ایجنٹی تربیت کی ٹھیک ٹھیک ناکامیوں کو دور کرتے ہیں۔ ٹوکن شناخت کا مطلب ہے نمونے والے ٹوکن آئی ڈیز رفتار کی وضاحت کرتی ہیں، دوبارہ ٹوکنائزڈ ٹرانسکرپٹ کی نہیں — اہم کیونکہ متن کو ٹوکنز میں واپس سلائی کرنے سے ڈیٹا کو خاموشی سے تبدیل کیا جا سکتا ہے۔ پالیسی-ورژن سیمینٹکس اس بات کو یقینی بناتا ہے کہ قابل تربیت ٹوکنز اپنے رویے کی پالیسی لاگ امکانات کو برقرار رکھتے ہیں، ترتیب کی سطح کے گیٹ کے پیچھے فی ٹوکن کے مطابق غیر مطابقت پذیر استعمال کو درست کیا جاتا ہے۔ آگے کی مستقل مزاجی کا تقاضہ ہے کہ رول آؤٹ انجن اور ٹریننگ ایکٹر ماڈل سیمنٹکس پر متفق ہوں۔
مکسچر آف ایکسپرٹس (MoE) کی پالیسیوں کے لیے یہ آخری انویرینٹ سب سے زیادہ اہمیت رکھتا ہے، جو تیزی سے عام ہوتی جارہی ہیں۔ رول آؤٹ اور ٹریننگ راؤٹرز ماہرین کو آزادانہ طور پر منتخب کرتے ہیں، اور چھوٹے عددی فرق ٹاپ-k کے انتخاب کو پلٹ سکتے ہیں، جس سے نمونہ لیا گیا تھا اور جس پر تربیت دی جا رہی ہے اس میں مماثلت پیدا ہو جاتی ہے۔ مولٹ اس کو رول آؤٹ روٹنگ ری پلے کے ساتھ حل کرتا ہے: vLLM اپنے فی ٹوکن ماہر آئی ڈیز کو واپس کرتا ہے، اور ٹریننگ فارورڈ پاس ان درست روٹنگ کے فیصلوں کو دوبارہ حاصل کرنے کے بجائے دوبارہ چلاتا ہے۔یہ کس کے لیے ہے۔
بھیجی گئی ترکیبیں اور استعمال کے معاملات اس طرف اشارہ کرتے ہیں جہاں NVIDIA Molt کو اپنانے کی توقع کرتا ہے: ملٹی ٹرن ٹول استعمال کرنے والے ایجنٹس، کوڈ پر عمل درآمد کرنے والے ایجنٹس، وژن لینگویج کے ماحول (فریم ورک میں ایک بھیجی گئی geo3k ترکیب شامل ہے)، LLM-بطور جج ریوارڈ لوپس، اور آن پالیسی ڈسٹلیشن پر ایک چھوٹا سا طالب علم ماڈل۔ یہ بالکل وہی کام کے بوجھ ہیں جنہوں نے پوری صنعت میں ایجنٹی RL میں اضافہ کیا ہے، اور ہر ایک کو جزوی رول آؤٹ، async-سیمپلنگ کی شرائط کے تحت صحیح طریقے سے حاصل کرنے کے لئے بدنامی کی جاتی ہے جو حقیقی تربیت نافذ کرتی ہے۔
وسیع تر اشارہ یہ ہے کہ NVIDIA نہ صرف ان GPUs میں سرمایہ کاری کر رہا ہے جو ایجنٹوں کو تربیت دیتے ہیں بلکہ سافٹ ویئر اسٹیک کے محققین ان کی تعمیر کے لیے استعمال کرتے ہیں۔ کوڈ بیس کو چھوٹا اور پڑھنے کے قابل رکھ کر — اور اسے واضح طور پر ڈیزائن کر کے تاکہ ایک AI کوڈنگ اسسٹنٹ اس میں ترمیم کر سکے — Molt اس شرط کی عکاسی کرتا ہے کہ ایجنٹ RL ٹولنگ کا مستقبل ان ماڈلز کے ساتھ مل کر تیار کیا جائے گا جو اسے استعمال کرتے ہیں۔
AI سے آگے رہیں
فریم ورک کے بارے میں مزید جاننے کے لیے کہ فرنٹیئر ایجنٹوں کو کس طرح تربیت دی جاتی ہے، تازہ ترین AI پیش رفت کے لیے ہمارے مرکز کو فالو کریں۔
مزید AI خبریں پڑھیں →
