علی بابا کی Qwen ٹیم اس ہفتے QwenGyre کے لیے نئی توجہ مبذول کر رہی ہے، ایک کمک سیکھنے کا فریم ورک جو AI ایجنٹوں کو ایک وقت میں گھنٹوں چلنے والے کاموں پر تربیت دینے کے لیے ڈیزائن کیا گیا ہے۔ اس نظام کو "QwenGyre: An Elastic Reinforcement Learning Framework for Training xLong-Horizon Agents" کے عنوان سے ایک مقالے میں بیان کیا گیا تھا، جسے تیرہ Qwen محققین نے تصنیف کیا تھا اور ستمبر کے آخر میں arXiv پر پوسٹ کیا گیا تھا، جس کی تفصیلی کوریج AI پریس میں 12 اور 13 اکتوبر کو کی گئی تھی۔

فریم ورک کام کے بوجھ کے ایک زمرے کو نشانہ بناتا ہے جسے ٹیم "xLong-horizon" ٹاسکس کہتی ہے، جہاں ایک ہی عمل گھنٹوں پر محیط ہوتا ہے، اس میں ماڈل اور اس کے ماحول کے درمیان سینکڑوں تعاملات شامل ہوتے ہیں، اور فی رول آؤٹ میں تقریباً دس لاکھ ٹوکن استعمال ہوتے ہیں۔ کوڈنگ ایجنٹس جو پورے ذخیرہ کے ذریعے کام کرتے ہیں، یا اسسٹنٹ جو صارف کی جانب سے ملٹی سٹیپ آپریشنز کرتے ہیں، عام مثالیں ہیں۔ آن لائن ری انفورسمنٹ لرننگ کے ساتھ ایسا کرنے کے لیے ٹریننگ ماڈلز فیلڈ میں بنیادی ڈھانچے کے مشکل مسائل میں سے ایک رہا ہے - اور یہ Qwen کے بڑے پیمانے پر استعمال ہونے والے اوپن ویٹ ایجنٹ ماڈلز کے پیچھے ٹیم کے لیے فطری ترجیح ہے۔ ٹریننگ انفراسٹرکچر پر بریکنگ اے آئی نیوز* سے باخبر رہنے والے قارئین کے لیے، QwenGyre ایک نظر ہے کہ کس طرح سب سے بڑی اوپن ماڈل ٹیموں میں سے ایک نے ایجنٹی کام کے بوجھ کے گرد اپنی RL پائپ لائن کو دوبارہ انجنیئر کیا ہے۔

لانگ ہورائزن آر ایل میں دو رکاوٹیں۔

کاغذ انتہائی طویل ایجنٹ کے کاموں میں آن لائن کمک سیکھنے کو لاگو کرنے کے ساتھ دو بنیادی مسائل کی نشاندہی کرتا ہے۔

پہلا GPU idling ہے۔ کیونکہ عمل درآمد کے وقت میں رول آؤٹ مختلف ہوتے ہیں — ایک ایجنٹ کی دوڑ منٹوں میں ختم ہو سکتی ہے جب کہ دوسرا گھنٹوں تک کام کرتا ہے — پائپ لائن کا ٹریننگ سائیڈ مسلسل اسٹرگلرز کا انتظار کر رہا ہے۔ مصنفین کے مطابق نتیجہ، مہنگے جی پی یو فلیٹس میں بہت زیادہ بیکار وقت ہے، جو کسی بھی RL ٹریننگ رن میں واحد سب سے بڑی لاگت ہے۔

دوسرا راستہ فالتو پن ہے۔ طویل ایجنٹ کے کام ایک سیدھی لائن میں آگے نہیں بڑھتے ہیں۔ وہ شاخیں: ایک ایجنٹ ایک نقطہ نظر کی کوشش کرتا ہے، پیچھے ہٹتا ہے، دوسری کوشش کرتا ہے، اور برانچنگ بڑھ جاتی ہے کیونکہ کام طویل اور پیچیدہ ہوتے جاتے ہیں۔ برانچنگ کی اس تاریخ کا زیادہ تر حصہ بے کار ہے، اور اس سب کی تربیت کمپیوٹ کو ضائع کرتی ہے اور سیکھنے کو غیر مستحکم کرتی ہے۔ مصنفین اس فالتو پن کو بڑے پیمانے پر تربیت کی کارکردگی کو کمزور کرنے کے طور پر بیان کرتے ہیں۔

QwenGyre انہیں کیسے مخاطب کرتا ہے۔

QwenGyre طویل افق آن لائن RL کے لیے ایک اینڈ ٹو اینڈ فریم ورک ہے جو دو بنیادی میکانزم کے ارد گرد بنایا گیا ہے۔

پہلا لچکدار GPU ری لوکیشن ہے۔ فریم ورک GPUs کو رول آؤٹ سائیڈ (جہاں ایجنٹ چلاتے ہیں اور تجربہ پیدا کرتے ہیں) اور ٹریننگ سائیڈ (جہاں ماڈل کو اپ ڈیٹ کیا جاتا ہے) کے درمیان لائیو پھانسیوں میں مداخلت کیے بغیر شفٹ کرتا ہے۔ روایتی سیٹ اپ میں، رول آؤٹ اور تربیتی وسائل کے درمیان تقسیم طے شدہ ہے، اس لیے ایک طرف کام نہیں ہوتا ہے جبکہ دوسرا کام کرتا ہے۔ باؤنڈری کو لچکدار بنانے کا مطلب ہے کہ رول آؤٹ ہیوی فیز ٹریننگ ہارڈویئر قرض لے سکتا ہے، اور اس کے برعکس، جیسے جیسے کام کا بوجھ بدلتا ہے۔

دوسرا ایک ٹریجیکٹری پروسیسر ہے جو برانچنگ کے مسئلے کو حل کرتا ہے۔ یہ برانچنگ ہسٹریوں کی تشکیل نو کرتا ہے تاکہ مشترکہ سابقہ ​​جات کو غیر متعلقہ ڈیٹا کے طور پر نہ سمجھا جائے، نامکمل کوششوں پر جزوی پیشرفت حاصل کی جاتی ہے - اہم جب زیادہ تر لمبے رول آؤٹس ناکامی پر ختم ہوتے ہیں - اور پابند تربیتی اخراجات کے لیے فالتو راستوں کی نقل تیار کرتے ہیں۔

یہاں کی معاشیات سیدھی ہیں۔ بڑے ماڈلز کے لیے کمک سیکھنے میں، کمپیوٹ غالب خرچ ہے، اور رول آؤٹ – ٹریننگ کی تقسیم اس بات کا تعین کرتی ہے کہ کسی بھی لمحے واقعی GPU فلیٹ کتنا کما رہا ہے۔ ایک ایسا فریم ورک جو GPUs کو کارآمد کام پر رکھنے کے بجائے ایک ہی ہارڈ ویئر کے تھرو پٹ کو مؤثر طریقے سے ضرب دیتا ہے۔ طویل افق ایجنٹ کی تربیت کے لیے - جہاں کاغذ سستی کو "بڑے پیمانے پر" کے طور پر بیان کرتا ہے - ایک جامد اور لچکدار تقسیم کے درمیان فرق یہ فیصلہ کر سکتا ہے کہ آیا تربیتی پروگرام بالکل بھی عملی ہے۔

یہ ایجنٹ ماحولیاتی نظام کے لیے کیوں اہمیت رکھتا ہے۔

ایجنٹ کی مصنوعات ڈیمو سے تعیناتیوں کی طرف منتقل ہو گئی ہیں، اور ان کے پیچھے تربیتی تکنیکیں جاری رکھنے کے لیے دوڑ رہی ہیں۔ ایک کوڈنگ ایجنٹ جو حقیقی ٹکٹ مکمل کرتا ہے، یا ایک اسسٹنٹ جو ایک کثیر مرحلہ ورک فلو کا انتظام کرتا ہے، کو سینکڑوں بات چیت کی ضرورت ہو سکتی ہے اس سے پہلے کہ وہ کسی ایسے نتیجے پر پہنچ جائے جسے کوئی انسان قبول کرے گا — اور ان نتائج کے لیے انعامی اشارے بہت کم ہیں اور ان کی وضاحت کرنا مشکل ہے۔ ایجنٹ کے رویے کو تیز کرنے کے لیے آن لائن کمک سیکھنا ایک غالب نقطہ نظر ہے، جو RL پائپ لائن کے تھرو پٹ کو براہ راست رکاوٹ بناتا ہے کہ لیب اپنے ایجنٹوں کو کتنی جلدی بہتر بنا سکتی ہے۔

یہی وجہ ہے کہ QwenGyre جیسے فریم ورک علی بابا سے بالاتر ہیں۔ اگر لانگ ہورائزن RL ڈرامائی طور پر سستا ہو جاتا ہے فی صلاحیت پوائنٹ حاصل کیا جاتا ہے، تو مزید ٹیمیں ایجنٹوں کو لمبے، گندے کاموں پر تربیت دینے کی متحمل ہو سکتی ہیں جو حقیقی کام سے ملتے جلتے ہوں، بجائے اس کے کہ مختصر مصنوعی اقساط جو کہ رول آؤٹ کرنے کے لیے سستے ہوں لیکن پراکسی کے طور پر کمزور ہوں۔ وہ ٹیمیں جو تھرو پٹ کے مسئلے کو حل کرتی ہیں وہ ہر کسی سے کہیں زیادہ تیزی سے ایجنٹ کی صلاحیت پر اعادہ کرنے کے قابل ہوں گی۔

رپورٹ شدہ نتائج

مقالے میں سب سے نمایاں نتیجہ QwenGyre کو Qwen کے فلیگ شپ ماڈل Qwen 3.8 2.4T سے لے کر 700,000 ٹوکنز کے رول آؤٹ کے ساتھ آتا ہے۔ فریم ورک کے ساتھ تربیت نے NL2RepoBench پر 6.0 فیصد مطلق فائدہ حاصل کیا - قدرتی زبان کی درخواستوں کو ریپوزٹری لیول کوڈ تبدیلیوں میں ترجمہ کرنے کا ایک معیار - صرف 48 RL قدموں میں ماڈل کو 52.5 فیصد سے 58.5 فیصد تک لے گیا۔

کارکردگی پر، ٹیم رپورٹ کرتی ہے کہ QwenGyre متنوع تربیتی ڈومینز پر محیط تشخیصات کے دوران، کولوکیٹڈ RL بیس لائن پر 1.85 گنا اور غیر مطابقت پذیر سیٹ اپ پر 1.78 گنا تک کی رفتار فراہم کرتا ہے۔ یہ ایک فیلڈ میں کافی تعداد ہیں جہاں تھرو پٹ حاصلات کو عام طور پر واحد ہندسوں کے فیصد میں ماپا جاتا ہے۔

انتباہات اور دستیابی

جیسا کہ کسی بھی لیب میں شائع شدہ نتائج کے ساتھ، نمبرز کیوین ٹیم کے ذریعہ خود رپورٹ کیے گئے ہیں اور ابھی تک آزادانہ طور پر دوبارہ تیار نہیں کیے گئے ہیں۔ باہر کے محققین کے لیے ایک عملی سوال رسائی ہے: جب کہ کچھ کوریج نے QwenGyre کو اوپن سورس کے طور پر بیان کیا ہے، تحریر کے وقت کوئی واضح عوامی کوڈ ریلیز نہیں ہوا تھا، اس لیے اطلاع دی گئی رفتار کی آزادانہ تصدیق ابھی ممکن نہیں ہے۔ مزید تفصیلات دستیاب ہوتے ہی AI Buzz Wire اپ ڈیٹ ہو جائے گا۔

اس کے باوجود، کاغذ ایک مفید اشارہ ہے کہ ایجنٹ کی تربیت کہاں جا رہی ہے۔ جیسے جیسے ایجنٹ طویل اور زیادہ قیمتی کام انجام دیتے ہیں، ان کو تربیت دینے کے لیے درکار بنیادی ڈھانچہ چیٹ کے زمانے کی RL پائپ لائن سے تیزی سے ہٹ رہا ہے — اور دونوں کے درمیان فاصلہ بڑھتا ہی جائے گا۔

---

AI سے آگے رہیں

تازہ ترین AI خبریں، تجزیہ اور کامیابیاں حاصل کریں — سب ایک جگہ پر۔

مزید AI خبریں پڑھیں →