अलीबाबाची क्वेन टीम या आठवड्यात QwenGyre कडे नवीन लक्ष वेधत आहे, एक मजबुतीकरण शिक्षण फ्रेमवर्क जे AI एजंटना एका वेळी तासन्तास चालणाऱ्या कार्यांवर प्रशिक्षण देण्यासाठी डिझाइन केलेले आहे. 12 आणि 13 ऑक्टोबर रोजी AI प्रेसमध्ये तपशीलवार कव्हरेजसह, तेरा Qwen संशोधकांनी लिहिलेले आणि सप्टेंबरच्या उत्तरार्धात arXiv वर पोस्ट केलेले "QwenGyre: An Elastic Reinforcement Learning Framework for Training xLong-Horizon Agents" शीर्षकाच्या पेपरमध्ये या प्रणालीचे वर्णन केले गेले.

फ्रेमवर्क वर्कलोड्सच्या श्रेणीला लक्ष्य करते ज्याला टीम "xLong-horizon" टास्क म्हणतात, जिथे एकच अंमलबजावणी काही तासांपर्यंत असते, मॉडेल आणि त्याचे वातावरण यांच्यातील शेकडो परस्परसंवाद समाविष्ट करते आणि प्रत्येक रोलआउटमध्ये सुमारे एक दशलक्ष टोकन वापरतात. कोडिंग एजंट जे संपूर्ण रिपॉजिटरीद्वारे कार्य करतात किंवा वापरकर्त्याच्या वतीने बहु-चरण ऑपरेशन्स करतात ते सहाय्यक ही विशिष्ट उदाहरणे आहेत. ऑनलाइन मजबुतीकरण शिक्षणासह हे चांगले करण्यासाठी प्रशिक्षण मॉडेल ही या क्षेत्रातील कठीण पायाभूत समस्यांपैकी एक आहे — आणि Qwen च्या मोठ्या प्रमाणावर वापरल्या जाणाऱ्या ओपन-वेट एजंट मॉडेल्समागील संघासाठी हे एक नैसर्गिक प्राधान्य आहे. प्रशिक्षण इन्फ्रास्ट्रक्चरवर ब्रेकिंग एआय न्यूज ट्रॅक करणाऱ्या वाचकांसाठी, QwenGyre ने एजंटिक वर्कलोड्सच्या आसपास सर्वात मोठ्या ओपन-मॉडेल टीम्सपैकी एक RL पाइपलाइन कशी पुन्हा इंजिनीयर केली आहे यावर एक नजर आहे.

लाँग-होरायझन RL मध्ये दोन अडथळे

पेपर अत्यंत लांब एजंट कार्यांसाठी ऑनलाइन मजबुतीकरण शिक्षण लागू करताना दोन मूलभूत समस्या ओळखतो.

पहिले GPU idling आहे. कारण अंमलात आणण्याच्या वेळेत रोलआउट्स खूप बदलतात — एक एजंट रन काही मिनिटांत पूर्ण होऊ शकतो तर दुसरा तासभर मंथन करतो — पाइपलाइनची प्रशिक्षण बाजू सतत स्ट्रॅगलर्सची वाट पाहत असते. परिणाम, लेखकांच्या मते, महागड्या GPU फ्लीट्समध्ये प्रचंड निष्क्रिय वेळ आहे, जो कोणत्याही RL प्रशिक्षण रनमध्ये सर्वात मोठा खर्च आहे.

दुसरा मार्ग म्हणजे रिडंडंसी. लांब एजंट कार्ये सरळ रेषेत पुढे जात नाहीत. ते शाखा करतात: एजंट एक दृष्टीकोन वापरतो, मागे हटतो, दुसरा प्रयत्न करतो आणि कार्ये लांब आणि अधिक जटिल होत असताना शाखा वाढतात. यातील बहुतेक शाखा इतिहास निरर्थक आहे, आणि या सर्वांचे प्रशिक्षण गणनेचा अपव्यय करते आणि शिक्षण अस्थिर करते. या रिडंडन्सीचे वर्णन लेखकांनी मोठ्या प्रमाणावर प्रशिक्षण कार्यक्षमता अपंग म्हणून केले आहे.

QwenGyre त्यांना कसे संबोधित करतात

QwenGyre ही दोन मुख्य यंत्रणांभोवती बांधलेली दीर्घ-क्षितिज ऑनलाइन RL साठी एंड-टू-एंड फ्रेमवर्क आहे.

प्रथम लवचिक GPU पुनर्स्थापना आहे. फ्रेमवर्क थेट अंमलबजावणीमध्ये व्यत्यय न आणता रोलआउट बाजू (जेथे एजंट धावतात आणि अनुभव निर्माण करतात) आणि प्रशिक्षण बाजू (जेथे मॉडेल अद्यतनित केले जाते) दरम्यान GPUs बदलते. पारंपारिक सेटअपमध्ये, रोलआउट आणि प्रशिक्षण संसाधनांमधील विभाजन निश्चित केले जाते, त्यामुळे एक बाजू निष्क्रिय असते तर दुसरी कार्य करते. सीमा लवचिक बनवणे म्हणजे रोलआउट-हेवी फेज प्रशिक्षण हार्डवेअर उधार घेऊ शकते आणि त्याउलट, जसे कामाचा भार बदलतो.

दुसरा ट्रॅजेक्टोरी प्रोसेसर आहे जो ब्रँचिंगच्या समस्येवर नियंत्रण ठेवतो. हे ब्रँचिंग इतिहासाची पुनर्रचना करते जेणेकरून सामायिक केलेल्या उपसर्गांना असंबंधित डेटा म्हणून गणले जाणार नाही, अपूर्ण प्रयत्नांवर आंशिक प्रगती स्कोअर करते — जेव्हा बहुतेक लांब रोलआउट्स अयशस्वी होतात तेव्हा महत्त्वाचे असतात — आणि प्रशिक्षण खर्चासाठी अनावश्यक मार्ग काढून टाकतात.

येथील अर्थशास्त्र सरळ आहे. मोठ्या मॉडेल्ससाठी मजबुतीकरण शिक्षणामध्ये, गणना हा प्रमुख खर्च आहे आणि रोलआउट-प्रशिक्षण विभाजन हे निर्धारित करते की GPU फ्लीट कोणत्याही क्षणी किती कमाई करत आहे. एक फ्रेमवर्क जे GPU ला निष्क्रियतेऐवजी उपयोगी कामावर ठेवते त्याच हार्डवेअरच्या थ्रूपुटला प्रभावीपणे गुणाकार करते. दीर्घ-क्षितिज एजंट प्रशिक्षणासाठी - जिथे पेपर निष्क्रियतेचे वर्णन "विपुल" म्हणून करते - स्थिर आणि लवचिक विभाजन मधील फरक प्रशिक्षण कार्यक्रम अजिबात व्यावहारिक आहे की नाही हे ठरवू शकतो.

एजंट इकोसिस्टमसाठी हे महत्त्वाचे का आहे

एजंट उत्पादने डेमोमधून उपयोजनांकडे वळली आहेत आणि त्यामागील प्रशिक्षण तंत्र पुढे चालू ठेवण्यासाठी धावत आहेत. वास्तविक तिकीट पूर्ण करणारा कोडिंग एजंट किंवा बहु-चरण वर्कफ्लो व्यवस्थापित करणाऱ्या सहाय्यकाला मानवाने स्वीकारलेल्या निकालापर्यंत पोहोचण्यापूर्वी शेकडो परस्परसंवादाची आवश्यकता असू शकते — आणि त्या परिणामांसाठी रिवॉर्ड सिग्नल विरळ आणि परिभाषित करणे कठीण आहे. ऑनलाइन मजबुतीकरण शिक्षण हा एजंटच्या वर्तनाला धारदार करण्यासाठी प्रबळ दृष्टीकोन राहिला आहे, ज्यामुळे RL पाइपलाइनच्या थ्रूपुटला लॅब किती लवकर त्याचे एजंट सुधारू शकते यावर थेट प्रतिबंध करते.

म्हणूनच QwenGyre सारखे फ्रेमवर्क अलीबाबाच्या पलीकडे महत्त्वाचे आहे. लाँग-हॉरिझन RL प्रति क्षमता पॉईंट नाटकीयरित्या स्वस्त झाल्यास, अधिक संघ एजंटांना लांब, अव्यवस्थित कार्यांवर प्रशिक्षित करू शकतात जे वास्तविक कार्यासारखे दिसतात, लहान सिंथेटिक भागांऐवजी जे रोल आउट करण्यासाठी स्वस्त आहेत परंतु प्रॉक्सी म्हणून कमकुवत आहेत. थ्रूपुट समस्येचे निराकरण करणारे संघ इतर सर्वांपेक्षा अधिक वेगाने एजंटिक क्षमतेवर पुनरावृत्ती करण्यास सक्षम असतील.

अहवाल दिलेले परिणाम

पेपरमधील सर्वात ठळक परिणाम QwenGyre वरून Qwen चे फ्लॅगशिप मॉडेल, Qwen 3.8 2.4T, 700,000 टोकन्सच्या रोलआउटसह आले आहेत. फ्रेमवर्कसह प्रशिक्षण घेतल्याने NL2RepoBench वर 6.0 टक्के पूर्ण फायदा झाला — नैसर्गिक भाषेच्या विनंतीचे रेपॉजिटरी-स्तरीय कोड बदलांमध्ये भाषांतर करण्यासाठी एक बेंचमार्क — मॉडेलला केवळ 48 RL चरणांमध्ये 52.5 टक्क्यांवरून 58.5 टक्के वर आणले.

कार्यक्षमतेवर, टीमने अहवाल दिला की QwenGyre विविध प्रशिक्षण डोमेनमध्ये पसरलेल्या मूल्यमापनांमध्ये कोलोकेटेड RL बेसलाइनवर 1.85 पट आणि एसिंक्रोनस सेटअपवर 1.78 पट स्पीडअप देते. त्या फील्डमधील महत्त्वपूर्ण संख्या आहेत जेथे थ्रूपुट नफा सहसा एकल-अंकी टक्केवारीत मोजला जातो.

चेतावणी आणि उपलब्धता

कोणत्याही लॅब-प्रकाशित निकालाप्रमाणे, संख्या क्वेन टीमने स्वत: ची नोंद केली आहे आणि अद्याप स्वतंत्रपणे पुनरुत्पादित केलेली नाही. बाहेरील संशोधकांसाठी एक व्यावहारिक प्रश्न म्हणजे प्रवेश: काही कव्हरेजने क्वेनगायरचे ओपन सोर्स म्हणून वर्णन केले असले तरी, लेखनाच्या वेळी स्पष्ट सार्वजनिक कोड रिलीज झाला नव्हता, त्यामुळे नोंदवलेल्या स्पीडअपची स्वतंत्र पडताळणी अद्याप शक्य नाही. अधिक तपशील उपलब्ध झाल्यावर AI Buzz वायर अपडेट होईल.

असे असले तरी, एजंट प्रशिक्षण कोठे जात आहे याचा पेपर हा एक उपयुक्त संकेत आहे. एजंट दीर्घ आणि अधिक मौल्यवान कार्ये घेत असल्याने, त्यांना प्रशिक्षण देण्यासाठी आवश्यक पायाभूत सुविधा चॅट-युग RL पाइपलाइनपासून झपाट्याने वळत आहेत — आणि या दोघांमधील अंतर फक्त वाढतच जाईल.

---

एआयच्या पुढे राहा

नवीनतम AI बातम्या, विश्लेषण आणि यश मिळवा — सर्व एकाच ठिकाणी.

अधिक AI बातम्या वाचा →