अलीबाबा की क्वेन टीम इस सप्ताह क्वेनगायर पर नए सिरे से ध्यान आकर्षित कर रही है, जो कि एआई एजेंटों को एक समय में घंटों तक चलने वाले कार्यों पर प्रशिक्षित करने के लिए डिज़ाइन किया गया एक सुदृढीकरण शिक्षण ढांचा है। सिस्टम का वर्णन "क्वेनगायर: एन इलास्टिक रीइन्फोर्समेंट लर्निंग फ्रेमवर्क फॉर ट्रेनिंग एक्सलॉन्ग-होराइजन एजेंट्स" नामक पेपर में किया गया था, जिसे तेरह क्वेन शोधकर्ताओं ने लिखा था और सितंबर के अंत में arXiv पर पोस्ट किया गया था, जिसमें 12 और 13 अक्टूबर को एआई प्रेस में विस्तृत कवरेज दी गई थी।

फ्रेमवर्क वर्कलोड की एक श्रेणी को लक्षित करता है जिसे टीम "xLong-क्षितिज" कार्य कहती है, जहां एक निष्पादन घंटों तक चलता है, इसमें मॉडल और उसके पर्यावरण के बीच सैकड़ों इंटरैक्शन शामिल होते हैं, और प्रति रोलआउट लगभग दस लाख टोकन की खपत होती है। कोडिंग एजेंट जो संपूर्ण रिपॉजिटरी के माध्यम से काम करते हैं, या सहायक जो उपयोगकर्ता की ओर से बहु-चरणीय संचालन करते हैं, विशिष्ट उदाहरण हैं। ऑनलाइन सुदृढीकरण सीखने के साथ इसे अच्छी तरह से करने के लिए प्रशिक्षण मॉडल क्षेत्र में कठिन बुनियादी ढांचे की समस्याओं में से एक रहा है - और यह क्वेन के व्यापक रूप से उपयोग किए जाने वाले ओपन-वेट एजेंट मॉडल के पीछे टीम के लिए एक स्वाभाविक प्राथमिकता है। प्रशिक्षण बुनियादी ढांचे पर ब्रेकिंग एआई न्यूज पर नज़र रखने वाले पाठकों के लिए, क्वेनगायर एक नज़र है कि कैसे सबसे बड़ी ओपन-मॉडल टीमों में से एक ने एजेंटिक वर्कलोड के आसपास अपनी आरएल पाइपलाइन को फिर से इंजीनियर किया है।

लॉन्ग-होरिजन आरएल में दो अड़चनें

पेपर अत्यधिक लंबे एजेंट कार्यों के लिए ऑनलाइन सुदृढीकरण सीखने को लागू करने में दो मूलभूत समस्याओं की पहचान करता है।

पहला है GPU का निष्क्रिय होना। क्योंकि रोलआउट निष्पादन समय में बेतहाशा भिन्न होता है - एक एजेंट रन मिनटों में समाप्त हो सकता है जबकि दूसरा घंटों तक मंथन करता है - पाइपलाइन का प्रशिक्षण पक्ष लगातार स्ट्रगलर्स की प्रतीक्षा कर रहा है। लेखकों के अनुसार, इसका परिणाम महंगे जीपीयू बेड़े में बड़े पैमाने पर निष्क्रिय समय है, जो किसी भी आरएल प्रशिक्षण चलाने में सबसे बड़ी लागत है।

दूसरा प्रक्षेपवक्र अतिरेक है. लंबे एजेंट के कार्य एक सीधी रेखा में आगे नहीं बढ़ते हैं। वे शाखाएँ बनाते हैं: एक एजेंट एक दृष्टिकोण आज़माता है, पीछे हटता है, दूसरा प्रयास करता है, और जैसे-जैसे कार्य लंबे और अधिक जटिल होते जाते हैं शाखाएँ कई गुना बढ़ जाती हैं। इस शाखाकरण का अधिकांश इतिहास निरर्थक है, और इस पर प्रशिक्षण गणना को बर्बाद करता है और सीखने को अस्थिर करता है। लेखक इस अतिरेक को बड़े पैमाने पर प्रशिक्षण दक्षता को कमजोर करने वाला बताते हैं।

क्वेनगायर उन्हें कैसे संबोधित करते हैं

क्वेनगायर दो मुख्य तंत्रों के आसपास निर्मित लंबे-क्षितिज ऑनलाइन आरएल के लिए एक एंड-टू-एंड ढांचा है।

पहला है इलास्टिक जीपीयू पुनःआवंटन। फ्रेमवर्क लाइव निष्पादन को बाधित किए बिना रोलआउट पक्ष (जहां एजेंट चलाते हैं और अनुभव उत्पन्न करते हैं) और प्रशिक्षण पक्ष (जहां मॉडल अपडेट किया जाता है) के बीच जीपीयू को स्थानांतरित करता है। पारंपरिक सेटअप में, रोलआउट और प्रशिक्षण संसाधनों के बीच विभाजन तय होता है, इसलिए एक तरफ निष्क्रिय रहता है जबकि दूसरा काम करता है। सीमा को लोचदार बनाने का मतलब है कि एक रोलआउट-भारी चरण प्रशिक्षण हार्डवेयर उधार ले सकता है, और इसके विपरीत, जैसे-जैसे कार्यभार बदलता है।

दूसरा एक प्रक्षेपवक्र प्रोसेसर है जो ब्रांचिंग समस्या का समाधान करता है। यह शाखाओं के इतिहास का पुनर्निर्माण करता है ताकि साझा उपसर्गों को असंबंधित डेटा के रूप में न माना जाए, अपूर्ण प्रयासों पर आंशिक प्रगति स्कोर करता है - महत्वपूर्ण जब अधिकांश लंबे रोलआउट विफलता में समाप्त होते हैं - और बाध्य प्रशिक्षण लागतों के लिए अनावश्यक पथों को काट देता है।

यहां का अर्थशास्त्र सीधा-सरल है. बड़े मॉडलों के लिए सुदृढीकरण सीखने में, गणना प्रमुख व्यय है, और रोलआउट-प्रशिक्षण विभाजन यह निर्धारित करता है कि जीपीयू बेड़े का कितना हिस्सा वास्तव में किसी भी समय अपना स्थान अर्जित कर रहा है। एक ढांचा जो जीपीयू को निष्क्रिय रहने के बजाय उपयोगी कार्य पर रखता है, उसी हार्डवेयर के थ्रूपुट को प्रभावी ढंग से कई गुना बढ़ा देता है। लंबे-क्षितिज एजेंट प्रशिक्षण के लिए - जहां पेपर निष्क्रियता को "बड़े पैमाने पर" के रूप में वर्णित करता है - एक स्थैतिक और एक लोचदार विभाजन के बीच का अंतर यह तय कर सकता है कि एक प्रशिक्षण कार्यक्रम बिल्कुल व्यावहारिक है या नहीं।

एजेंट इकोसिस्टम के लिए यह क्यों मायने रखता है

एजेंट उत्पाद डेमो से तैनाती की ओर बढ़ गए हैं, और उनके पीछे की प्रशिक्षण तकनीकें आगे बढ़ने के लिए दौड़ रही हैं। एक कोडिंग एजेंट जो एक वास्तविक टिकट पूरा करता है, या एक सहायक जो बहु-चरणीय वर्कफ़्लो का प्रबंधन करता है, उसे ऐसे परिणाम तक पहुंचने से पहले सैकड़ों इंटरैक्शन की आवश्यकता हो सकती है जिसे मानव स्वीकार करेगा - और उन परिणामों के लिए इनाम संकेत विरल और परिभाषित करना कठिन हैं। ऑनलाइन सुदृढीकरण सीखना एजेंट व्यवहार को तेज करने के लिए प्रमुख दृष्टिकोण बना हुआ है, जो आरएल पाइपलाइन के थ्रूपुट को इस बात पर प्रत्यक्ष बाधा बनाता है कि कोई प्रयोगशाला अपने एजेंटों को कितनी जल्दी सुधार सकती है।

यही कारण है कि क्वेनगायर जैसे ढांचे अलीबाबा से परे मायने रखते हैं। यदि दीर्घ-क्षितिज आरएल प्राप्त क्षमता बिंदु के अनुसार नाटकीय रूप से सस्ता हो जाता है, तो अधिक टीमें एजेंटों को लंबे, गंदे कार्यों पर प्रशिक्षित करने का जोखिम उठा सकती हैं जो वास्तविक काम से मिलते जुलते हैं, न कि छोटे सिंथेटिक एपिसोड पर जो रोल आउट करने के लिए सस्ते हैं लेकिन प्रॉक्सी के रूप में कमजोर हैं। जो टीमें थ्रूपुट समस्या का समाधान करती हैं, वे अन्य सभी की तुलना में कहीं अधिक तेजी से एजेंटिक क्षमता पर पुनरावृति करने में सक्षम होंगी।

रिपोर्ट किए गए परिणाम

पेपर में सबसे प्रमुख परिणाम 700,000 टोकन के रोलआउट के साथ क्वेनगायर को क्वेन के प्रमुख मॉडल, क्वेन 3.8 2.4T तक बढ़ाने से आया है। फ्रेमवर्क के साथ प्रशिक्षण से NL2RepoBench पर 6.0 प्रतिशत का पूर्ण लाभ प्राप्त हुआ - प्राकृतिक भाषा अनुरोधों को रिपॉजिटरी-स्तरीय कोड परिवर्तनों में अनुवाद करने के लिए एक बेंचमार्क - केवल 48 आरएल चरणों में मॉडल को 52.5 प्रतिशत से बढ़ाकर 58.5 प्रतिशत कर दिया गया।

दक्षता पर, टीम की रिपोर्ट है कि क्वेनगायर विभिन्न प्रशिक्षण डोमेन में फैले मूल्यांकनों में, एक कोलोकेटेड आरएल बेसलाइन पर 1.85 गुना तक और एक एसिंक्रोनस सेटअप पर 1.78 गुना तक स्पीडअप प्रदान करता है। वे उस क्षेत्र में पर्याप्त संख्याएँ हैं जहाँ थ्रूपुट लाभ आमतौर पर एकल-अंकीय प्रतिशत में मापा जाता है।

चेतावनी और उपलब्धता

किसी भी प्रयोगशाला-प्रकाशित परिणाम की तरह, संख्याएँ क्वेन टीम द्वारा स्व-रिपोर्ट की गई हैं और अभी तक स्वतंत्र रूप से पुन: प्रस्तुत नहीं की गई हैं। बाहरी शोधकर्ताओं के लिए एक व्यावहारिक प्रश्न पहुँच का है: जबकि कुछ कवरेज ने क्वेनगायर को खुले स्रोत के रूप में वर्णित किया है, लेखन के समय एक स्पष्ट सार्वजनिक कोड रिलीज़ सामने नहीं आया था, इसलिए रिपोर्ट किए गए स्पीडअप का स्वतंत्र सत्यापन अभी तक संभव नहीं है। अधिक विवरण उपलब्ध होते ही एआई बज़ वायर अपडेट हो जाएगा।

फिर भी, यह पेपर एक उपयोगी संकेत है कि एजेंट प्रशिक्षण किस दिशा में जा रहा है। जैसे-जैसे एजेंट लंबे और अधिक मूल्यवान कार्य करते हैं, उन्हें प्रशिक्षित करने के लिए आवश्यक बुनियादी ढांचा चैट-युग आरएल पाइपलाइन से तेजी से अलग हो रहा है - और दोनों के बीच अंतर केवल बढ़ेगा।

---

एआई से आगे रहें

नवीनतम एआई समाचार, विश्लेषण और सफलताएँ प्राप्त करें - सभी एक ही स्थान पर।

अधिक AI समाचार पढ़ें →