அலிபாபாவின் Qwen குழு இந்த வாரம் QwenGyre க்கு புதிய கவனத்தை ஈர்க்கிறது, இது ஒரு நேரத்தில் மணிநேரம் இயங்கும் பணிகளில் AI முகவர்களுக்கு பயிற்சி அளிக்க வடிவமைக்கப்பட்ட வலுவூட்டல் கற்றல் கட்டமைப்பாகும். பதின்மூன்று க்வென் ஆராய்ச்சியாளர்களால் எழுதப்பட்ட "QwenGyre: An Elastic Reinforcement Learning Framework for Training xLong-Horizon Agents" என்ற தலைப்பில் இந்த அமைப்பு விவரிக்கப்பட்டது மற்றும் செப்டம்பர் பிற்பகுதியில் arXiv இல் வெளியிடப்பட்டது, அக்டோபர் 12 மற்றும் 13 தேதிகளில் AI பத்திரிகைகள் முழுவதும் விரிவான கவரேஜுடன்.

இந்த கட்டமைப்பானது குழு "xLong-horizon" பணிகள் என்று அழைக்கும் பணிச்சுமைகளின் வகையை குறிவைக்கிறது, அங்கு ஒரு ஒற்றைச் செயலாக்கம் மணிநேரம் நீடிக்கும், மாதிரிக்கும் அதன் சுற்றுச்சூழலுக்கும் இடையே நூற்றுக்கணக்கான தொடர்புகளை உள்ளடக்கியது மற்றும் ஒரு வெளியீட்டிற்கு கிட்டத்தட்ட ஒரு மில்லியன் டோக்கன்களைப் பயன்படுத்துகிறது. ஒரு முழு களஞ்சியத்தின் மூலம் செயல்படும் குறியீட்டு முகவர்கள் அல்லது பயனரின் சார்பாக பல-படி செயல்பாடுகளை மேற்கொள்ளும் உதவியாளர்கள் வழக்கமான எடுத்துக்காட்டுகள். ஆன்லைன் வலுவூட்டல் கற்றல் மூலம் இதைச் சிறப்பாகச் செய்வதற்கான பயிற்சி மாதிரிகள் துறையில் கடினமான உள்கட்டமைப்பு சிக்கல்களில் ஒன்றாகும் - மேலும் இது Qwen இன் பரவலாகப் பயன்படுத்தப்படும் திறந்த-எடை முகவர் மாதிரிகளுக்குப் பின்னால் உள்ள குழுவிற்கு இயற்கையான முன்னுரிமையாகும். பயிற்சி உள்கட்டமைப்பில் பிரேக்கிங் AI செய்திகள் வாசகர்களுக்கு, QwenGyre என்பது பெரிய திறந்த-மாடல் அணிகளில் ஒன்று தனது RL பைப்லைனை முகவர் பணிச்சுமையைச் சுற்றி எவ்வாறு மறுவடிவமைத்துள்ளது என்பதைப் பார்க்கிறது.

லாங்-ஹொரைசன் RL இல் இரண்டு தடைகள்

மிக நீண்ட முகவர் பணிகளுக்கு ஆன்லைன் வலுவூட்டல் கற்றலைப் பயன்படுத்துவதில் உள்ள இரண்டு அடிப்படை சிக்கல்களை கட்டுரை அடையாளம் காட்டுகிறது.

முதலாவது GPU செயலற்ற நிலை. செயல்படுத்தும் நேரத்தில் ரோல்அவுட்கள் பெருமளவில் மாறுபடும் என்பதால் - ஒரு ஏஜென்ட் ரன் சில நிமிடங்களில் முடிவடையும், மற்றொன்று மணிக்கணக்கில் ஓடுகிறது - பைப்லைனின் பயிற்சிப் பக்கம் தொடர்ந்து ஸ்ட்ராக்லர்களுக்காக காத்திருக்கிறது. இதன் விளைவாக, ஆசிரியர்களின் கூற்றுப்படி, விலையுயர்ந்த GPU ஃப்ளீட்களில் மிகப்பெரிய செயலற்ற நேரமாகும், இது எந்த RL பயிற்சி ஓட்டத்திலும் மிகப்பெரிய செலவாகும்.

இரண்டாவது பாதை பணிநீக்கம். நீண்ட முகவர் பணிகள் நேர்கோட்டில் நடைபெறாது. அவை பிரிகின்றன: ஒரு முகவர் ஒரு அணுகுமுறையை முயற்சி செய்கிறார், பின்வாங்குகிறார், இன்னொன்றை முயற்சிக்கிறார், மேலும் பணிகள் நீண்டதும் சிக்கலானதும் ஆக கிளைகள் பெருகும். இந்த கிளை வரலாற்றின் பெரும்பகுதி தேவையற்றது, மேலும் இவை அனைத்திலும் பயிற்சியானது கணக்கீட்டை வீணாக்குகிறது மற்றும் கற்றலை சீர்குலைக்கிறது. ஆசிரியர்கள் இந்த பணிநீக்கத்தை அளவில் பயிற்சி திறன் முடங்குவதாக விவரிக்கின்றனர்.

QwenGyre அவர்களை எப்படி உரையாற்றுகிறார்

QwenGyre என்பது இரண்டு முக்கிய வழிமுறைகளைச் சுற்றி கட்டமைக்கப்பட்ட நீண்ட-அடிவான ஆன்லைன் RLக்கான இறுதி முதல் இறுதி வரையிலான கட்டமைப்பாகும்.

முதலாவது மீள் GPU மறுஒதுக்கீடு. ஃபிரேம்வொர்க் GPUகளை ரோல்அவுட் பக்கத்திற்கும் (ஏஜெண்டுகள் இயக்கி அனுபவத்தை உருவாக்கும்) பயிற்சிப் பக்கத்திற்கும் (மாடல் புதுப்பிக்கப்பட்ட இடத்தில்) நேரடிச் செயலாக்கங்களுக்கு இடையூறு இல்லாமல் மாற்றுகிறது. வழக்கமான அமைப்புகளில், ரோல்அவுட் மற்றும் பயிற்சி ஆதாரங்களுக்கு இடையேயான பிளவு சரி செய்யப்படுகிறது, எனவே ஒரு பக்கம் செயலற்ற நிலையில் உள்ளது. எல்லையை மீள்தன்மையாக்குவது என்பது, ஒரு ரோல்-அவுட்-ஹெவி ஃபேஸ் பயிற்சி வன்பொருளை கடன் வாங்கலாம், மேலும் பணிச்சுமை மாறும்போது அதற்கு நேர்மாறாகவும்.

இரண்டாவது கிளைச் சிக்கலைக் கட்டுப்படுத்தும் பாதை செயலி. பகிர்ந்த முன்னொட்டுகள் தொடர்பில்லாத தரவுகளாகக் கருதப்படாமல், மிக நீண்ட வெளியீடுகள் தோல்வியில் முடிவடையும் போது, ​​முக்கியப் பகுதியான முழுமையடையாத முயற்சிகளில் ஓரளவு முன்னேற்றம் அடையும் வகையில், இது கிளை வரலாறுகளை மறுகட்டமைக்கிறது மற்றும் பயிற்சிச் செலவுகளுக்கு தேவையற்ற பாதைகளை நகலெடுக்கிறது.

இங்கே பொருளாதாரம் நேரடியானது. பெரிய மாடல்களுக்கான வலுவூட்டல் கற்றலில், கம்ப்யூட் என்பது மேலாதிக்கச் செலவாகும், மேலும் ரோல்அவுட்-பயிற்சி பிரிவானது எந்த நேரத்திலும் ஒரு GPU கடற்படை உண்மையில் எவ்வளவு சம்பாதிக்கிறது என்பதை தீர்மானிக்கிறது. செயலற்ற நிலைக்குப் பதிலாக பயனுள்ள வேலையில் GPUகளை வைத்திருக்கும் ஒரு கட்டமைப்பானது அதே வன்பொருளின் செயல்திறனை திறம்பட பெருக்குகிறது. நீண்ட-அடிவான முகவர் பயிற்சிக்கு - அங்கு செயலற்ற நிலை "பெரியது" என்று காகிதம் விவரிக்கிறது - ஒரு நிலையான மற்றும் மீள் பிளவுக்கு இடையிலான வேறுபாடு ஒரு பயிற்சித் திட்டம் நடைமுறையில் உள்ளதா என்பதை தீர்மானிக்க முடியும்.

முகவர் சுற்றுச்சூழல் அமைப்புக்கு இது ஏன் முக்கியமானது

ஏஜென்ட் தயாரிப்புகள் டெமோக்களில் இருந்து வரிசைப்படுத்தல்களுக்கு நகர்ந்துள்ளன, மேலும் பயிற்சி நுட்பங்கள் தொடர்ந்து இயங்குகின்றன. ஒரு உண்மையான டிக்கெட்டை நிறைவு செய்யும் ஒரு குறியீட்டு முகவர் அல்லது பல-படி பணிப்பாய்வுகளை நிர்வகிக்கும் உதவியாளர், ஒரு மனிதன் ஏற்றுக்கொள்ளும் முடிவை அடைவதற்கு முன் நூற்றுக்கணக்கான தொடர்புகள் தேவைப்படலாம் - மேலும் அந்த விளைவுகளுக்கான வெகுமதி சமிக்ஞைகள் அரிதானவை மற்றும் வரையறுக்க கடினமாக இருக்கும். ஆன்லைன் வலுவூட்டல் கற்றல் முகவர் நடத்தையை கூர்மைப்படுத்துவதற்கான மேலாதிக்க அணுகுமுறையாக உள்ளது, இது RL பைப்லைனின் செயல்திறன் ஒரு ஆய்வகம் அதன் முகவர்களை எவ்வளவு விரைவாக மேம்படுத்த முடியும் என்பதில் நேரடியான தடையாக உள்ளது.

அதனால்தான் QwenGyre போன்ற கட்டமைப்புகள் அலிபாபாவிற்கு அப்பாற்பட்டவை. நீண்ட அடிவான RL ஆனது ஒரு திறன் புள்ளிக்கு வியத்தகு முறையில் மலிவாகிவிட்டால், அதிக குழுக்கள் குறைவான செயற்கை எபிசோட்களைக் காட்டிலும், உண்மையான வேலையைப் போன்ற நீண்ட, குழப்பமான பணிகளில் முகவர்களுக்கு பயிற்சி அளிக்க முடியும். செயல்திறன் சிக்கலைத் தீர்க்கும் குழுக்கள் மற்றவர்களை விட மிக வேகமாக முகவர் திறனை மீண்டும் செய்ய முடியும்.

அறிக்கையிடப்பட்ட முடிவுகள்

700,000 டோக்கன்களின் வெளியீடுகளுடன் Qwen இன் முதன்மை மாடலான Qwen 3.8 2.4T க்கு QwenGyre ஐ அளவிடுவதிலிருந்து காகிதத்தின் மிக முக்கியமான முடிவு வருகிறது. கட்டமைப்புடன் கூடிய பயிற்சி NL2RepoBench இல் 6.0 சதவிகிதம் முழுமையான லாபத்தை அளித்தது - இயற்கை மொழி கோரிக்கைகளை களஞ்சிய-நிலை குறியீடு மாற்றங்களுக்கு மொழிபெயர்ப்பதற்கான ஒரு அளவுகோல் - வெறும் 48 RL படிகளில் மாதிரியை 52.5 சதவீதத்திலிருந்து 58.5 சதவீதமாக உயர்த்தியது.

செயல்திறனில், QwenGyre ஆனது பல்வேறு பயிற்சி களங்களில் பரவியிருக்கும் மதிப்பீடுகள் முழுவதும், ஒரு Colocated RL பேஸ்லைனில் 1.85 மடங்கு வேகத்தையும், ஒத்திசைவற்ற அமைப்பில் 1.78 மடங்கு வேகத்தையும் வழங்குகிறது என்று குழு தெரிவிக்கிறது. செயல்திறன் ஆதாயங்கள் பொதுவாக ஒற்றை இலக்க சதவீதங்களில் அளவிடப்படும் ஒரு துறையில் அவை கணிசமான எண்கள்.

எச்சரிக்கைகள் மற்றும் கிடைக்கும் தன்மை

எந்தவொரு ஆய்வகத்தில் வெளியிடப்பட்ட முடிவைப் போலவே, எண்களும் க்வென் குழுவால் சுயமாக அறிவிக்கப்படுகின்றன, மேலும் அவை இன்னும் சுயாதீனமாக மீண்டும் உருவாக்கப்படவில்லை. வெளி ஆராய்ச்சியாளர்களுக்கான ஒரு நடைமுறை கேள்வி அணுகல்: சில கவரேஜ் QwenGyre ஐ ஓப்பன் சோர்ஸ் என்று விவரித்தாலும், எழுதும் நேரத்தில் தெளிவான பொதுக் குறியீடு வெளியீடு வெளிவரவில்லை, எனவே புகாரளிக்கப்பட்ட வேகத்தை சுயாதீனமாக சரிபார்ப்பது இன்னும் சாத்தியமில்லை. கூடுதல் விவரங்கள் கிடைக்கும்போது AI Buzz Wire புதுப்பிக்கப்படும்.

அப்படியிருந்தும், ஏஜென்ட் பயிற்சி எங்கு செல்கிறது என்பதற்கான பயனுள்ள சமிக்ஞையாக காகிதம் உள்ளது. முகவர்கள் நீண்ட மற்றும் அதிக மதிப்புமிக்க பணிகளை மேற்கொள்வதால், அவர்களுக்குப் பயிற்சி அளிக்கத் தேவையான உள்கட்டமைப்பு அரட்டை-கால RL பைப்லைனில் இருந்து கடுமையாக மாறுகிறது - மேலும் இரண்டிற்கும் இடையே உள்ள இடைவெளி மட்டுமே வளரும்.

---

AIக்கு முன்னால் இருங்கள்

சமீபத்திய AI செய்திகள், பகுப்பாய்வு மற்றும் முன்னேற்றங்கள் - அனைத்தையும் ஒரே இடத்தில் பெறுங்கள்.

மேலும் AI செய்திகளைப் படிக்கவும் →