Alibaba ၏ Qwen ၏ အသေးစိတ်အချက်များ QwenGyre၊ Long-Horizon AI အေးဂျင့်များကို လေ့ကျင့်ပေးရန်အတွက် Elastic RL Framework တစ်ခု၊

Alibaba ၏ Qwen အဖွဲ့သည် တစ်ကြိမ်လျှင် နာရီပေါင်းများစွာ အလုပ်လုပ်သော အလုပ်များအတွက် AI အေးဂျင့်များကို လေ့ကျင့်ပေးမည့် အားဖြည့်သင်ကြားမှုမူဘောင်ဖြစ်သည့် QwenGyre အတွက် ယခုသီတင်းပတ်တွင် အာရုံစူးစိုက်မှုအသစ်ကို ဆွဲဆောင်လျက်ရှိသည်။ အဆိုပါစနစ်ကို QwenGyre: An Elastic Reinforcement Learning Framework for Training xLong-Horizon Agents ဟူသော ခေါင်းစဉ်ဖြင့် စာတမ်းတွင် ဖော်ပြထားပြီး Qwen မှ သုတေသီ 13 ဦး ရေးသားကာ arXiv သို့ အောက်တိုဘာလ 12 ရက်နေ့ နှင့် 13 ရက်နေ့တို့တွင် အသေးစိတ်ဖော်ပြမှုနှင့်အတူ စက်တင်ဘာလနှောင်းပိုင်းတွင် ARXiv သို့ တင်ခဲ့သည်။

မူဘောင်သည် အဖွဲ့မှ "xLong-horizon" ဟုခေါ်သော အလုပ်များ အမျိုးအစားတစ်ခုကို ပစ်မှတ်ထားပြီး လုပ်ဆောင်မှုတစ်ခုသည် နာရီများကြာမြင့်ကာ မော်ဒယ်နှင့် ၎င်း၏ပတ်ဝန်းကျင်အကြား အပြန်အလှန်တုံ့ပြန်မှုများ ရာနှင့်ချီပါဝင်ကာ ထုတ်လွှင့်မှုတစ်ခုလျှင် တိုကင်တစ်သန်းနီးပါးစားသုံးသည်။ သိုလှောင်မှုတစ်ခုလုံးမှတဆင့် လုပ်ဆောင်သော ကုဒ်အေးဂျင့်များ သို့မဟုတ် သုံးစွဲသူ၏ကိုယ်စား အဆင့်များစွာသော လုပ်ဆောင်ချက်များကို လုပ်ဆောင်သည့် လက်ထောက်များသည် ပုံမှန်ဥပမာများဖြစ်သည်။ အွန်လိုင်းအားဖြည့်သင်ကြားမှုဖြင့် ကောင်းစွာလုပ်ဆောင်နိုင်ရန် လေ့ကျင့်ရေးပုံစံများသည် နယ်ပယ်တွင် ပိုမိုခက်ခဲသော အခြေခံအဆောက်အအုံဆိုင်ရာ ပြဿနာများထဲမှတစ်ခုဖြစ်သည် — နှင့် Qwen ၏အသုံးများသော open-weight အေးဂျင့်မော်ဒယ်များနောက်ကွယ်မှအဖွဲ့အတွက် သဘာဝဦးစားပေးဖြစ်သည်။ breaking AI news လေ့ကျင့်ရေးအခြေခံအဆောက်အအုံအပေါ် ခြေရာခံဖတ်ရှုသူများအတွက် QwenGyre သည် အကြီးမားဆုံးသော open-model အဖွဲ့များထဲမှ တစ်ခုသည် အေးဂျင့်အလုပ်များနှင့်ပတ်သက်၍ ၎င်း၏ RL ပိုက်လိုင်းအား မည်သို့ပြန်လည်အင်ဂျင်နီယာလုပ်ထားသည်ကို ကြည့်ရှုပါ။

Long-Horizon RL ရှိ ပုလင်းလည်ပင်း နှစ်ခု

စာတမ်းသည် အလွန်ရှည်လျားသော အေးဂျင့်အလုပ်များအတွက် အွန်လိုင်းအားဖြည့်သင်ကြားမှုကို အသုံးချခြင်းနှင့် အခြေခံပြဿနာနှစ်ခုကို ဖော်ထုတ်ထားသည်။

ပထမအချက်မှာ GPU ရပ်တန့်ခြင်း ဖြစ်သည်။ ထုတ်လွှင့်မှုများသည် အကောင်အထည်ဖော်ချိန်အတွင်း ကွာခြားလွန်းသောကြောင့် — အေးဂျင့်တစ်ခုသည် နာရီပေါင်းများစွာ လှည့်ပတ်နေစဉ် မိနစ်ပိုင်းအတွင်း ပြီးဆုံးနိုင်သည် — ပိုက်လိုင်း၏လေ့ကျင့်ရေးဘက်ခြမ်းသည် ရုန်းကန်သူများကို အဆက်မပြတ်စောင့်ဆိုင်းနေသည်။ စာရေးဆရာများအဆိုအရ၊ ရလဒ်သည် RL လေ့ကျင့်ရေးအပြေးတွင်မဆိုအကြီးဆုံးကုန်ကျစရိတ်ဖြစ်သည့်စျေးကြီးသော GPU သင်္ဘောများတစ်လျှောက်တွင်ကြီးမားသောအလုပ်မလုပ်သည့်အချိန်ဖြစ်သည်။

ဒုတိယမှာ trajectory redundancy ဖြစ်သည်။ ရှည်လျားသော အေးဂျင့်အလုပ်များသည် မျဉ်းဖြောင့်အတိုင်း မလုပ်ဆောင်နိုင်ပါ။ ၎င်းတို့သည် အကိုင်းအခက်များ- အေးဂျင့်တစ်ဦးသည် ချဉ်းကပ်မှုတစ်ခုကို ကြိုးစားသည်၊ နောက်ပြန်ဆုတ်သည်၊ နောက်တစ်ခုအား ကြိုးစားသည်၊ အလုပ်များသည် ပိုမိုရှည်လျားရှုပ်ထွေးလာသည်နှင့်အမျှ အကိုင်းအခက်များ များပြားလာသည်။ ဤအကိုင်းအခက်များ၏သမိုင်းကြောင်းအများစုမှာ မလိုအပ်တော့ဘဲ လေ့ကျင့်မှုအားလုံးသည် တွက်ချက်မှုကို ဖြုန်းတီးပြီး သင်ယူမှုကို မတည်မငြိမ်ဖြစ်စေသည်။ စာရေးဆရာများသည် ဤအထပ်ထပ်ဖြစ်ခြင်းကို အတိုင်းအတာတစ်ခုအထိ ထိခိုက်စေနိုင်သော လေ့ကျင့်ရေးစွမ်းဆောင်ရည်အဖြစ် ဖော်ပြသည်။

QwenGyre က သူတို့ကို ဘယ်လိုဖြေရှင်းသလဲ။

QwenGyre သည် core ယန္တရားနှစ်ခုကိုတည်ဆောက်ထားသော long-horizon online RL အတွက် အဆုံးမှအဆုံးဘောင်တစ်ခုဖြစ်သည်။

ပထမအချက်မှာ elastic GPU နေရာချထားခြင်းဖြစ်သည်။ မူဘောင်သည် ထုတ်ပေးသည့်အခြမ်း (အေးဂျင့်များလည်ပတ်ပြီး အတွေ့အကြုံများထုတ်ပေးသည့်) နှင့် လေ့ကျင့်ရေးဘက် (မော်ဒယ်ကို အပ်ဒိတ်လုပ်ထားသည့်) အကြားတွင် GPU များကို တိုက်ရိုက်လုပ်ဆောင်မှုများကို အနှောင့်အယှက်ဖြစ်စေသည်။ သမားရိုးကျ စနစ်ထည့်သွင်းမှုများတွင်၊ မိတ်ဆက်ခြင်းနှင့် လေ့ကျင့်ရေးရင်းမြစ်များကြားတွင် ပိုင်းခြားခြင်းကို ပြုပြင်ထားသောကြောင့် တစ်ဖက်မှ အလုပ်မလုပ်ဘဲ အခြားတစ်ဖက်က လုပ်ဆောင်သည်။ နယ်နိမိတ်မျဉ်းကို ပျော့ပျောင်းအောင်ပြုလုပ်ခြင်းဆိုသည်မှာ ပြင်းထန်သောအဆင့်တွင် လေ့ကျင့်ရေး ဟာ့ဒ်ဝဲကို ငှားရမ်းနိုင်ပြီး အလုပ်တာဝန်ပြောင်းသွားသည်နှင့် အပြန်အလှန်အားဖြင့်၊

ဒုတိယမှာ အကိုင်းအခက်ပြဿနာကို ထိန်းညှိပေးသည့် ပရိုဆက်ဆာဖြစ်သည်။ ၎င်းသည် အကိုင်းအခက်မှတ်တမ်းများကို ပြန်လည်တည်ဆောက်ပေးသောကြောင့် မျှဝေထားသောရှေ့ဆက်များကို မသက်ဆိုင်သောဒေတာအဖြစ် မမှတ်ယူဘဲ မပြီးပြတ်သောကြိုးပမ်းမှုများအပေါ် တစ်စိတ်တစ်ပိုင်းတိုးတက်မှုကို အမှတ်ပေးသည် — ကြာမြင့်စွာထွက်ခြင်းအများစုသည် ရှုံးနိမ့်မှုအဆုံးသတ်သည့်အခါ အရေးကြီးသည် — နှင့် ချည်နှောင်ထားသောလေ့ကျင့်ရေးကုန်ကျစရိတ်အတွက် မလိုအပ်သောလမ်းကြောင်းများကို ထပ်ပွားစေသည်။

ဒီနေရာမှာ စီးပွားရေးက ရှင်းပါတယ်။ မော်ဒယ်ကြီးများအတွက် အားဖြည့်သင်ကြားမှုတွင်၊ compute သည် အဓိကကုန်ကျစရိတ်ဖြစ်ပြီး၊ ထုတ်ပေးခြင်း-လေ့ကျင့်ရေးပိုင်းခွဲသည် သတ်မှတ်ထားသောအချိန်၌ GPU သင်္ဘောတစ်စင်း၏ အမှန်တကယ်ဝင်ငွေမည်မျှရှိသည်ကို ဆုံးဖြတ်သည်။ ရပ်နားထားမည့်အစား အသုံးဝင်သောအလုပ်တွင် GPU များကို ထိန်းထားပေးသော မူဘောင်သည် တူညီသောဟာ့ဒ်ဝဲ၏ ဖြတ်သန်းမှုကို ထိရောက်စွာ များပြားစေသည်။ စာရွက်ပေါ်တွင် idling ကို "ကြီးမားသော" ဟုဖော်ပြထားသည့် long-horizon အေးဂျင့်လေ့ကျင့်ရေးအတွက် — static နှင့် elastic split အကြားခြားနားချက်သည် လေ့ကျင့်ရေးပရိုဂရမ်သည် လုံးဝလက်တွေ့ဖြစ်မဖြစ် ဆုံးဖြတ်ပေးနိုင်ပါသည်။

အေးဂျင့်ဂေဟစနစ်အတွက် အဘယ်ကြောင့်အရေးကြီးသနည်း။

အေးဂျင့်ထုတ်ကုန်များသည် သရုပ်ပြမှုမှ ဖြန့်ကျက်မှုများသို့ ပြောင်းရွှေ့သွားခဲ့ပြီး ၎င်းတို့နောက်ကွယ်မှ လေ့ကျင့်ရေးနည်းပညာများသည် အမီလိုက်နိုင်ရန် ပြိုင်ဆိုင်လျက်ရှိသည်။ လက်မှတ်အစစ်အမှန်ကို ပြီးမြောက်စေသော ကုဒ်နံပါတ် အေးဂျင့် သို့မဟုတ် အဆင့်ပေါင်းများစွာ အလုပ်အသွားအလာကို စီမံခန့်ခွဲသည့် လက်ထောက်တစ်ဦးသည် လူသားလက်ခံမည့် ရလဒ်တစ်ခုသို့ မရောက်ရှိမီ အပြန်အလှန်တုံ့ပြန်မှု ရာနှင့်ချီ လိုအပ်နိုင်သည် — နှင့် ထိုရလဒ်များအတွက် ဆုကြေးအချက်များသည် ကျဲပြီး သတ်မှတ်ရခက်ပါသည်။ အွန်လိုင်းအားဖြည့်သင်ကြားခြင်းသည် RL ပိုက်လိုင်း၏ ဖြတ်သန်းမှုအား ဓါတ်ခွဲခန်းတစ်ခုမှ ၎င်း၏အေးဂျင့်များ မည်မျှမြန်မြန်ဆန်ဆန် တိုးတက်စေနိုင်သည်ကို တိုက်ရိုက်ကန့်သတ်မှုဖြစ်စေသည့် ထက်မြက်သော အေးဂျင့်အပြုအမူအတွက် ထင်ရှားသောချဉ်းကပ်မှုဖြစ်နေဆဲဖြစ်သည်။

ထို့ကြောင့် QwenGyre ကဲ့သို့သော မူဘောင်များသည် Alibaba ထက် အရေးကြီးသည်။ အကယ်၍ Long-horizon RL သည် စွမ်းရည်အမှတ်တစ်ခုရရှိပြီးပါက သိသိသာသာစျေးသက်သာလာပါက၊ အဖွဲ့များသည် အမှန်တကယ်အလုပ်နှင့်ဆင်တူသည့် ရှည်လျားရှုပ်ထွေးသောအလုပ်များကို အေးဂျင့်များအား လေ့ကျင့်ပေးနိုင်သော်လည်း စျေးပေါသော်လည်း ပရောက်စီအဖြစ်အားနည်းသော ပေါင်းစပ်ဇာတ်လမ်းတိုများတွင် တတ်နိုင်သည် ။ ဖြတ်သန်းမှုပြဿနာကို ဖြေရှင်းပေးသည့်အဖွဲ့များသည် အခြားသူများထက် ပိုမိုလျင်မြန်စွာ အေးဂျင့်လုပ်ဆောင်နိုင်စွမ်းကို ထပ်လောင်းပြောဆိုနိုင်မည်ဖြစ်သည်။

အစီရင်ခံထားသောရလဒ်များ

စာရွက်တွင် အထင်ရှားဆုံးရလဒ်မှာ QwenGyre ကို ချဲ့ထွင်ခြင်းဖြင့် Qwen ၏ အထင်ကရ မော်ဒယ် Qwen 3.8 2.4T သို့ တိုကင်များ 700,000 ဖြန့်ချီခြင်းမှ ဖြစ်သည်။ မူဘောင်ဖြင့် လေ့ကျင့်ခြင်းသည် NL2RepoBench တွင် 6.0 ရာခိုင်နှုန်း အကြွင်းမဲ့ အမြတ်ရရှိသည် — သဘာဝဘာသာစကား တောင်းဆိုမှုများကို သိုလှောင်မှုအဆင့် ကုဒ်ပြောင်းလဲမှုများအဖြစ် ဘာသာပြန်ဆိုခြင်းအတွက် စံနှုန်းကို 52.5 ရာခိုင်နှုန်းမှ 58.5 ရာခိုင်နှုန်းအထိ မြှင့်တင်ပေးပါသည်။

ထိရောက်မှုအရ၊ QwenGyre သည် colocated RL baseline တစ်ခုထက် 1.85 ဆအထိ speedups နှင့် asynchronous setup တစ်ခုထက် 1.78 ဆ၊ မတူကွဲပြားသော လေ့ကျင့်ရေးဒိုမိန်းများကို ဖြတ်ကျော်ကာ အကဲဖြတ်မှုများတွင် အဖွဲ့မှ အစီရင်ခံပါသည်။ ၎င်းတို့သည် ဂဏန်းတစ်လုံးစီ ရာခိုင်နှုန်းဖြင့် တိုင်းတာလေ့ရှိသည့် ကွက်လပ်တစ်ခုတွင် များပြားလှသော ဂဏန်းများဖြစ်သည်။

သတိပေးချက်များနှင့် ရရှိနိုင်မှု

မည်သည့်ဓာတ်ခွဲခန်းမှထုတ်ဝေသည့်ရလဒ်ကဲ့သို့ပင်၊ နံပါတ်များကို Qwen အဖွဲ့မှ ကိုယ်တိုင်အစီရင်ခံပြီး သီးခြားလွတ်လပ်စွာ ပြန်လည်ထုတ်လုပ်ခြင်းမရှိသေးပါ။ ပြင်ပသုတေသီများအတွက် လက်တွေ့ကျသောမေးခွန်းတစ်ခုမှာ ဝင်ရောက်ခွင့်ဖြစ်သည်- အချို့သောလွှမ်းခြုံမှုမှာ QwenGyre ကို open source အဖြစ်ဖော်ပြခဲ့သော်လည်း၊ စာရေးချိန်၌ ရှင်းလင်းသောအများပြည်သူကုဒ်ထုတ်လွှတ်မှုသည် မပေါ်သေးသောကြောင့် အစီရင်ခံတင်ပြထားသော speedups များကို သီးခြားအတည်ပြုနိုင်ခြင်းမရှိသေးပါ။ အသေးစိတ်အချက်အလက်များရရှိလာသည်နှင့်အမျှ AI Buzz Wire ကို အပ်ဒိတ်လုပ်ပါမည်။

မည်သို့ပင်ဆိုစေကာမူ စာရွက်သည် အေးဂျင့်လေ့ကျင့်ရေးဆီသို့ ဦးတည်နေသည့် အသုံးဝင်သော အချက်ပြမှုတစ်ခုဖြစ်သည်။ အေးဂျင့်များသည် ပိုရှည်ပြီး တန်ဖိုးကြီးသည့်အလုပ်များကို လုပ်ဆောင်သောကြောင့် ၎င်းတို့ကို လေ့ကျင့်ရန် လိုအပ်သော အခြေခံအဆောက်အအုံသည် chat-era RL ပိုက်လိုင်းနှင့် သိသိသာသာ ကွဲလွဲနေပြီး ၎င်းတို့နှစ်ခုကြား ကွာဟချက်မှာသာ ကြီးထွားလာမည်ဖြစ်သည်။

---

AI ၏ရှေ့တွင်နေရန်

နောက်ဆုံးပေါ် AI သတင်းများ၊ ခွဲခြမ်းစိတ်ဖြာမှုနှင့် အောင်မြင်မှုများ—အားလုံးကို တစ်နေရာတည်းတွင် ရယူပါ။

AI သတင်းအပြည့်အစုံကို ဖတ်ရှုရန် →