Timu ya Qwen ya Alibaba inavuta hisia mpya wiki hii kwa QwenGyre, mfumo wa uimarishaji wa mafunzo ulioundwa kutoa mafunzo kwa mawakala wa AI kuhusu kazi zinazoendeshwa kwa saa moja kwa wakati. Mfumo huo ulielezewa katika karatasi iliyopewa jina la "QwenGyre: Mfumo wa Kujifunza wa Kuimarisha Elastic kwa Mawakala wa Mafunzo ya xLong-Horizon," iliyoidhinishwa na watafiti kumi na watatu wa Qwen na kutumwa kwa arXiv mwishoni mwa Septemba, na habari za kina kufuatia vyombo vya habari vya AI mnamo Oktoba 12 na 13.
Mfumo huu unalenga aina ya mzigo wa kazi ambao timu huita majukumu ya "xLong-horizon", ambapo utekelezaji mmoja huchukua saa, unahusisha mamia ya mwingiliano kati ya muundo na mazingira yake, na hutumia karibu tokeni milioni kwa kila uchapishaji. Mawakala wa usimbaji wanaofanya kazi kupitia hazina nzima, au wasaidizi wanaotekeleza shughuli za hatua nyingi kwa niaba ya mtumiaji, ni mifano ya kawaida. Miundo ya mafunzo ya kufanya hivi vyema kwa kujifunza kwa uimarishaji mtandaoni imekuwa mojawapo ya matatizo magumu zaidi ya miundombinu katika uwanja huo - na ni kipaumbele cha asili kwa timu iliyo nyuma ya miundo ya mawakala wa uzani wazi ya Qwen inayotumika sana. Kwa wasomaji wanaofuatilia habari zinazochipuka za AI kuhusu miundombinu ya mafunzo, QwenGyre ni mtazamo wa jinsi mojawapo ya timu kubwa za mifumo huria imeunda upya bomba lake la RL kuzunguka mzigo wa kazi wa mawakala.
Vikwazo viwili katika Long-Horizon RL
Karatasi inabainisha matatizo mawili ya kimsingi ya kutumia mafunzo ya uimarishaji mtandaoni kwa kazi ndefu sana za wakala.
Ya kwanza ni kutofanya kazi kwa GPU. Kwa sababu uchapishaji hutofautiana sana katika muda wa utekelezaji - kukimbia kwa wakala mmoja kunaweza kumalizika kwa dakika huku mwingine kikizunguka kwa saa nyingi - upande wa mafunzo wa bomba unasubiri watelezaji kila mara. Matokeo, kulingana na waandishi, ni muda mwingi wa kutofanya kitu katika meli za gharama kubwa za GPU, ambazo ndizo gharama kubwa zaidi katika mafunzo yoyote ya RL.
Ya pili ni upungufu wa trajectory. Kazi ndefu za wakala haziendi kwa mstari ulionyooka. Zina matawi: wakala hujaribu mbinu moja, kurudi nyuma, kujaribu nyingine, na matawi huongezeka kadiri kazi zinavyokuwa ndefu na ngumu zaidi. Mengi ya historia hii ya matawi ni ya ziada, na mafunzo juu ya yote haya yanakusanya na kuharibu ujifunzaji. Waandishi wanaelezea upungufu huu kama ulemavu wa ufanisi wa mafunzo kwa kiwango.
Jinsi QwenGyre Anavyowashughulikia
QwenGyre ni mfumo wa mwisho-mwisho wa RL ya muda mrefu mtandaoni iliyojengwa karibu na mifumo miwili ya msingi.
Ya kwanza ni uwekaji upya wa GPU ya elastic. Mfumo huu huhamisha GPU kati ya upande wa uchapishaji (ambapo mawakala huendesha na kuzalisha matumizi) na upande wa mafunzo (ambapo muundo umesasishwa) bila kukatiza utekelezaji wa moja kwa moja. Katika usanidi wa kawaida, mgawanyiko kati ya rasilimali za usambazaji na mafunzo hurekebishwa, kwa hivyo upande mmoja haufanyi kitu wakati mwingine unafanya kazi. Kufanya mpaka kuwa nyororo kunamaanisha awamu nzito ya kusambaza kunaweza kuazima maunzi ya mafunzo, na kinyume chake, mzigo wa kazi unapobadilika.
Ya pili ni processor ya trajectory ambayo hurekebisha shida ya matawi. Huunda upya historia za matawi ili viambishi awali vilivyoshirikiwa visichukuliwe kama data isiyohusiana, hupata maendeleo kwa kiasi kwenye majaribio ambayo hayajakamilika - muhimu wakati uchapishaji mwingi wa muda mrefu unaisha kwa kutofaulu - na kubatilisha njia zisizo za lazima kwa gharama za mafunzo.
Uchumi hapa ni moja kwa moja. Katika uimarishaji wa mafunzo kwa miundo mikubwa, kukokotoa ndiyo gharama kuu, na mgawanyiko wa mafunzo ya utoaji huamua ni kiasi gani cha meli za GPU kinapata umiliki wake wakati wowote. Mfumo unaoweka GPU kwenye kazi muhimu badala ya kufanya kazi bila kufanya kazi huzidisha utumaji wa maunzi sawa. Kwa mafunzo ya wakala wa upeo wa macho - ambapo karatasi inaelezea kutofanya kazi kama "kubwa" - tofauti kati ya mgawanyiko tuli na mgawanyiko wa elastic unaweza kuamua kama programu ya mafunzo ni ya vitendo hata kidogo.
Kwa Nini Ni Muhimu kwa Mfumo wa Ikolojia wa Wakala
Bidhaa za mawakala zimehama kutoka kwa onyesho hadi kwa matumizi, na mbinu za mafunzo nyuma yao zinaendelea mbio. Wakala wa usimbaji anayekamilisha tikiti halisi, au msaidizi anayesimamia utendakazi wa hatua nyingi, anaweza kuhitaji mamia ya mwingiliano kabla ya kufikia matokeo ambayo mwanadamu angekubali - na ishara za zawadi kwa matokeo hayo ni chache na ni ngumu kufafanua. Mafunzo ya uimarishaji mtandaoni yanasalia kuwa mbinu kuu ya kunoa tabia ya mawakala, ambayo hufanya upitishaji wa bomba la RL kuwa kikwazo cha moja kwa moja kuhusu jinsi maabara inavyoweza kuboresha mawakala wake kwa haraka.
Ndio maana mifumo kama QwenGyre jambo zaidi ya Alibaba. Iwapo RL ya upeo wa macho itakuwa nafuu sana kwa kila hatua inayopatikana, timu nyingi zaidi zinaweza kumudu kutoa mafunzo kwa mawakala kuhusu kazi ndefu, zenye fujo zinazofanana na kazi halisi, badala ya vipindi vifupi vya sintetiki ambavyo ni rahisi kuzindua lakini dhaifu kama proksi. Timu zitakazosuluhisha tatizo la matokeo zitaweza kurudia uwezo wa kiajenti kwa haraka zaidi kuliko kila mtu mwingine.
Matokeo Yaliyoripotiwa
Matokeo maarufu zaidi kwenye karatasi yanatokana na kuongeza kiwango cha QwenGyre hadi kielelezo cha ubora cha Qwen, Qwen 3.8 2.4T, na utoaji wa tokeni 700,000. Mafunzo kwa kutumia mfumo huu yametoa faida kamili ya asilimia 6.0 kwenye NL2RepoBench - alama ya kutafsiri maombi ya lugha asilia hadi mabadiliko ya kiwango cha hazina - kuinua muundo kutoka asilimia 52.5 hadi asilimia 58.5 katika hatua 48 za RL pekee.
Kuhusu ufanisi, timu inaripoti kwamba QwenGyre hutoa kasi ya hadi mara 1.85 juu ya msingi wa RL iliyounganishwa na mara 1.78 zaidi ya usanidi usio na usawa, katika tathmini zinazohusisha maeneo mbalimbali ya mafunzo. Hizo ni nambari kubwa katika uga ambapo faida za matokeo hupimwa kwa asilimia za tarakimu moja.
Tahadhari na Upatikanaji
Kama ilivyo kwa matokeo yoyote yaliyochapishwa kwenye maabara, nambari huripotiwa zenyewe na timu ya Qwen na bado hazijatolewa tena kivyake. Swali moja la vitendo kwa watafiti wa nje ni ufikiaji: wakati chanjo zingine zimeelezea QwenGyre kama chanzo wazi, kutolewa kwa nambari ya umma hakujatokea wakati wa kuandika, kwa hivyo uthibitishaji huru wa kasi zilizoripotiwa bado haujawezekana. AI Buzz Wire itasasisha kadiri maelezo zaidi yanavyopatikana.
Hata hivyo, karatasi ni ishara muhimu ya wapi mafunzo ya wakala yanaelekea. Mawakala wanapochukua majukumu marefu na yenye thamani zaidi, miundombinu inayohitajika kuwafunza inatofautiana kwa kasi kutoka kwa bomba la RL la zama za mazungumzo - na pengo kati ya hizo mbili litaongezeka tu.
---
Kaa Mbele ya AIPata habari za hivi punde za AI, uchanganuzi na mafanikio - yote katika sehemu moja.
Soma habari zaidi za AI →
