ក្រុម Qwen របស់ Alibaba កំពុងទាក់ទាញការយកចិត្តទុកដាក់ថ្មីក្នុងសប្តាហ៍នេះសម្រាប់ QwenGyre ដែលជាក្របខ័ណ្ឌសិក្សាពង្រឹងដែលត្រូវបានរចនាឡើងដើម្បីបណ្តុះបណ្តាលភ្នាក់ងារ AI លើកិច្ចការដែលដំណើរការរាប់ម៉ោងក្នុងពេលតែមួយ។ ប្រព័ន្ធនេះត្រូវបានពិពណ៌នានៅក្នុងក្រដាសមួយដែលមានចំណងជើងថា "QwenGyre: ក្របខ័ណ្ឌសិក្សាពង្រឹងភាពយឺតយ៉ាវសម្រាប់ការបណ្តុះបណ្តាល xLong-Horizon Agents" ដែលនិពន្ធដោយអ្នកស្រាវជ្រាវ Qwen ចំនួន 13 នាក់ ហើយបានបង្ហោះទៅកាន់ arXiv នៅចុងខែកញ្ញា ដោយមានការគ្របដណ្តប់លម្អិតដូចខាងក្រោមនៅទូទាំងសារព័ត៌មាន AI នៅថ្ងៃទី 12 និង 13 ខែតុលា។

ក្របខ័ណ្ឌនេះកំណត់គោលដៅលើប្រភេទនៃបន្ទុកការងារដែលក្រុមហៅថា "xLong-horizon" កិច្ចការ ដែលការប្រតិបត្តិតែមួយមានរយៈពេលរាប់ម៉ោង ពាក់ព័ន្ធនឹងអន្តរកម្មរាប់រយរវាងគំរូ និងបរិស្ថានរបស់វា ហើយប្រើប្រាស់ជិតមួយលានថូខឹនក្នុងមួយដំណើរការ។ ភ្នាក់ងារសរសេរកូដដែលធ្វើការតាមរយៈឃ្លាំងទាំងមូល ឬជំនួយការដែលអនុវត្តប្រតិបត្តិការច្រើនជំហានក្នុងនាមអ្នកប្រើប្រាស់ គឺជាឧទាហរណ៍ធម្មតា។ គំរូបណ្តុះបណ្តាលដើម្បីធ្វើរឿងនេះឱ្យបានល្អជាមួយនឹងការរៀនពង្រឹងតាមអ៊ីនធឺណិតគឺជាបញ្ហាផ្នែកហេដ្ឋារចនាសម្ព័ន្ធដែលពិបាកជាងនៅក្នុងវិស័យនេះ ហើយវាជាអាទិភាពធម្មជាតិសម្រាប់ក្រុមដែលនៅពីក្រោយគំរូភ្នាក់ងារទម្ងន់បើកចំហដែលប្រើយ៉ាងទូលំទូលាយរបស់ Qwen ។ សម្រាប់អ្នកអានដែលតាមដាន breaking AI news លើហេដ្ឋារចនាសម្ព័ន្ធបណ្តុះបណ្តាល QwenGyre គឺជាការក្រឡេកមើលពីរបៀបដែលក្រុមគំរូបើកចំហដ៏ធំបំផុតមួយបានធ្វើការវិស្វកម្មឡើងវិញនូវបំពង់បង្ហូរប្រេង RL ជុំវិញបន្ទុកការងារភ្នាក់ងារ។

ដង្កៀបពីរនៅក្នុង Long-Horizon RL

ឯកសារនេះកំណត់បញ្ហាជាមូលដ្ឋានចំនួនពីរជាមួយនឹងការអនុវត្តការរៀនពង្រឹងតាមអ៊ីនធឺណិតទៅនឹងកិច្ចការភ្នាក់ងារដ៏វែងឆ្ងាយ។

ទីមួយគឺ GPU ទំនេរ។ ដោយសារតែការដាក់ចេញមានភាពខុសប្លែកគ្នាយ៉ាងខ្លាំងនៅក្នុងពេលវេលាប្រតិបត្តិ — ការរត់ភ្នាក់ងារមួយអាចបញ្ចប់ក្នុងរយៈពេលតែប៉ុន្មាននាទីប៉ុណ្ណោះ ខណៈពេលដែលមួយទៀតដំណើរការរាប់ម៉ោង — ផ្នែកហ្វឹកហាត់នៃបំពង់បង្ហូរប្រេងកំពុងរង់ចាំអ្នកតស៊ូឥតឈប់ឈរ។ លទ្ធផលនេះបើយោងតាមអ្នកនិពន្ធ វាគឺជាពេលវេលាទំនេរដ៏ធំនៅទូទាំងកងនាវា GPU ថ្លៃៗ ដែលជាការចំណាយដ៏ធំបំផុតតែមួយគត់នៅក្នុងដំណើរការហ្វឹកហាត់ RL ណាមួយ។

ទីពីរ​គឺ​គន្លង​មិន​ប្រក្រតី។ ភារកិច្ចភ្នាក់ងារវែងមិនដំណើរការក្នុងបន្ទាត់ត្រង់ទេ។ ពួកវាសាខា៖ ភ្នាក់ងារមួយព្យាយាមវិធីសាស្រ្តមួយ ដើរថយក្រោយ ព្យាយាមមួយទៀត ហើយការពង្រីកសាខាកើនឡើង នៅពេលដែលកិច្ចការកាន់តែយូរ និងស្មុគស្មាញ។ ភាគច្រើននៃប្រវត្ដិសាស្រ្ដនេះ គឺមិនអាចខ្វះបានឡើយ ហើយការបណ្ដុះបណ្ដាលលើវាទាំងអស់នោះ ធ្វើឱ្យបាត់បង់ការគណនា និងធ្វើឱ្យការរៀនសូត្រមានអស្ថិរភាព។ អ្នក​និពន្ធ​ពណ៌នា​អំពី​ភាព​ខ្វះ​ចន្លោះ​នេះ​ថា​ជា​ការ​ខូច​ខាត​ប្រសិទ្ធភាព​ការ​បណ្តុះ​បណ្តាល​តាម​មាត្រដ្ឋាន។

របៀបដែល QwenGyre ដោះស្រាយពួកគេ។

QwenGyre គឺជាក្របខ័ណ្ឌបញ្ចប់ដល់ទីបញ្ចប់សម្រាប់ RL លើបណ្តាញអ៊ីនធឺណែតដ៏វែងឆ្ងាយដែលបង្កើតឡើងជុំវិញយន្តការស្នូលពីរ។

ទីមួយគឺការកំណត់ទីតាំង GPU យឺត។ ក្របខ័ណ្ឌផ្លាស់ប្តូរ GPUs រវាងផ្នែកចាប់ផ្តើម (កន្លែងដែលភ្នាក់ងារដំណើរការ និងបង្កើតបទពិសោធន៍) និងផ្នែកបណ្តុះបណ្តាល (កន្លែងដែលគំរូត្រូវបានធ្វើបច្ចុប្បន្នភាព) ដោយមិនរំខានដល់ការប្រតិបត្តិផ្ទាល់។ នៅក្នុងការរៀបចំធម្មតា ការបំបែករវាងការចេញ និងធនធានបណ្តុះបណ្តាលត្រូវបានជួសជុល ដូច្នេះភាគីម្ខាងទុកចោល ខណៈមួយទៀតដំណើរការ។ ការធ្វើឱ្យព្រំដែនមានភាពយឺតយ៉ាវ មានន័យថា ដំណាក់កាលចាប់ផ្តើមខ្លាំងអាចខ្ចីផ្នែករឹងហ្វឹកហាត់ ហើយផ្ទុយទៅវិញ នៅពេលដែលបន្ទុកការងារផ្លាស់ប្តូរ។

ទីពីរ​គឺ​ម៉ាស៊ីន​ដំណើរការ​គន្លង​ដែល​ដោះស្រាយ​បញ្ហា​ដែល​មាន​ការ​បែក​ចេញ។ វាបង្កើតឡើងវិញនូវប្រវត្តិសាខា ដូច្នេះបុព្វបទដែលបានចែករំលែកមិនត្រូវបានចាត់ទុកជាទិន្នន័យដែលមិនទាក់ទងគ្នា ពិន្ទុវឌ្ឍនភាពមួយផ្នែកលើការព្យាយាមមិនពេញលេញ - សំខាន់នៅពេលដែលការចេញផ្សាយរយៈពេលវែងភាគច្រើនបញ្ចប់ដោយការបរាជ័យ - និងស្ទួនផ្លូវដែលមិនត្រូវការសម្រាប់ការចំណាយលើការបណ្តុះបណ្តាល។

សេដ្ឋកិច្ចនៅទីនេះគឺត្រង់។ នៅក្នុងការពង្រឹងការរៀនសម្រាប់ម៉ូដែលធំ ការគណនាគឺជាការចំណាយដ៏លេចធ្លោ ហើយការបំបែកការបណ្តុះបណ្តាល-ការបណ្តុះបណ្តាលកំណត់ថាតើកងនាវា GPU មួយពិតជារកបានប្រាក់សន្សំរបស់វានៅពេលណាក៏បាន។ ក្របខ័ណ្ឌដែលរក្សា GPUs លើការងារដែលមានប្រយោជន៍ជំនួសឱ្យការទុកចោលប្រកបដោយប្រសិទ្ធភាព គុណនឹងដំណើរការនៃផ្នែករឹងដូចគ្នា។ សម្រាប់ការហ្វឹកហ្វឺនភ្នាក់ងារផ្តេកវែង - ដែលជាកន្លែងដែលក្រដាសពិពណ៌នាអំពីការទុកចោលថាជា "ដ៏ធំ" - ភាពខុសគ្នារវាងការបំបែកឋិតិវន្ត និងផ្នែកយឺតអាចសម្រេចចិត្តថាតើកម្មវិធីបណ្តុះបណ្តាលគឺអនុវត្តបានទាំងអស់។

ហេតុអ្វីបានជាវាសំខាន់សម្រាប់ប្រព័ន្ធអេកូភ្នាក់ងារ

ផលិតផលភ្នាក់ងារបានផ្លាស់ប្តូរពីការបង្ហាញទៅជាការដាក់ឱ្យប្រើប្រាស់ ហើយបច្ចេកទេសបណ្តុះបណ្តាលនៅពីក្រោយពួកគេកំពុងប្រកួតប្រជែងដើម្បីបន្ត។ ភ្នាក់ងារសរសេរកូដដែលបំពេញសំបុត្រពិតប្រាកដ ឬជំនួយការដែលគ្រប់គ្រងលំហូរការងារច្រើនជំហាន អាចត្រូវការអន្តរកម្មរាប់រយ មុនពេលវាឈានដល់លទ្ធផលដែលមនុស្សនឹងទទួលយក ហើយសញ្ញារង្វាន់សម្រាប់លទ្ធផលទាំងនោះគឺមានលក្ខណៈតូចតាច និងពិបាកក្នុងការកំណត់។ ការរៀនពង្រឹងតាមអ៊ីនធឺណិតនៅតែជាវិធីសាស្រ្តលេចធ្លោសម្រាប់ឥរិយាបថភ្នាក់ងារធ្វើឱ្យច្បាស់ ដែលធ្វើឱ្យលំហូរនៃបំពង់ RL ជាឧបសគ្គផ្ទាល់ចំពោះរបៀបដែលមន្ទីរពិសោធន៍អាចកែលម្អភ្នាក់ងាររបស់ខ្លួនបានលឿន។

នោះហើយជាមូលហេតុដែលក្របខ័ណ្ឌដូចជា QwenGyre មានបញ្ហាលើសពី Alibaba ។ ប្រសិនបើ RL-horizon វែងក្លាយជាថោកជាងយ៉ាងខ្លាំងក្នុងមួយចំណុចសមត្ថភាពដែលទទួលបាន នោះក្រុមកាន់តែច្រើនអាចមានលទ្ធភាពបណ្តុះបណ្តាលភ្នាក់ងារលើការងារដ៏វែងឆ្ងាយដែលរញ៉េរញ៉ៃដែលស្រដៀងនឹងការងារពិត ជាជាងលើវគ្គសំយោគខ្លីៗដែលមានតម្លៃថោកដើម្បីដាក់ចេញ ប៉ុន្តែខ្សោយក្នុងនាមជាប្រូកស៊ី។ ក្រុមដែលដោះស្រាយបញ្ហាឆ្លងកាត់នឹងអាចនិយាយឡើងវិញអំពីសមត្ថភាពភ្នាក់ងារលឿនជាងមនុស្សគ្រប់រូប។

លទ្ធផលដែលបានរាយការណ៍

លទ្ធផលដែលលេចធ្លោបំផុតនៅក្នុងក្រដាសគឺបានមកពីការធ្វើមាត្រដ្ឋាន QwenGyre ទៅជាគំរូស្មាតហ្វូនរបស់ Qwen គឺ Qwen 3.8 2.4T ជាមួយនឹងការចេញផ្សាយចំនួន 700,000 tokens ។ ការបណ្តុះបណ្តាលជាមួយនឹងក្របខ័ណ្ឌបានផ្តល់ផលចំណេញដាច់ខាត 6.0 ភាគរយនៅលើ NL2RepoBench ដែលជាស្តង់ដារសម្រាប់ការបកប្រែសំណើភាសាធម្មជាតិទៅជាការផ្លាស់ប្តូរកូដកម្រិតឃ្លាំង - លើកគំរូពី 52.5 ភាគរយទៅ 58.5 ភាគរយក្នុងរយៈពេលត្រឹមតែ 48 ជំហាន RL ។

អំពីប្រសិទ្ធភាព ក្រុមការងាររាយការណ៍ថា QwenGyre ផ្តល់ការបង្កើនល្បឿនដល់ទៅ 1.85 ដង លើបន្ទាត់មូលដ្ឋាន RL ចម្រុះ និង 1.78 ដងលើការដំឡើងអសមកាល ឆ្លងកាត់ការវាយតម្លៃដែលលាតសន្ធឹងលើដែនបណ្តុះបណ្តាលចម្រុះ។ ទាំងនេះគឺជាចំនួនដ៏ច្រើននៅក្នុងវាលដែលការកើនឡើងនៃទិន្នផលជាធម្មតាត្រូវបានវាស់ជាភាគរយតែមួយខ្ទង់។

ការព្រមាន និងភាពអាចរកបាន

ដូចទៅនឹងលទ្ធផលដែលចេញផ្សាយដោយមន្ទីរពិសោធន៍ណាមួយ លេខត្រូវបានរាយការណ៍ដោយខ្លួនឯងដោយក្រុម Qwen ហើយមិនទាន់ត្រូវបានផលិតឡើងវិញដោយឯករាជ្យនៅឡើយ។ សំណួរជាក់ស្តែងមួយសម្រាប់អ្នកស្រាវជ្រាវខាងក្រៅគឺការចូលប្រើ៖ ខណៈពេលដែលការគ្របដណ្តប់មួយចំនួនបានពណ៌នា QwenGyre ជាប្រភពបើកចំហ ការចេញផ្សាយកូដសាធារណៈច្បាស់លាស់មិនបានលេចឡើងនៅពេលសរសេរ ដូច្នេះការផ្ទៀងផ្ទាត់ឯករាជ្យនៃការបង្កើនល្បឿនដែលបានរាយការណ៍គឺមិនទាន់អាចធ្វើទៅបានទេ។ AI Buzz Wire នឹងអាប់ដេត នៅពេលដែលព័ត៌មានលម្អិតបន្ថែមមាន។

ទោះបីជាដូច្នេះក៏ដោយ ក្រដាសគឺជាសញ្ញាដ៏មានប្រយោជន៍នៃកន្លែងដែលការបណ្តុះបណ្តាលភ្នាក់ងារកំពុងធ្វើដំណើរ។ នៅពេលដែលភ្នាក់ងារទទួលយកការងារកាន់តែយូរ និងមានតម្លៃកាន់តែច្រើន ហេដ្ឋារចនាសម្ព័ន្ធដែលត្រូវការដើម្បីបណ្តុះបណ្តាលពួកគេកំពុងបង្វែរយ៉ាងខ្លាំងពីបំពង់ RL សម័យជជែក ហើយគម្លាតរវាងអ្នកទាំងពីរនឹងកើនឡើងតែប៉ុណ្ណោះ។

---

ស្នាក់នៅមុន AI

ទទួលបានព័ត៌មាន AI ការវិភាគ និងរបកគំហើញចុងក្រោយបំផុត — ទាំងអស់នៅកន្លែងតែមួយ។

អានព័ត៌មាន AI បន្ថែម →