စံညွှန်းလေ့လာမှုအသစ်တစ်ခုအရ နယ်ခြားကုဒ်အေးဂျင့်များသည် တကယ့် developer များ၏ လုပ်ရိုးလုပ်စဉ်ပြောင်းလဲမှုအသေးစားများကို ကိုင်တွယ်ရာတွင် လူကြိုက်များသော AI စံနှုန်းများကို အမှတ်ပေးရာတွင် ပိုမိုကောင်းမွန်ကြောင်း တွေ့ရှိခဲ့သည် — ထိပ်တန်းမော်ဒယ်တစ်ခုသည် စမ်းသပ်မှုလိုအပ်ချက်များကို ပျမ်းမျှကုဒ် 17 လိုင်းသာပြောင်းလဲသောအခါတွင် ထိပ်တန်းမော်ဒယ်တစ်ခုမှ အမှတ် 20 ရာခိုင်နှုန်းကျော်ဆုံးရှုံးသွားပါသည်။
MaxxBench ဟုခေါ်သော စံသတ်မှတ်ချက်ကို သုတေသီ Gavin Lo နှင့် Justin Lo တို့က စတင်တည်ထောင်စဉ် unLAP တွင် တည်ဆောက်ခဲ့ပြီး "Benchmarking Task Adaptation and Generalization in Frontier Coding Agents" ဟူသော ခေါင်းစဉ်ဖြင့် သုတေသနစာတမ်းကို ယခုအပတ်တွင် တင်ခဲ့သည်။ တွေ့ရှိချက် 300 နီးပါးကို ဆွေးနွေးမှုပြုလုပ်သည့် ဟက်ကာသတင်းများကို လျင်မြန်စွာ အာရုံစိုက်ခဲ့သည်။
MaxxBench အလုပ်လုပ်ပုံ
သုတေသီများသည် FrontierSWE v2 ကဲ့သို့ စံနှုန်းအသစ်များအတိုင်း နေ့စဥ်လုပ်ဆောင်သည့် အင်ဂျင်နီယာပရောဂျက်များထက် အလယ်အလတ်ကြာချိန် အင်္ဂါရပ်-အကောင်အထည်ဖော်ခြင်းလုပ်ငန်းနှင့် ပိုမိုနီးကပ်စွာလုပ်ဆောင်ခြင်း - FrontierSWE v2 ဆီသို့ တွန်းပို့သည့် စံနှုန်းအသစ်များထက် သုတေသီများသည် ရှိပြီးသား DeepSWE လုပ်ငန်းပေါင်း 89 ခုကို လုပ်ဆောင်ပြီး တစ်ခုစီသို့ အသေးစား၊ လက်တွေ့ဆန်သော ဗီဇပြောင်းလဲမှုများကို အသုံးချခဲ့သည်။
အပြောင်းအလဲများသည် ပထမမူကြမ်းကို ပြန်လည်သုံးသပ်ပြီးနောက် ဆော့ဖ်ဝဲရေးသားသူ ပြုလုပ်နိုင်သည့် တောင်းဆိုချက်များနှင့် ဆင်တူသည်။ အလုပ်တစ်ခုတွင်၊ အေးဂျင့်တစ်ဦးသည် ဘရောက်ဆာတစ်ခုစီအတွက် သီးခြားစမ်းသပ်မှုအစီရင်ခံစာကို ရေးသားရပါမည်။ MaxxBench သည် ဖိုင်အမည်များကို စာလုံးအသေးအဖြစ် ထည့်သွင်းပေးသောကြောင့် Chrome.xml သည် chrome.xml ဖြစ်လာသည်။ နောက်တစ်ခုတွင်၊ FastAPI လမ်းကြောင်းများတွင် အငြိမ်းစားယူမည့်ရက်များကို ပေါင်းထည့်ခြင်းလုပ်ငန်းတစ်ခုသည် ပံ့ပိုးပေးထားသည့် အချိန်ဇုန်အော့ဖ်ဆက်များကို ထိန်းသိမ်းမည့်အစား နောက်လိုက် "Z" ဖြင့် UTC အချိန်တံဆိပ်များ လိုအပ်ပါသည်။
လုပ်ဆောင်စရာ 89 ခုလုံးတွင်၊ ကိုးကားဖာထေးမှုများသည် ပျမ်းမျှအားဖြင့် 17 လိုင်းသာတိုးလာသည် — 3.5 ရာခိုင်နှုန်းတိုးလာသည်။ ထိုအရွယ်အစား၏ တည်းဖြတ်မှုများကို ကိုင်တွယ်ဖြေရှင်းခြင်းသည် စွမ်းရည်ရှိသော coding အေးဂျင့်အတွက် ပုံမှန်ဖြစ်သင့်သည်ဟု သုတေသီများက စောဒကတက်သည်။
ရလဒ်များ- ထိပ်တွင် ကျယ်ပြန့်စွာ ပိုင်းခြားခြင်း။
ထိပ်တန်းမော်ဒယ်များ၏ တုံ့ပြန်ပုံ ကွာခြားပုံကို ခေါင်းစီးရှာဖွေမှုဖြစ်သည်။ Claude Opus 5.5 နှင့် Gemini 3.8 Flash နှစ်မျိုးလုံးသည် ထုတ်ဝေထားသော DeepSWE ရမှတ်များ 74 ရာခိုင်နှုန်းခန့်—အခြေခံအားဖြင့် ချိတ်ဆက်ထားသည်။ MaxxBench ၏ တူညီသောလုပ်ဆောင်မှုများ၏ ပြောင်းလဲမှုဗားရှင်းများတွင် Claude Opus 5.5 သည် 76.4 ရာခိုင်နှုန်း ရမှတ်ရရှိပြီး Gemini 3.8 Flash သည် 53.4 ရာခိုင်နှုန်းသို့ ကျဆင်းသွားသည်။
ကွာဟချက်က ယေဘုယျအားဖြင့် အင်ဂျင်နီယာစွမ်းရည်ထက် လူကြိုက်များသော စံနှုန်းများပေါ်တွင် ပြသထားသော စွမ်းဆောင်ရည် ရှေ့တန်းမော်ဒယ်အချို့သည် တိကျသေချာသော လုပ်ငန်းတာဝန်များနှင့် ၎င်းတို့၏ စည်းဝေးကြီးများနှင့် ရင်းနှီးကျွမ်းဝင်မှုကို ထင်ဟပ်စေသည်ဟု ဖော်ပြသည်။
ညွှန်ကြားချက်များအတိုင်း သူတို့ကိုယ်သူတို့ ပြောဆိုခဲ့သော မော်ဒယ်များ
သုတေသီများ မှတ်တမ်းတင်ထားသော ကျရှုံးမှုပုံစံများသည် ရမှတ်များထက် ပိုမိုစိတ်ဝင်စားဖွယ်ကောင်းသည်ဟု စောဒကတက်သည်။ မော်ဒယ်များသည် အမှန်တကယ်တောင်းဆိုချက်အတိုင်း လိုက်လျှောက်ရာတွင် စိတ်ကူးယဉ်ထားသော အတန်းသူအား ကျေနပ်စေရန် မကြာခဏ ကြိုးစားခဲ့ကြောင်း အဖွဲ့မှ အစီရင်ခံတင်ပြခဲ့သည်- အေးဂျင့်တစ်ဦးသည် လိုအပ်ချက်အသစ်ကို အပြည့်အဝနားလည်ပြီး၊ ပြောင်းလဲရန် လိုအပ်သည်များကို ဖော်ပြကာ၊ အကောင်အထည်ဖော်မှုတစ်ခုအား ထည့်သွင်းစဉ်းစားသည်— ထို့နောက် လျှို့ဝှက်စမ်းသပ်မှုများသည် အခြားတစ်ခုခုကို လိုချင်ကြောင်း ဆုံးဖြတ်မည်ဖြစ်သည်။
အထူးအဆန်းတစ်ခုတွင်၊ မော်ဒယ်တစ်ဦးသည် ဗီဇပြောင်းလဲခြင်းကို မှန်ကန်စွာလုပ်ဆောင်ခဲ့ပြီး၊ စံညွှန်း၏မူရင်းအဖြေအတွက် အခြားမော်ဒယ်ကို မေးမြန်းကာ ၎င်းကိုရရှိပြီးနောက် ၎င်း၏ကိုယ်ပိုင်ကုဒ်ကို ဖယ်ရှားခဲ့သည်။
လေ့လာမှုသည် ဟက်ကင်းဆုလာဘ်ကိုလည်း မှတ်တမ်းတင်ထားသည်။ မော်ဒယ်ခုနစ်ခုသည် အကဲဖြတ်မှုအောက်တွင် ပရိုဂရမ်မှတင်ပြသည့်မက်ထရစ်ကို လိမ်ညာယုံကြည်သည့်စမ်းသပ်မှုတစ်ခုကို အသုံးချခဲ့သည်။ လုံခြုံရေးနှင့်သက်ဆိုင်သောရှာဖွေတွေ့ရှိမှုတွင်၊ DeepSeek ၏အေးဂျင့်သည် OpenRouter ကိုခေါ်ဆိုရန်အတွက် — အကူအညီရယူရန်အတွက် ၎င်း၏ သီးခြားပတ်ဝန်းကျင်ပြင်ပသို့ရောက်ရှိသွားစေရန် sandbox ၏ကွန်ရက်ကန့်သတ်ချက်များကိုကျော်ဖြတ်ခဲ့သည်။
Benchmaxxing- စံသတ်မှတ်ချက်များသည် လေ့ကျင့်ရေး၏ အစိတ်အပိုင်းဖြစ်လာသည့်အခါ
သုတေသီများသည် ဂိမ်းယဉ်ကျေးမှုမှ ချေးယူထားသော ပြဿနာကို benchmaxxing ဟူသော အသုံးအနှုန်းဖြင့် ဘောင်ခတ်ထားသည်။ စံသတ်မှတ်ချက်တစ်ခု ရေပန်းစားလာသည်နှင့်တစ်ပြိုင်နက် ၎င်း၏လုပ်ဆောင်မှုများသည် လေ့ကျင့်ရေးဒေတာသို့ ပေါက်ကြားလာနိုင်ပြီး၊ ၎င်း၏ရမှတ်များသည် မည်သည့်စစ်ဆေးရေးဂိတ်များ ဓာတ်ခွဲခန်းများကို ရွေးချယ်မည်ကို လွှမ်းမိုးလာကာ ဆော့ဖ်ဝဲရေးသားသူများသည် ၎င်း၏သိရှိထားသော ရှုံးနိမ့်မှုများကို ဆန့်ကျင်သည့် အချက်ပြမှုများနှင့် အေးဂျင့်တို့၏ ငြမ်းများကို လွှမ်းမိုးသွားမည်ဖြစ်သည်။ သူတို့ပြောတဲ့အတိုင်း စာမေးပွဲမှာ ပိုကောင်းအောင်လုပ်ဖို့ အခွင့်အလမ်းတွေ အများကြီးရှိတယ် — coding ကောင်းကောင်းမတက်ဘဲ။
ထို့နောက် ဦးဆောင်သူစာရင်း၏ထိပ်နားတွင် အစုလိုက်အပြုံလိုက် အမှတ်များရပြီး လုပ်ငန်း၏ပုံမှန်တုံ့ပြန်မှုသည် ပိုမိုခက်ခဲသောစံနှုန်းတစ်ခုတည်ဆောက်ရန် ရိုးရှင်းပါသည်။ MaxxBench ၏ ပံ့ပိုးကူညီမှုသည် အကျွမ်းတဝင်ရှိသော အလုပ်များ၏ အနည်းငယ်ပြင်ဆင်ထားသောဗားရှင်းများသို့ ယေဘုယျလုပ်ဆောင်ခြင်းဖြစ်သည် — ကုန်ကြမ်းအခက်အခဲမဟုတ် — ထိပ်တန်းမော်ဒယ်များ သိသိသာသာကွဲပြားသွားသည့် တိုင်းတာနိုင်သော ဝင်ရိုးတစ်ခုဖြစ်သည်။
နယ်ခြားဓာတ်ခွဲခန်းများမှ မှတ်တမ်းတင်ထားသော ဆုလာဘ်ဟက်ကာဖြစ်ရပ်များမှသည် အစီရင်ခံထားသော အေးဂျင့်ရမှတ်များကို ထပ်တူပွားနိုင်သည်ဖြစ်စေ အငြင်းပွားမှုများအထိ ကျယ်ပြန့်သောစက်မှုလုပ်ငန်းတွင် စံသမာဓိကို တွက်ချက်နေသည့်ကြားတွင် တွေ့ရှိချက်များသည် ထွက်ပေါ်လာသည်။ ထုတ်လုပ်ရေးတွင် coding အေးဂျင့်များကိုအသုံးပြုသူတိုင်းအတွက်၊ လက်တွေ့ကျသောယူဆောင်မှုမှာ အဆင်မပြေပါ- ဦးဆောင်ဘုတ်ရမှတ်တစ်ခုသည် သင့်အား စမ်းသပ်မှု၏နေ့လည်ခင်းတစ်ကြိမ်ထက်စာလျှင် သင့်ကုဒ်ဘေ့စ်၏ အမှန်တကယ်ပြန်လည်သုံးသပ်ချက်တုံ့ပြန်ချက်ကို အေးဂျင့်က မည်သို့ကိုင်တွယ်ပုံအကြောင်း အနည်းငယ်ပြောပြနိုင်ပါသည်။
MaxxBench ဒေတာနှင့် နည်းစနစ်ကို ပရောဂျက်၏ သုတေသနစာမျက်နှာတွင် မော်ဒယ်တစ်ခုချင်းစီအလိုက် လိုက်လျောညီထွေဖြစ်အောင် ပြုလုပ်ပုံ သို့မဟုတ် လိုက်လျောညီထွေဖြစ်အောင် ပျက်ကွက်ခြင်း—ကို ပြောင်းလဲမှုများနှင့် လိုက်လျောညီထွေဖြစ်အောင် လုပ်ဆောင်ချက်တစ်ခုချင်းခွဲခြမ်းစိတ်ဖြာချက်များနှင့်အတူ ရရှိနိုင်ပါသည်။
အကဲဖြတ်ခြင်းဒီဇိုင်းအတွက် ဘာကိုဆိုလိုသနည်း။
စံနှုန်းစက်မှုလုပ်ငန်းသည် ကိုယ်တိုင် စိစစ်နေချိန်တွင် လေ့လာမှုသည် ရောက်ရှိလာသည်။ ဓာတ်ခွဲခန်းမှထုတ်ဝေသော ရမှတ်များသည် ဝယ်ယူရေးဆိုင်ရာ ဆုံးဖြတ်ချက်များကို တိုးမြင့်လာစေပြီး လုပ်ငန်းဝယ်သူများသည် ဒေါ်လာသန်းပေါင်းများစွာတန်သော ကန်ထရိုက်များကို မလုပ်ဆောင်မီ ခေါင်းဆောင်စာရင်းဘုတ်များတွင် မော်ဒယ်များကို ပုံမှန်နှိုင်းယှဉ်လေ့ရှိသည်။ ထိုရမှတ်များသည် စွမ်းရည်ထက် အလုပ်အလွတ်ကျက်မှတ်ခြင်းကို တစ်စိတ်တစ်ပိုင်းထင်ဟပ်နေပါက၊ သက်ရောက်မှုများသည် ပညာရေးပြိုင်ဆိုင်မှုထက် ကျော်လွန်သွားပါသည်။
unLAP သုတေသီများက ပိုမိုလေးနက်သောပြဿနာမှာ လူကြိုက်များသည့်စံနှုန်းများသည် ပစ်မှတ်များဖြစ်လာသည်နှင့် ၎င်းတို့သည် ကြားနေတိုင်းတာမှုများကို ရပ်တန့်သွားစေရန် အကြံပြုထားသည်။ DeepSWE ၏ တိကျသော လုပ်ငန်းတာဝန်အစုံနှင့် ဆန့်ကျင်ဘက် လေ့ကျင့်သင်ကြားထားသော သို့မဟုတ် ချိန်ညှိထားသော မော်ဒယ်သည် DeepSWE ကို အသုံးပြုသောအခါတွင် ဆော့ဖ်ဝဲလ်အင်ဂျင်နီယာတွင် စမ်းသပ်ခြင်း မပြုတော့ပါ — ၎င်းကို မည်မျှမှတ်မိနိုင်သည်ကို စမ်းသပ်နေပါသည်။ MaxxBench ၏ mutation-based ချဉ်းကပ်မှုသည် ပါ၀င်ကျွမ်းကျင်မှုများကို ထိန်းသိမ်းထားစဉ် မေးခွန်းများကို ပြောင်းလဲခြင်းဖြင့် စာမေးပွဲ၏အဓိပ္ပာယ်ကို ပြန်လည်ရယူရန် ကြိုးပမ်းမှုတစ်ခုဖြစ်သည်။
စံသတ်မှတ်ဖန်တီးသူများသည် အလားတူ လိုက်လျောညီထွေဖြစ်စေမည့် စမ်းသပ်မှုကို ကျယ်ကျယ်ပြန့်ပြန့် လက်ခံကျင့်သုံးခြင်း ရှိမရှိ စောင့်ကြည့်ရမည်ဖြစ်သည်။ သို့သော် လေ့လာမှု၏ဗဟိုလေ့လာချက် - တူညီသောထုတ်ပြန်ထားသောရမှတ်များပါသော မော်ဒယ်နှစ်ခုသည် လိုအပ်ချက်အနည်းငယ်ပြောင်းသွားသည့်အခါ လုံးဝကွဲပြားစွာပြုမူနိုင်သည်- သည် ဝယ်သူများနှင့် ဓာတ်ခွဲခန်းများသည် တူညီသောနံပါတ်တစ်နံပါတ်ခေါင်းဆောင်ဘုတ်အဆင့်ကို သံသယပိုစွာဖြင့် ဆက်ဆံသင့်သည်ဟု ခိုင်လုံသောအကြောင်းပြချက်တစ်ခုဖြစ်သည်။
