Real-SWE ဟုခေါ်သော စံသတ်မှတ်ချက်အသစ်သည် AI လုပ်ငန်းသည် ကုဒ်ရေးနိုင်စွမ်းကို တိုင်းတာပုံအား စိန်ခေါ်နေပြီး ပထမရလဒ်များသည် နယ်ခြားဓာတ်ခွဲခန်းများအတွက် နှိမ့်ချစရာဖြစ်သည်။ Claude Code ကြိုးအတွင်းတွင် လည်ပတ်နေသော Anthropic's Fable 5.1 သည် ပုဂ္ဂလိက၊ လက်တွေ့ကမ္ဘာလုပ်ငန်းကုဒ်ဘေ့စ်များမှ ရေးဆွဲထားသော အလုပ်များအတွက် 38.8% ကြည်လင်ပြတ်သားမှုနှုန်းဖြင့် ဘုတ်အဖွဲ့ကို ဦးဆောင်နေသည်။ ဘယ်မော်ဒယ်ကိုမှ စမ်းသပ်ပြီး 40 ရာခိုင်နှုန်း ရှင်းပါတယ်။

Specific Labs မှ ယခုလတွင် ထုတ်ပြန်ခဲ့သော စံသတ်မှတ်ချက်သည် စစ်မှန်သောကုမ္ပဏီများထံမှ လိုင်စင်ရအဖွဲ့မှ လိုင်စင်ရရှိထားသော အဖွဲ့သည် ပုဂ္ဂလိကထုတ်လုပ်ရေးကုဒ်ဘေများပေါ်တွင် ရှေ့တန်း AI မော်ဒယ်များကို အကဲဖြတ်ပါသည်။ ၎င်း၏ဖန်တီးသူများသည် ကျွမ်းကျင်သော သို့မဟုတ် ပေါင်းစပ်ဖန်တီးထားသော အလုပ်များဖြစ်သော်လည်း ကောင်းမွန်စွာ ဒီဇိုင်းဆွဲထားခြင်းသည် အမှန်တကယ်ကုမ္ပဏီများတွင် အင်ဂျင်နီယာများ အမှန်တကယ်လုပ်ဆောင်သည့် စကားအပြောအဆိုအလုပ်မဟုတ်ကြောင်း ငြင်းခုံကြသည်။ For more context on this story, see our ongoing more AI stories.

ဘာကြောင့် သီးသန့် Codebases တွေက ရုပ်ပုံကို ပြောင်းတာလဲ။

Real-SWE သည် ၎င်း၏စာရေးဆရာများအဆိုအရ ပုဆိန်နှစ်ချောင်းရှိ SWE-ခုံတန်းလျားကဲ့သို့သော စံသတ်မှတ်ချက်များနှင့် ကွဲပြားသည်- အရင်းခံကုဒ်ရေးသည့်ပစ္စည်းနှင့် ညွှန်ကြားချက်၏ သီးခြားဖြစ်သည်။ အလုပ်တစ်ခုစီတိုင်းသည် အများသူငှာအင်တာနက်ပေါ်တွင် ကုဒ်နှင့်ဖြေရှင်းချက်များကို မရရှိနိုင်သည့် မူပိုင်စနစ်မှ ဆင်းသက်လာသည်၊ ဆိုလိုသည်မှာ အေးဂျင့်များသည် အများသူငှာ သိုလှောင်ရာနေရာများမှ ထုတ်ယူထားသော အလွတ်ကျက်အဖြေများကို အားကိုး၍မရပါ။

လုပ်ငန်းဆောင်တာများသည် စီးပွားရေးအကျိုးဆက်များကို သယ်ဆောင်လာပါသည်။ စံသတ်မှတ်ချက်၏ နမူနာလုပ်ဆောင်စရာများမှာ ငွေတောင်းခံလွှာမှန်ကန်ခြင်း၊ အခွန်များ တွက်ချက်ခြင်းနှင့် ဖောက်သည်များကို ရွှေ့ပြောင်းခြင်း - ဝန်ဆောင်မှုများစွာတွင် မကြာခဏဆိုသလို လုပ်ငန်းလည်ပတ်ပုံအပေါ် သက်ရောက်မှုရှိသော အပြောင်းအလဲများ ပါဝင်ပါသည်။ ကုမ္ပဏီတိုင်းတွင် ၎င်း၏ကိုယ်ပိုင်ကွန်ဗင်းရှင်းများနှင့် ကုဒ်ရေးနည်းများ ရှိပြီး အေးဂျင့်များသည် အဆိုပါစံနှုန်းများကို နားလည်ပြီး ရှိပြီးသားအရာများနှင့် ကိုက်ညီသော အပြောင်းအလဲများကို ပြုလုပ်ရမည်ဖြစ်သည်။

"Coding agent သည် လက်တွေ့ကမ္ဘာတွင် ဆော့ဖ်ဝဲအင်ဂျင်နီယာတစ်ဦး၏ အလုပ်ကို အမှန်တကယ် လုပ်ဆောင်နိုင်ပါသလား။" စံညွှန်းရဲ့ နိဒါန်းက မေးတယ်။ ဦးဆောင်ဘုတ်အဖွဲ့မှ အကြံပြုထားသည့် အဖြေမှာ ယခုအချိန်တွင်- အကောင်းဆုံးအချိန်၏ သုံးပုံတစ်ပုံခန့်သာဖြစ်သည်။

ခေါင်းဆောင်စာရင်း အပြည့်အစုံ

သီးခြားဓာတ်ခွဲခန်းများသည် ရှေ့တန်းမော်ဒယ်လ်နှင့် ကြိုးသိုင်းပေါင်းစပ်မှု ရှစ်ခုကို အကဲဖြတ်ပြီး အလုပ်တစ်ခုလျှင် ပျမ်းမျှ အမှီအခိုကင်းသော ပြေးနှုန်းရှစ်ခုထက် ပျမ်းမျှအားဖြင့် pass@1 ကဲ့သို့ ပြတ်သားမှုနှုန်းကို တိုင်းတာပြီး 95 ရာခိုင်နှုန်းသော ယုံကြည်မှုကြားကာလများ-

1. Fable 5.1 (Claude Code) — 38.8%
2. GPT-6 Astra (Codex CLI) — 33.8%
3. Gemini 3.8 Flash (Gemini CLI) — 31.2%
4. GLM 5.3 (Claude Code) — 28.8%
5. (ချည်) Grok 4.6 (Grok Build) — 23.8%
5. (ကြိုး) Muse Spark 1.3 (မူဆယ်ကုဒ်) — 23.8%
7. Kimi K3 (Kimi ကုဒ်) — 18.8%
8. GPT-5.6 Sol (Codex CLI) — 16.2%

ရလဒ်များကို တစ်ပတ်တာအတွင်း Hacker News တွင် ကျယ်ကျယ်ပြန့်ပြန့် ဆွေးနွေးခဲ့ပြီး၊ စံသတ်မှတ်ချက်သည် ထောက်ခံမဲ ရာနှင့်ချီပြီး သီးသန့်-ကုဒ်ဘေ့စ် အကဲဖြတ်မှုသည် အေးဂျင့်တိုးတက်မှုအတွက် မှန်ကန်မှု ရှိမရှိနှင့် ပတ်သက်၍ တက်ကြွစွာ ငြင်းခုံမှုများ ပြုလုပ်ခဲ့သည်။

ထိပ်တွင် ကျဉ်းမြောင်းသော်လည်း အဓိပ္ပါယ်ရှိသော ပျံ့နှံ့မှု

ထိပ်တန်းစနစ်လေးခုကြား ကွာဟချက်သည် လက်ရှိပြိုင်ဆိုင်မှုအခင်းအကျင်းနှင့်ပတ်သက်ပြီး ၎င်းပြောထားသည့်အရာအတွက် ထင်ရှားသည်။ OpenAI ၏ GPT-6 Astra အပေါ် Fable 5.1 ၏ ငါးမှတ်အသာဖြင့် ဦးဆောင်မှုသည် အလုပ်တိုင်းသည် တကယ့်ထုတ်လုပ်ရေးပြဿနာဖြစ်သည့် စံသတ်မှတ်ချက်တစ်ခုပေါ်တွင် အဓိပ္ပာယ်ရှိနေသည်။ Gemini 3.8 Flash သည် စွမ်းဆောင်ရည်မြင့် ကျိုးကြောင်းဆီလျော်မှုစနစ်ထက် မြန်ဆန်ပြီး ကုန်ကျစရိတ်နည်းသော လုပ်သားအဖြစ် နေရာယူထားသောကြောင့် တတိယအချက်မှာ သိသိသာသာ ထင်ရှားပါသည်။ Claude Code မှတစ်ဆင့် အကဲဖြတ်သည့် Z.ai ၏ GLM 5.3 သည် ခေါင်းဆောင်၏ ငါးမှတ်အတွင်း ဆင်းသက်လာပြီး လက်တွေ့ အင်ဂျင်နီယာလုပ်ငန်းခွင်တွင် မည်ကဲ့သို့ အပြိုင်အဆိုင် ပွင့်လင်းမြင်သာသော မော်ဒယ်များအား လက်တွေ့ အင်ဂျင်နီယာလုပ်ငန်းခွင်တွင် ဖြစ်လာသည်ကို အလေးပေးဖော်ပြသည်။

ထပ်တူထပ်မျှပြောခြင်းမှာ အောက်ခြေတွင် ပြန့်နှံ့နေခြင်းဖြစ်သည်။ GPT-5.6 Sol သည် အစောပိုင်း OpenAI ထုတ်ဝေမှုတွင် Fable 5.1 ကဲ့သို့ လုပ်ဆောင်စရာများထက် ထက်ဝက်ကျော်ကို ဖြေရှင်းပေးသည် — နယ်ခြားမျဉ်းသည် မည်မျှလျင်မြန်စွာ ရွေ့လျားသွားသည်ကို အမှတ်ရစေကာ၊ ကျဆင်းသွားမှုသည် စံပြမျိုးဆက်တစ်ခုမျှသာ ဖြစ်နိုင်သည်။

ကြိုးများသည် မော်ဒယ်များကဲ့သို့ အရေးပါသည်။

စံသတ်မှတ်ချက်၏ နည်းစနစ်ပိုင်းဆိုင်ရာ ရွေးချယ်မှုများထဲမှ တစ်ခုသည် အာရုံစူးစိုက်မှုကို ဆွဲဆောင်ခြင်းဖြစ်သည်- အထီးကျန်မှုပုံစံများကို အကဲဖြတ်မည့်အစား Real-SWE သည် မူရင်းကြိုးများ— Claude Code, Codex CLI, Gemini CLI, Grok Build — လုပ်ငန်းအင်ဂျင်နီယာများ လက်တွေ့လုပ်ဆောင်ပုံကို ထင်ဟပ်စေပါသည်။ ဦးဆောင်ဘုတ်အဖွဲ့သည် စံနမူနာနှင့်ကြိုး ပေါင်းစပ်မှုများကို အတိအလင်း အဆင့်သတ်မှတ်ထားပြီး ငြမ်းဆင်ခြင်း၊ ကိရိယာဝင်ရောက်ခြင်းနှင့် ထပ်ခါထပ်ခါ လှည့်ပတ်မှုများကို လက်တွေ့အသုံးချမှုတွင် မော်ဒယ်စွမ်းရည်မှ ခွဲထွက်၍မရနိုင်ကြောင်း အသိအမှတ်ပြုပါသည်။

စနစ်များကို ရွေးချယ်ရာတွင် စီးပွားရေးလုပ်ငန်းများအတွက် ယင်းဘောင်သည် အရေးကြီးပါသည်။ တူညီသောမော်ဒယ်သည် ၎င်းကိုရစ်ပတ်ထားသော အေးဂျင့်ကြိုးအပေါ်မူတည်၍ များစွာကွဲပြားစွာလုပ်ဆောင်နိုင်ပြီး အများသူငှာစံညွှန်းနံပါတ်များပေါ်တွင် ကုဒ်လက်ထောက်များကို အကဲဖြတ်သည့်ဝယ်သူများသည် ၎င်းတို့ကိုယ်ပိုင်ကုဒ်ဘေ့စ်များပေါ်တွင် မည်သို့လုပ်ဆောင်မည်ကို ပုံပျက်နေသောပုံတစ်ပုံရရှိနိုင်ပါသည်။

စက်မှုလုပ်ငန်းအတွက်ဆိုလိုသည်။

လေ့ကျင့်ရေးဒေတာသို့ပေါက်ကြားစေသော အများသူငှာစမ်းသပ်မှုများတွင် ရှေ့တန်းမော်ဒယ်များက ပြီးပြည့်စုံလုနီးပါးရမှတ်များကို လွှင့်တင်ခြင်းဖြင့် Benchmarks များသည် ရွှဲရွှဲမှုဟု အကြိမ်ကြိမ်စွပ်စွဲခံထားရသည်။ Real-SWE ၏ ဒီဇိုင်းသည် ပြဿနာနှစ်ခုလုံးကို တစ်ပြိုင်နက်တည်း တန်ပြန်ရန် ကြိုးစားသည်- ကုဒ်သည် သီးသန့်ဖြစ်ပြီး လိုင်စင်ရထားပြီး၊ အလုပ်များသည် အလုပ်အင်ဂျင်နီယာအဖွဲ့များ၏ စစ်မှန်သော အလုပ်ထုတ်ကုန်များဖြစ်ပြီး ညွှန်ကြားချက်များသည် ပြဿနာရှင်းတမ်းများထက် အစစ်အမှန်လက်မှတ်များ၏ ရှုတ်ထွေးမှုကို ထင်ဟပ်စေသည်။

သတိရှိရှိ ယူဆောင်သွားခြင်းသည် ပကတိအဆင့်ဖြစ်သည်။ အကောင်းဆုံးစနစ်သည် ပထမကြိုးပမ်းမှုတွင် ပျမ်းမျှလုပ်ငန်းတာဝန် ဆယ်ခုတွင် လေးခုထက်နည်းသည်ကို ဖြေရှင်းနိုင်ပြီး ပျမ်းမျှအားဖြင့် ရှစ်ကြိမ်ထက်မနည်း ဖြေရှင်းပေးသည်။ အေးဂျင့်ကုဒ်ရေးခြင်းဆိုင်ရာ တိုးတက်မှုအားလုံးအတွက်၊ အစစ်အမှန်ထုတ်လုပ်မှုစနစ်များတွင် ကိုယ်ပိုင်အုပ်ချုပ်ခွင့်ရှိသော ဆော့ဖ်ဝဲအင်ဂျင်နီယာချုပ်သည် ကြီးကြပ်လုပ်ဆောင်မှုတစ်ခုအဖြစ် ကျန်ရှိနေသည်—လူသားအင်ဂျင်နီယာများက ပြန်လည်သုံးသပ်ခြင်း၊ ပြန်ညွှန်းခြင်းနှင့် ပြုပြင်ခြင်းများ မကြာခဏပြုလုပ်သည့် စံညွှန်းတွင် လူသားအင်ဂျင်နီယာများက ပြန်လည်သုံးသပ်ခြင်း၊ ပြန်ညွှန်းခြင်းနှင့် ပြုပြင်ခြင်းများ မကြာခဏပြုလုပ်လေ့ရှိသည်။

coding assistant များကြားတွင် ရွေးချယ်သည့် လုပ်ငန်းများအတွက်၊ စံသတ်မှတ်ချက်သည် လက်တွေ့ကျသော စစ်ဆေးရန်စာရင်းကို ပေးဆောင်သည်- သီးသန့်ကုဒ်ပေါ်တွင် အကဲဖြတ်သည့် စနစ်များကို ပိုနှစ်သက်သည်၊ တစ်ခုတည်းသော ခေါင်းစီးနံပါတ်များထက် ယုံကြည်စိတ်ချမှုရှိသော ကြားကာလများကို တွန်းအားပေးကာ၊ မော်ဒယ်ကြမ်း မော်ဒယ်စွမ်းရည်ကဲ့သို့ အလေးချိန် ကြိုးဆွဲကြိုး အရည်အသွေးကို ဦးစားပေးပါသည်။ Real-SWE ၏ ပထမဆုံး ဦးဆောင်သူစာရင်းသည် နောက်ဆုံးစကားလုံးမဟုတ်ပေ — သို့သော် ၎င်းသည် အင်ဂျင်နီယာခေါင်းဆောင်တိုင်း အေးဂျင့်ကုဒ်ရေးနည်းနှင့် ပတ်သက်၍ မေးနေသည့်မေးခွန်းအတွက် တိုက်ရိုက်အဖြေဖြစ်သည်။

Coding အေးဂျင့်များ၊ မော်ဒယ်ထုတ်ပြန်မှုများနှင့် ၎င်းတို့ကို ပုံဖော်ခြင်းဆိုင်ရာ သုတေသနပြုချက်များအကြောင်း ပိုမိုသိရှိနိုင်စေရန်၊ စံနှုန်းရလဒ်များ ထွက်ပေါ်လာချိန်တွင် နောက်ဆုံးပေါ် AI သတင်းကို လိုက်နာပါ။

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →