တစ်နာရီအတွင်း အပြိုင်အဆိုင် StarCraft ဘော့တ်များကို ရေးသားရန် ဘာသာစကားမော်ဒယ်ကြီးများကို တောင်းဆိုသည့် စံသတ်မှတ်ချက်တစ်ခုသည် ၎င်း၏အသေးစိတ်ရလဒ်များကို ထုတ်ပေးခဲ့ပြီးဖြစ်သော်လည်း စီရင်ချက်မှာ ကွဲသွားသည်- OpenAI ၏ GPT-6 Astra သည် AI နယ်ပယ်ကို လွှမ်းမိုးထားသော်လည်း အပြင်းထန်ဆုံးလူသားရေးထားသော ဘော့တ်များသည် အချိန်၏အကောင်းဆုံးမော်ဒယ်ကို 93% ကျော်ဖြတ်နေဆဲဖြစ်သည်။

ဆော့ဖ်ဝဲရေးသားသူ Kai McPheeters မှ အောက်တိုဘာလ 15 ရက်နေ့တွင် ထုတ်ဝေသော StarSkirmish Bench v0.2 သည် StarCraft: Brood War bot သည် LLM တစ်ခုစီသည် နံရံနာရီအချိန်ကို တစ်နာရီတည်းဖြင့် ထုတ်လုပ်နိုင်ပုံကို အကဲဖြတ်သည်။ မော်ဒယ်တစ်ခုစီသည် C++ တွင် Protoss bot တစ်ခုကို ရေးသားသည်၊ ထို့နောက် ပြိုင်ဖက်မော်ဒယ်များရေးသားသော ဘော့တ်များနှင့် ဖန်တီးထားသော လူသားများရေးသားသော ပြိုင်ဘက်များကို ဆန့်ကျင်သည်။ မော်ဒယ်များသည် ၎င်းတို့၏ ဖန်တီးမှုများကို ပိုမိုကောင်းမွန်လာစေရန် အလေ့အကျင့်ဂိမ်းများမှ သင်ခန်းစာများကို ပေါင်းစပ်ထားရသောကြောင့် တာရှည်အလျားလိုက် ကျိုးကြောင်းဆင်ခြင်ခြင်းနှင့် အေးဂျင့်ကုဒ်ရေးခြင်းကို စမ်းသပ်ရန် ဒီဇိုင်းထုတ်ထားသည်။ For more context on this story, see our ongoing artificial intelligence updates.

Benchmark အလုပ်လုပ်ပုံ

စည်းမျဉ်းများသည် တမင်တကာ ရိုးရှင်းပါသည်။ တစ်နာရီ၊ ဘာသာစကားတစ်ခု၊ လူမျိုးတစ်မျိုး။ မော်ဒယ်တစ်ခုစီ၏ရမှတ်သည် ယှဉ်ပြိုင်သူလူသားရေးသော ဘော့တ်များနှင့် သရုပ်ပြဘော့တ်များ ယှဉ်ပြိုင်မှုငါးခုတွင် ပျမ်းမျှအနိုင်ရနှုန်းဖြစ်သည်။ ဗားရှင်း 0.2 တွင် လှည့်ကွက်တစ်ခုထပ်ထည့်ထားသည်- စွမ်းဆောင်ရည်မြင့်မော်ဒယ်တိုင်းသည် ၎င်း၏ကိုယ်ပိုင်ဓာတ်ခွဲခန်း၏ပထမပါတီ CLI ကုဒ်ကြိုးကြိုးအတွင်းတွင် လုပ်ဆောင်ပြီး ဖယ်ရှားထားသော API ကွင်းဆက်ထက် အပြည့်အဝ အေးဂျင့်အစုအဝေးကို စမ်းသပ်သည်။

စံနှုန်းစာရေးဆရာက ရှေ့တွင်မှတ်ချက်ချထားသည့် မညီမျှမှုတစ်ခုရှိသည်- Gemini 4 Argon သည် "မြင့်မားသော" တွင်အလုပ်လုပ်သည် — ၎င်းအတွက်ရရှိနိုင်သောအမြင့်ဆုံးကျိုးကြောင်းဆီလျော်မှု——အခြားမော်ဒယ်တိုင်းသည် အများဆုံးလည်ပတ်နေချိန်တွင်ဖြစ်သည်။

GPT-6 Astra Leads၊ GPT-6.1 Sol သည် တန်ဖိုးပေါ်တွင် အနိုင်ရသည်။

ရလဒ်များသည် GPT-6 Astra ကို ဦးဆောင်သူစာရင်းဇယား၏ထိပ်တွင် ထားရှိပြီး ဒုတိယနေရာ၌ GPT-6.1 Sol ၏ရှေ့တွင် ရှင်းလင်းသောခြေလှမ်းအဖြစ် ဖော်ပြထားသည့် စာတမ်းတွင်ဖော်ပြထားသည်။ စံနှုန်းကြည့်ရှုသူများအတွက် အနားသတ်သည် အရေးကြီးသည်- အေးဂျင့်ကုဒ်အစုံလိုက်အများစုတွင်၊ အထင်ကရမော်ဒယ်များသည် တစ်ခုနှင့်တစ်ခု အမှတ်အနည်းငယ်အတွင်းတွင် အစုလိုက်အပြုံလိုက် အစုလိုက်အပြုံလိုက် ဖြစ်နေသောကြောင့် နယ်ပယ်ကို ကွဲပြားသောအဆင့်များအဖြစ် ပိုင်းခြားထားသော ဦးဆောင်ဘုတ်အဖွဲ့သည် လူစုလူဝေးရှိသော ထိပ်တန်းဆယ်ခုထက် ပိုမို၍ ရောဂါရှာဖွေမှုလုပ်ဆောင်နေပါသည်။ Gemini 4 Argon၊ Claude Opus 5.5 နှင့် Claude Fable 5.1 တို့သည် OpenAI မော်ဒယ်နှစ်ခု၏နောက်တွင် ချိတ်ဆက်လုပ်ဆောင်နိုင်ပြီး ရမှတ် ၃၇ နှင့် ၃၉ ကြားရှိသည်။ Meta ၏ Muse Wonder Full သည် ခုနစ်ခုမြောက်ဖြစ်သည်။

ကုန်ကျစရိတ်ခွဲခြမ်းစိတ်ဖြာခြင်းသည် ပို၍ထူးခြားသောရှာဖွေမှုဖြစ်နိုင်သည်။ တစ်နာရီ ပြေးခြင်း၏ ပျမ်းမျှ API ကုန်ကျစရိတ်နှင့် ဆန့်ကျင်ပြီး GPT-6.1 Sol သည် ဆွဲဆောင်မှုအရှိဆုံး quadrant တွင် တစ်ယောက်တည်း ရပ်တည်နေသည်- ပြေးမှုတစ်ခုလျှင် GPT-6 Astra ၏ ကုန်ကျစရိတ်၏ ဆယ်ပုံတစ်ပုံကျော်သာရှိသော ဒုတိယနေရာဖြစ်သည်။ ဘတ်ဂျက်နှင့် ကိုက်ညီသော အေးဂျင့်စွမ်းဆောင်ရည်ကို ချိန်ဆသည့်အဖွဲ့များအတွက် OpenAI မော်ဒယ်နှစ်ခုကြား ကွာဟချက်မှာ လက်တွေ့ကျသော ခေါင်းစဉ်ဖြစ်သည်။

Human Bots များသည် ရှေ့တွင်ရှိနေပါသည်။

အပြင်းထန်ဆုံးလူသားရေးထားသော ဘော့တ်များဖြစ်သည့် Stardust၊ PurpleWave နှင့် BananaBrain - GPT-6 Astra သည် ၎င်း၏ဂိမ်းများ၏ 7% သာ အနိုင်ရသည်။ တစ်နာရီ ကျိုးကြောင်းဆီလျော်မှု ကန့်သတ်ချက်သည် အချက်တစ်ချက်ဖြစ်ကြောင်း စံညွှန်းစာရေးဆရာက မှတ်သားထားပြီး တကယ့်လူသားရေးသော ဘော့တ်များအတွက် ပြိုင်ပွဲအခြေအနေများသည် အကဲဖြတ်ရာတွင် အသုံးပြုသည့် ကစားသမားနှစ်ဦးပါရှိသော မြေပုံသုံးပုံထက် သိသိသာသာ ခက်ခဲပါသည်။

သို့တိုင်၊ ကွာဟမှုသည် ဆော့ဖ်ဝဲလ်တွင် အံ့မခန်း AI လွှမ်းမိုးမှုဆိုင်ရာ ဇာတ်ကြောင်းများအတွက် အသုံးဝင်သော ပြုပြင်ပြောင်းလဲမှုတစ်ခုဖြစ်သည်- ရှင်းလင်းသောအနိုင်ရအခြေအနေများ၊ နက်နဲသောဗျူဟာနှင့် ရှည်လျားသောစီမံကိန်းစဥ်အချိန်များတွင်၊ ရပ်ရွာအင်ဂျင်နီယာများ၏ဆယ်စုနှစ်များက Frontier-model ကုဒ်ကုဒ်ထုတ်နိုင်သည့်နာရီထက် ကောင်းစွာရပ်တည်နေဆဲဖြစ်သည်။

StarCraft သည် ရိုင်းစိုင်းသောစွမ်းအားကို ခံနိုင်ရည်ရှိသောကြောင့် ဂိမ်းကစားခြင်းအတွက် တိကျစွာသက်သေပြသည့်နေရာတစ်ခုအဖြစ် ကြာရှည်စွာဆောင်ရွက်ခဲ့သည်။ အချိန်နှင့်တပြေးညီ မဟာဗျူဟာသည် တစ်စိတ်တစ်ပိုင်းအချက်အလက်များအောက်တွင် စီးပွားရေး၊ ကင်းထောက်ခြင်းနှင့် တိုက်ခိုက်ရေးတို့ကို တပြိုင်နက်တည်း စီမံခန့်ခွဲရန် လိုအပ်ပြီး Brood War အသိုင်းအဝိုင်းသည် ယှဉ်ပြိုင်မှုရှိသော ဘော့တ်ပြိုင်ပွဲများကို နှစ်ပေါင်းများစွာ ထိန်းသိမ်းထားခဲ့သည်။ စုဆောင်းထားသော ဂေဟစနစ်သည် စံသတ်မှတ်ချက်၏ လူ့အခြေခံအခြေခံကို အဓိပ္ပာယ်ရှိစေသည့်အချက်ဖြစ်သည် — Stardust၊ PurpleWave နှင့် BananaBrain တို့သည် ပေါ့ပေါ့ပါးပါး ပြိုင်ဘက်များမဟုတ်သော်လည်း သန့်စင်ပြီး ပြိုင်ပွဲ-မာကျောသော ပရိုဂရမ်များဖြစ်သည်။

Flagships အသစ်များသည် Fray ကိုထည့်သွင်းပါ။

ဗားရှင်း 0.2 သည် အသစ်ထွက်ရှိထားသော မော်ဒယ်များအတွက် အစောပိုင်းရမှတ်တစ်ခုလည်းဖြစ်သည်။ Google ၏ Gemini 4 Argon သည် v0.1 ၏ Gemini 3.8 Flash ကို အစားထိုးခဲ့ပြီး ပွဲဦးထွက်တွင် တတိယနေရာတွင် ရပ်တည်ခဲ့ပြီး Meta ၏ Muse Wonder Full သည် Muse Spark 1.3 အတွက် အဆင့်ခုနစ်ဖြင့် ရပ်တည်ခဲ့သည်။ GPT-6 Astra နှင့် Claude Opus 5.5 သည် အစောပိုင်းဗားရှင်း၏ လွှမ်းခြုံမှုမှ သယ်ဆောင်လာသည်။

စံသတ်မှတ်ချက်သည် ပြေးမှုတစ်ခုစီအတွက် အေးဂျင့်ခြေရာကောက်ကို မှတ်တမ်းတင်ထားပြီး မော်ဒယ်တစ်ခုစီ၏ နာရီအသုံးပြုပုံကို မှတ်သားထားပါသည် — ဒေတာအတွဲသည် ဦးဆောင်သူစာရင်းကို ကွဲပြားသော ဓာတ်ခွဲခန်းများ၏ မော်ဒယ်လ်များကို စီစဉ်ခြင်း၊ ကုဒ်ရေးခြင်းနှင့် ကစားစမ်းသပ်ခြင်းကြားတွင် ကွဲပြားသောဘတ်ဂျက်အချိန်ကို အပြုအမူဆိုင်ရာလေ့လာမှုတစ်ခုအဖြစ် ပြောင်းလဲပေးသည့် ဒေတာအတွဲဖြစ်သည်။ မော်ဒယ်တစ်ခုသည် ရှေ့မှတင်ထားသော ဗိသုကာဆိုင်ရာ ဆုံးဖြတ်ချက်များ သို့မဟုတ် buggy မူကြမ်းများမှတဆင့် လျင်မြန်စွာ ထပ်တလဲလဲလုပ်သည်ဖြစ်စေ အစုလိုက်ရမှတ်များကို ဖုံးကွယ်ထားသည့် လုပ်ငန်းစဉ်အသေးစိတ်အမျိုးအစားအတိအကျဖြစ်ပြီး ၎င်းသည် စိတ်ဝင်စားစရာအကောင်းဆုံး ဓာတ်ခွဲခန်းကွဲလွဲမှုများကို ပေါ်လွင်စေပါသည်။

##ဘာကြောင့်အရေးကြီးတာလဲ။

Software-engineering suites အများအပြား၏ထိပ်အနီးတွင် ထိပ်တန်းမော်ဒယ်များ အစုလိုက်အပြုံလိုက်ဖြင့် Agentic coding စံနှုန်းများသည် လျင်မြန်စွာ ပြည့်နေပါသည်။ StarSkirmish သည် အခြားရွေးချယ်စရာတစ်ခုကို ပေးသည်- လူသားကျွမ်းကျင်သူများက မျက်နှာကျက်ကို သတ်မှတ်သည့် ပတ်ဝန်းကျင်၊ တိုးတက်မှုနှုန်းသည် လက်မှတ်ဖြေရှင်းမှု၏ ရာခိုင်နှုန်းအမှတ်များထက် အနိုင်ရနှုန်းဖြင့် တိုင်းတာပြီး နာရီကြာသည့်အချိန်ဘတ်ဂျက်သည် အေးဂျင့်အလုပ်အတွက် လက်တွေ့ကမ္ဘာတွင် ကန့်သတ်ချက်များကို ထင်ဟပ်စေသည်။

ရလဒ်များသည် ဆော့ဖ်ဝဲရေးသားသူများနှင့် အံဝင်ခွင်ကျဖြစ်ခဲ့သည်။ Show HN ပို့စ်တွင် မှတ်ချက်ပေးသူများသည် ကိုယ်စားလှယ်ခြေရာခံများနှင့် ကုန်ကျစရိတ်သက်သာသော ဇာတ်ကွက်များကို တူးဆွခြင်းဖြင့် ထောက်ခံမဲ ၂၀၀ ကျော်ရရှိခဲ့သည်။ Hacker News တွင် Benchmark ဆွေးနွေးမှုများသည် နည်းစနစ် quibbles နှင့် capability များကြားတွင် ကွဲသွားတတ်သည်။ ဤအရာနှစ်ခုလုံးသည် ကျိုးကြောင်းဆီလျော်မှု မညီမညွတ်နှင့် ဆန်းစစ်မှုအရှိဆုံး ဒီဇိုင်းရွေးချယ်မှုတို့တွင် ငါးမျိုးသော နမူနာအရွယ်အစားတို့နှင့်အတူ ဆွဲထုတ်ခဲ့သည်။ ကျိုးကြောင်းဆင်ခြင်ခြင်းဆိုင်ရာ အားထုတ်မှုအဆင့်များ မြင့်တက်လာပြီး ကြိုးဆွဲကြိုးများ တိုးတက်လာသည်နှင့်အမျှ၊ စံညွှန်း၏စာရေးဆရာ၏ အစီအစဉ်များသည် ထပ်တလဲလဲပြုလုပ်နေကြသည် — ယခုအချိန်တွင်၊ လူသား StarCraft bot အသိုင်းအဝိုင်းသည် ၎င်းကို သက်တောင့်သက်သာ ဦးဆောင်နေပါသည်။

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →