Stanford-Led Terminal-Bench-Science Tests သည် စစ်မှန်သော သုတေသနလုပ်ငန်းခွင်များတွင် AI အေးဂျင့်များကို စမ်းသပ်သည် — အကောင်းဆုံးမော်ဒယ်ရမှတ် 30%

စံသတ်မှတ်ချက်အသစ်တစ်ခုသည် AI လုပ်ငန်းသည် သိပ္ပံဆိုင်ရာစွမ်းရည်ကို တိုင်းတာပုံအား စိန်ခေါ်နေပြီး ၎င်း၏ပထမဆုံးရလဒ်များသည် နယ်ခြားဓာတ်ခွဲခန်းများအတွက် နှိမ့်ချစရာဖြစ်သည်။ Terminal-Bench-Science 0.1 ကို စတန်းဖို့ဒ်တက္ကသိုလ်မှ သုတေသီများနှင့် နာမည်ကြီး Terminal-Bench coding benchmark နောက်ကွယ်မှအဖွဲ့မှ ယခုအပတ်တွင် လွှင့်တင်ခဲ့ပြီး၊ အလုပ်လုပ်သော သိပ္ပံပညာရှင်များမှ ပံ့ပိုးပေးထားသော တကယ့်သိပ္ပံနည်းကျ သုတေသနလုပ်ငန်းခွင်များတွင် AI အေးဂျင့်များကို အကဲဖြတ်သည် — နှင့် အပြင်းထန်ဆုံး စမ်းသပ်ထားသော မော်ဒယ် Claude Opus 5 သည် Claude Code မှတဆင့် လုပ်ဆောင်နေသော အလုပ်များကို 30% သာ ပြီးမြောက်ခဲ့သည်။

စံသတ်မှတ်ချက်၏ ကြေညာချက်စာမျက်နှာတွင် ၎င်း၏လမ်းညွှန်မူကို ပြတ်ပြတ်သားသားဖော်ပြသည်- သိပ္ပံပညာရှင်များ၊ မော်ဒယ်တီထွင်သူများ သို့မဟုတ် ဒေတာရောင်းချသူများမဟုတ်ဘဲ AI တွင် သိပ္ပံဆိုင်ရာစွမ်းရည်အတွက် ဘားကို သတ်မှတ်သင့်သည်။ ပရောဂျက်ကို ကမ္ဘာတစ်ဝှမ်းရှိ သုတေသနအဖွဲ့အစည်းများမှ ဒိုမိန်းကျွမ်းကျင်သူများနှင့် ပူးပေါင်းတည်ဆောက်ခဲ့ခြင်းဖြစ်ပြီး ၎င်း၏ပထမဆုံးထုတ်ဝေမှုတွင် အသက်သိပ္ပံ၊ ရူပဗေဒ၊ ကမ္ဘာမြေသိပ္ပံ၊ သင်္ချာနှင့် အင်ဂျင်နီယာဆိုင်ရာ လုပ်ငန်း ၇၀ ပါဝင်သည်။

အဲဒါက Textbook Benchmarks နဲ့ ဘယ်လိုကွာခြားလဲ။

သိပ္ပံနည်းကျ AI အကဲဖြတ်မှုအများစုသည် အသိပညာစမ်းသပ်မှု- ရွေးချယ်စရာမေးခွန်းများ၊ ကျောင်းစာအုပ်ပြဿနာများ၊ စံပြုလေ့ကျင့်ခန်းများ။ Terminal-Bench-Science သည် အေးဂျင့်များသည် အမှန်တကယ် သုတေသီများ၏ နေ့ရက်များကို ဖြည့်ဆည်းပေးသည့် နည်းပညာအရ တောင်းဆိုနေသော အချိန်ကုန် အလုပ်အသွားအလာများကို လုပ်ဆောင်နိုင်သည်ဆိုသည်ကို တိုင်းတာသည့်အစား စာမေးပွဲမရှိသည့် အလုပ်မျိုးဖြစ်သည်။ လုပ်ဆောင်စရာများကို လက်တွေ့ဆန်သောပတ်ဝန်းကျင်တွင် လုပ်ဆောင်နေပြီး အဆင့်သတ်မှတ်ခြင်းသည် ခိုင်မာသောရှေးဟောင်းပစ္စည်းများအပေါ် အခြေခံသည်- ခွဲခြမ်းစိတ်ဖြာမှုများ၊ သရုပ်ဖော်မှုများ၊ အထောက်အထားများ၊ ကုဒ်များနှင့် ဒေတာထုတ်ကုန်များကို တရားသူကြီးပုံစံများ သို့မဟုတ် မျိုးစုံရွေးချယ်မှုအမှတ်ပေးမည့်အစား ပြန်လည်ထုတ်လုပ်နိုင်သော အလုပ်သီးသန့်စစ်ဆေးမှုများဖြင့် စစ်ဆေးထားသည်။

ထိုဒီဇိုင်းသည် AI လက်ထောက်များသည် သိပ္ပံအတွက် နောက်ဆုံးတွင် လုပ်ဆောင်သင့်သည့် သီအိုရီကို ထင်ဟပ်စေသည်။ သိပ္ပံနည်းကျ စီရင်ချက်ကို အစားထိုးမည့်အစား၊ စံညွှန်းစာရေးဆရာများက အချေအတင်ငြင်းခုံခြင်းထက် အေးဂျင့်များသည် စမ်းသပ်မှုအတွင်း ဆီလီကိုကို လုပ်ဆောင်ခြင်း၊ ဒေတာကို လုပ်ဆောင်ခြင်း၊ အထောက်အထားများကို စစ်ဆေးခြင်း— သိပ္ပံပညာရှင်များထံ လူသား၏တရားစီရင်မှုသည် အရေးကြီးဆုံးဖြစ်သည့် သုတေသနအပိုင်းများအတွက် အခမဲ့လုပ်ဆောင်သင့်သည်- မေးခွန်းများကို အဓိပ္ပါယ်ဖွင့်ခြင်း၊ ယူဆချက်ရှာဖွေခြင်း၊ ရလဒ်များကို ဖော်ထုတ်ခြင်း၊ စကားပြန်ဆိုခြင်း၊

စီမံကိန်းကို ရွေ့လျားပစ်မှတ်အဖြစ် အတိအလင်း တည်ဆောက်ထားသည်။ စံနှုန်းများစွာကို တစ်ကြိမ်ထုတ်ပြန်ပြီး စွန့်ပစ်လိုက်သည့်အခါ — ကြေညာချက်သည် ၎င်းအား "ထုတ်ဝေရန် စာရွက်များ" ပြဿနာဟု ခေါ်သည် — Terminal-Bench-Science ကို နယ်နိမိတ်တစ်လျှောက်တွင် ပြောင်းလဲနေသော စဉ်ဆက်မပြတ်စံနှုန်းအဖြစ် ဒီဇိုင်းထုတ်ထားပြီး မော်ဒယ်တိုးတက်မှုမတိုင်မီ အကဲဖြတ်ရန်နှင့် ညစ်ညမ်းမှုဖြစ်စေသော ရမှတ်ဖောင်းပွမှုကို ကာကွယ်ရန်အတွက် ပုံမှန်ထုတ်ဝေမှုများဖြစ်သည်။

ပထမဆုံး ဦးဆောင်သူစာရင်း- ယုံကြည်စိတ်ချရသော လမ်းကြောင်းရှည်

ယခုအပတ်တွင် Hacker News သို့ရောက်ရှိချိန်တွင် သိသိသာသာအာရုံစိုက်လာခဲ့သည့် v0.1 ဦးဆောင်ဘုတ်တွင်၊ ထိပ်ပိုင်းမှ သိသိသာသာကျဆင်းသွားသည်ကိုပြသသည်-

• Claude Opus 5 (Claude Code): 30.0%

• GPT-5.6 Sol (Codex): 22.4%

• Claude Fable 5 (Claude Code): 21.4%

• Claude Opus 4.8 (Claude Code): 10.5%

• GPT-5.6 Terra (Codex): 8.6%

• GLM 5.3 (Claude Code): 8.1%

• Kimi K3 (Claude Code): 7.1%

• Grok 4.6 (Grok Build): 7.1%

• GPT-5.6 Luna (Codex): 3.3%

မူလ Terminal-Bench နှင့် ပြိုင်ဘက် coding စံနှုန်းများသည် ရမှတ်များ လျင်မြန်စွာ တက်လာသည်ကို တွေ့ရသည့် ရလဒ်များက အေးဂျင့်များအတွက် သိပ္ပံနည်းကျ အလုပ်အသွားအလာများသည် ဆော့ဖ်ဝဲလ်အင်ဂျင်နီယာများထက် သိသိသာသာ ပိုမိုခက်ခဲကြောင်း အကြံပြုထားသည်။ အကောင်းဆုံးရရှိနိုင်သည့်စနစ်အတွက် 30% ကြည်လင်ပြတ်သားမှုနှုန်းသည် အမှန်တကယ် သုတေသနလုပ်ငန်း ဆယ်ခုအနက် ခုနစ်ခုတွင်၊ ခိုင်ခံ့သောကြိုးနှင့်တွဲဖက်ထားသည့် ထိပ်တန်းအေးဂျင့်တစ်ဦးပင်လျှင် မှန်ကန်သောအလုပ်များကို ထုတ်ပေးနိုင်မည်မဟုတ်ပါ။

စံပြမိသားစုများအတွင်း ပျံ့နှံ့မှုသည် သင်ယူစရာလည်းဖြစ်သည်။ Claude Opus 5 နှင့် Claude Opus 4.8 အကြား ကွာဟချက် — အမှတ်နှစ်ဆယ်နီးပါး — နှင့် GPT-5.6 မျိုးကွဲ Sol, Terra နှင့် Luna အကြား ရလဒ်အရည်အသွေး မည်မျှရှိသည်ကို ပြသသည်၊ အကြမ်းထည်မော်ဒယ်ထောက်လှမ်းရေးတစ်ခုတည်းမဟုတ်ဘဲ မော်ဒယ်နှင့် အေးဂျင့်ကြိုးများ၏ အပြန်အလှန်ချိတ်ဆက်မှုအပေါ် မူတည်ကြောင်း ပြသသည်။ ရမှတ်မြင့်မားသောဝင်ရောက်မှုတိုင်းသည် အေးဂျင့်ကုဒ်ကြိုးကြိုး (Claude Code၊ Codex၊ Grok Build) ကိုအသုံးပြု၍ ငြမ်းသည် အရင်းခံအလေးများကဲ့သို့ အဆုံးအဖြတ်ဖြစ်သည်ဟူသော ပေါ်ပေါက်လာသောသဘောဆန္ဒကို အားဖြည့်ပေးပါသည်။

သိပ္ပံပညာရှင်တွေက ဘာကြောင့် သူတို့ရဲ့ ကိုယ်ပိုင်စံနှုန်းတွေကို တည်ဆောက်တာလဲ။

စံသတ်မှတ်ချက်၏ဘောင်သည် သိမ်မွေ့သော အဖွဲ့အစည်းဆိုင်ရာ အငြင်းအခုံတစ်ခုဖြစ်သည်။ "သိပ္ပံပညာ၏ အစုရှယ်ယာများသည် မြင့်မားလွန်းသည်" ဟု ကြေငြာချက်တွင် ဖော်ပြထားသည်၊ "၎င်း၏စံနှုန်းများသည် ပြင်ပအကျိုးစီးပွားထက် သိပ္ပံပညာအသိုင်းအဝိုင်း၏ ဦးစားပေးမှုများကို ထင်ဟပ်စေရမည်" ဟု ကြေညာချက်တွင် ဖော်ပြထားသည်။ ပရောဂျက်သည် အလုပ်လုပ်နေသော သုတေသီများအား ၎င်းတို့ အမှန်တကယ် လိုအပ်နေသည့် အလုပ်များကို အလိုအလျောက် ကုဒ်လုပ်ရန် တိုက်ရိုက် ယန္တရားတစ်ခု ပေးသည် — နှင့် စိစစ်နိုင်သော စံချိန်စံညွှန်းနှင့် ဆန့်ကျင်သည့် "သိပ္ပံနည်းကျ ရှာဖွေတွေ့ရှိမှုကို အရှိန်မြှင့်ခြင်း" နှင့် ရောင်းချသူများ၏ တောင်းဆိုချက်ကို ထိန်းထားရန်။

မားကတ်တင်းနှင့် လက်တွေ့ဘဝအကြား ကွာဟချက်မှာ အမှန်တကယ်အကျိုးဆက်များ ရှိသောကြောင့် အရေးကြီးပါသည်။ နယ်ခြားဓာတ်ခွဲခန်းများက ၎င်းတို့၏ အေးဂျင့်များသည် သီးခြားလွတ်လပ်နေချိန်တွင် သုတေသနကို အရှိန်မြှင့်နိုင်သည်ဟု ဆိုပါက၊ ကျွမ်းကျင်သူမှ ဒီဇိုင်းထုတ်ထားသော အကဲဖြတ်ချက်များသည် ဂဏန်းတစ်လုံးမှ 30% ပြတ်သားမှုနှုန်းထားများ၊ ရန်ပုံငွေဆိုင်ရာ ဆုံးဖြတ်ချက်များ၊ ငှားရမ်းမှုအစီအစဉ်များနှင့် အဆိုပါအရေးဆိုမှုများတွင် တည်ဆောက်ထားသည့် ဓာတ်ခွဲခန်းမူဝါဒများသည် အမှားအယွင်းကို အမွေဆက်ခံကြောင်း ပြသသည်။ စဉ်ဆက်မပြတ်၊ ရပ်ရွာပိုင်စံနှုန်းများသည် မှန်ကန်မှုတစ်ခုဖြစ်သည်- ၎င်းတို့သည် မရေရာသော အရေးဆိုမှုများကို ပြန်လည်ထုတ်လုပ်နိုင်သော နံပါတ်များအဖြစ်သို့ ပြောင်းလဲပါသည်။

သုတေသနအဖွဲ့အစည်းများအတွက် အချက်ပြမှု

အေးဂျင့်များကို အသုံးချရမည့်အချိန်ကို ချိန်ဆရသော တက္ကသိုလ်များ၊ အမျိုးသားဓာတ်ခွဲခန်းများနှင့် R&D အဖွဲ့များအတွက် စံသတ်မှတ်ချက်သည် ရောင်းချသူ ဒီမိုများ မလုပ်ဆောင်နိုင်သော အရာတစ်ခုဖြစ်သည်- ယုံကြည်စိတ်ချရမှုလိုင်း အမှန်တကယ်တည်ရှိသည့်နေရာကို ရပ်ရွာထိန်းသိမ်းထားသည့် တိုင်းတာမှုတစ်ခု။ ဆယ်ကျော်သက်များ သို့မဟုတ် နှစ်ဆယ်ကျော်များအတွင်း ကြည်လင်ပြတ်သားမှုနှုန်းသည် ဤစနစ်များကို စမ်းသပ်ပိုက်လိုင်းများ၏ အလိုအလျောက် စီမံခန့်ခွဲသူများအဖြစ်မဟုတ်ဘဲ ပြန်လည်သုံးသပ်ရန် လိုအပ်သော လက်ထောက်များအဖြစ် ယနေ့တွင် အကောင်းဆုံး ဆက်ဆံခြင်းကို ဆိုလိုပါသည်။ အသက်၊ ရုပ်ပိုင်းဆိုင်ရာ၊ ကမ္ဘာ၊ သင်္ချာနှင့် အင်ဂျင်နီယာပညာရပ်များ ကျယ်ဝန်းသော လုပ်ငန်းအမျိုးအစားများ — သည် ပုံမှန်အားဖြင့် ယေဘုယျအားဖြင့် စံနမူနာပြုထားသော နယ်ပယ်များမှ အလုပ်အသွားအလာများကို ပံ့ပိုးပေးရန်အတွက် ဒိုမိန်းပါရဂူများကို နမူနာပုံစံတစ်ခုပေးပါသည်။

ပိုမိုကျယ်ပြန့်သောစက်မှုလုပ်ငန်းအခြေအနေသည် အချိန်အခါသည် အဘယ်ကြောင့်အရေးကြီးသည်ကို အားဖြည့်ပေးပါသည်။ ဓာတ်ခွဲခန်းများသည် ပစ္စည်းရှာဖွေမှု၊ ပရိုတိန်းသိပ္ပံနှင့် သင်္ချာပညာတို့ကို ပံ့ပိုးကူညီမှုများဖြင့် သိပ္ပံပညာသည် ရှေ့တန်း AI အတွက် အကြီးကျယ်ဆုံးအသုံးပြုမှုကိစ္စများထဲမှ တစ်ခုဖြစ်လာသည်။ အဆိုပါတောင်းဆိုချက်များသည် စစ်ဆေးရန်ခက်ခဲသည်- သိပ္ပံနည်းကျထွက်ရှိမှုကို အတည်ပြုရန် နှေးကွေးပြီး စိတ်အားထက်သန်မှုသည် ပုံတူပွားခြင်းထက် ပိုမြန်ပါသည်။ လက်တွေ့အလုပ်အသွားအလာများတွင် စိစစ်နိုင်သော ရှေးဟောင်းပစ္စည်းများကို အဆင့်သတ်မှတ်ပေးသည့် စံသတ်မှတ်ချက်တစ်ခုသည် သုတေသနအဖွဲ့အစည်းများအား သရုပ်ပြပြဇာတ်မှ ခွဲထွက်ရန် နည်းလမ်းတစ်ခုပေးသည် — နှင့် Terminal-Bench က ၎င်း၏ပထမဆုံးအမည်ကို စတင်ခဲ့သော ဆော့ဖ်ဝဲလ်အင်ဂျင်နီယာတွင် အရှိန်အဟုန်ဖြင့် ဖြန့်ချိခြင်းရှိမရှိ ခြေရာခံ၊ ထုတ်ဝေခြင်းဖြင့် ဖြန့်ချိသည်။

AI လုပ်ငန်းအတွက်၊ v0.1 ၏ သတင်းစကားသည် အစွန်းနှစ်ဖက်ရှိသည်။ ရှေ့တန်းသည် ရှင်းရှင်းလင်းလင်း တိုးတက်လာသည် — Opus 5 ၏ 30% တာဝါတိုင်များသည် Opus 4.8 ၏ 10.5% ထက် — သို့သော် မျက်နှာကျက်သည် အမှန်တကယ်လိုအပ်သော ယုံကြည်စိတ်ချရမှုရှိသော ဓာတ်ခွဲခန်းများနှင့် ဝေးကွာနေသေးသည်။ ပုံမှန်ထုတ်ဝေမှုများသည် ထိုကွာဟချက် မည်မျှမြန်မြန်ပိတ်သွားသည်ကို အတိအကျခြေရာခံနိုင်မည်ဟု စံနှုန်း၏ ဒီဇိုင်နာများက ဆိုသည်။ အေးဂျင့်သုတေသနကိရိယာများတွင် [ပေါ်ပေါက်လာသော AI ခေတ်ရေစီးကြောင်း] (https://aibuzzwire.news) ကိုကြည့်ရှုနေသည့် သိပ္ပံပညာရှင်များသည် ယခုအခါ ၎င်းတို့ကိုယ်တိုင်တည်ဆောက်ထားသော ကိုက်တံတစ်ခုရှိသည်။

---

AI ၏ရှေ့တွင်နေရန်

နောက်ဆုံးပေါ် AI သတင်းများ၊ ခွဲခြမ်းစိတ်ဖြာမှုနှင့် အောင်မြင်မှုများ—အားလုံးကို တစ်နေရာတည်းတွင် ရယူပါ။

AI သတင်းအပြည့်အစုံကို ဖတ်ရှုရန် →