Google DeepMind Pilots သည် ကမ္ဘာ့ပထမဆုံး Double-Blind AI အကဲဖြတ်ချက်များကို Benchmark Contamination ကို ကျော်လွှားနိုင်သည်

Google DeepMind သည် တစ်ဦးတည်းပိုင်၊ နယ်ခြားအဆင့် AI မော်ဒယ်၏ ကမ္ဘာ့ပထမဆုံးသော နှစ်ထပ်ကန်းအကဲဖြတ်မှုဟု ခေါ်ဝေါ်သည့်အရာကို ဩဂုတ်လ 27 ရက်နေ့တွင် ကြေညာခဲ့သည် — တစ်ဖက်သား၏လျှို့ဝှက်ချက်များကို တစ်ဖက်သား၏လျှို့ဝှက်ချက်များကို မမြင်ရစေဘဲ ပြင်ပမှကျွမ်းကျင်သူများကို ဖိအားပေးနိုင်ရန် ဒီဇိုင်းထုတ်ထားသည့် လျှို့ဝှက်ချက်တစ်ခုဖြစ်သည်။

William Isaac၊ Sol Messing နှင့် Kristian Lum တို့၏ DeepMind ဘလော့ဂ်ပို့စ်တွင် ဖော်ပြထားသော လေယာဉ်မှူးသည် Gemini Flash Lite မော်ဒယ်ကို လျှို့ဝှက်ရေးသွင်းထားသော လုံခြုံသောပတ်ဝန်းကျင်အတွင်းရှိ လျှို့ဝှက်စံနှုန်းများဖြင့် လုပ်ဆောင်သည်။ Google DeepMind သည် ကြိုးပမ်းအားထုတ်မှုနှင့်ပတ်သက်၍ Singapore AI Safety Institute၊ OpenMined၊ AVRI နှင့် MLCommons တို့နှင့် ပူးပေါင်းကာ နည်းစနစ်ပိုင်းကို ဖော်ပြသည့် နည်းပညာဆိုင်ရာ အစီရင်ခံစာကို ထုတ်ပြန်ခဲ့သည်။

အဆိုပါကြေညာချက်သည် AI အကဲဖြတ်ခြင်းတွင် အဆက်မပြတ်ဆုံး အားနည်းချက်များထဲမှ တစ်ခုဖြစ်သည်- စံညွှန်းညစ်ညမ်းမှု။ AI သုတေသနသတင်း ကို ခြေရာခံဖတ်ရှုသူများအတွက် ၎င်းသည် ပြင်ပကုမ္ပဏီ မော်ဒယ်စမ်းသပ်မှုကို ရှင်းရှင်းလင်းလင်းဖြစ်အောင် ပြုလုပ်ရန် ပိုမိုခိုင်မာသော ကြိုးပမ်းမှုတစ်ခုကို ကိုယ်စားပြုသည်။

ညစ်ညမ်းမှုပြဿနာ၊ ရှင်းလင်းချက်

DeepMind သည် စာသင်ခန်း သရုပ်ဖော်မှုဖြင့် ၎င်း၏ ကြေငြာချက်ကို ဖွင့်သည်။ အကယ်၍ ကျောင်းသားတစ်ဦးသည် စာမေးပွဲမေးခွန်းများကို ကြိုမမြင်မိပါက၊ ပြီးပြည့်စုံသောရမှတ်သည် အဓိပ္ပါယ်မရှိပေ။ တူညီသော ယုတ္တိဗေဒသည် ရှေ့တန်းမော်ဒယ်များနှင့် သက်ဆိုင်သည်- အကယ်၍ မော်ဒယ်တစ်ခုသည် စံသတ်မှတ်ချက်တစ်ခုရှိ မေးခွန်းများနှင့် ထိတွေ့ပြီးပါက — လေ့ကျင့်ရေးဒေတာ၊ ပေါက်ကြားလာသော အကဲဖြတ်မှုအစုံများ သို့မဟုတ် ကြိုတင်ပြင်ဆင်မှုများကြောင့် — ရလဒ်ရမှတ်များသည် အစစ်အမှန်စွမ်းရည်ကို လွန်စွာကျော်လွန်သွားနိုင်သည်။

ဒါက တွေးခေါ်မှုဆိုင်ရာ စိုးရိမ်စရာမဟုတ်ပါဘူး။ Benchmark ညစ်ညမ်းမှုက နယ်ပယ်ကို နှစ်အတော်ကြာအောင် မဆုတ်မနစ်ဖြစ်စေခဲ့ပြီး သုတေသီများက လူကြိုက်များသော စမ်းသပ်မှုအစုံများသည် ဝဘ်စကေးလေ့ကျင့်ရေးကော်ပိုရာသို့ ပေါက်ကြားခဲ့ကြောင်းနှင့် မော်ဒယ်များကို လူသိများသော အကဲဖြတ်မှုများတွင် ကောင်းစွာလုပ်ဆောင်ရန် တိတ်တဆိတ် ချိန်ညှိနိုင်သည်။ အစိုးရများနှင့် စီးပွားရေးလုပ်ငန်းများသည် ဝယ်ယူမှုနှင့် မူဝါဒဆိုင်ရာ ဆုံးဖြတ်ချက်များချမှတ်ရန် စံအမှတ်များကို အသုံးပြုသောအခါတွင် ဖောင်းပွနေသော ကိန်းဂဏာန်းများသည် အမှန်တကယ်အကျိုးဆက်များကို ဖြစ်ပေါ်စေပါသည်။

မော်ဒယ်များသည် ပိုမိုစွမ်းရည်များ တိုးပွားလာသည်နှင့်အမျှ DeepMind မှ ငြင်းခုံမှုများသည် အကဲဆတ်သော အကဲဖြတ်ခြင်းအမျိုးအစားများအတွက် အမြင့်ဆုံးဖြစ်သည် — ဆိုက်ဘာလုံခြုံရေးစမ်းသပ်မှုနှင့် အစိုးရအကဲဖြတ်မှုအကြီးအကဲ — ညစ်ညမ်းသောရမှတ်သည် အထင်မှားစေရုံသာမက အန္တရာယ်ဖြစ်နိုင်ချေရှိသည်။

အရောင်းအ၀ယ်ဟောင်း- မင်းရဲ့ အချက်ပြမှုတွေ ဒါမှမဟုတ် ငါတို့ရဲ့ အလေးချိန်

သမိုင်းအရ၊ ပြင်ပအကဲဖြတ်မှုများသည် လောင်းကြေးကြီးကြီးမားမားဖြင့် အဆင်မပြေသော ရွေးချယ်မှုကို တွန်းအားပေးခဲ့သည်။ အကဲဖြတ်သူသည် ၎င်း၏စမ်းသပ်မှုသတိပေးချက်များကို မော်ဒယ်ပံ့ပိုးသူထံ လွှဲပြောင်းပေးအပ်သည်ဖြစ်စေ၊ ဝန်ဆောင်မှုပေးသူသည် စမ်းသပ်မှုမေးခွန်းများကို ကြိုမြင်နိုင်စေရန် အန္တရာယ်ဖြစ်စေသည် သို့မဟုတ် ဝန်ဆောင်မှုပေးသူက မော်ဒယ်အလေးများကို အကဲဖြတ်သူထံ လွှဲပြောင်းပေးအပ်သည်- ၎င်း၏တန်ဖိုးအရှိဆုံး ဉာဏပစ္စည်းပိုင်ဆိုင်မှုကို ဆုံးရှုံးရန် အန္တရာယ်ဖြစ်စေသည်။

Zero-logging protocols များနှင့် တင်းကျပ်သော စာချုပ်ဆိုင်ရာ အကာအကွယ်များသည် ပြင်ပစမ်းသပ်မှုများကို လျှို့ဝှက်ထားသည်မှာ ကြာပါပြီ၊ DeepMind က ရေးသားခဲ့သည်၊ သို့သော် ၎င်းတို့သည် သင်္ချာပညာထက် မူဝါဒအားဖြင့် ပြဋ္ဌာန်းထားသော ကတိများဖြစ်သည်။ နှစ်ထပ်ကန်းသော အကဲဖြတ်မှုများသည် ထိုယုံကြည်မှုကို ကုဒ်ဝှက်အထောက်အထားဖြင့် အစားထိုးသည်။

Cryptographic Box အလုပ်လုပ်ပုံ

လေယာဉ်မှူးသည် DeepMind မှ cryptographic "box." ၎င်းအတွင်းတွင်၊ အကဲဖြတ်မှု၏တစ်ဝက်စလုံး—လျှို့ဝှက်စံနှုန်းနှင့် သီးသန့်စံနမူနာ—တို့သည် သက်ဆိုင်ရာပိုင်ရှင်များအတွက် လျှို့ဝှက်ထားရှိပြီး ယင်းအချက်ကို ပတ်ဝန်းကျင်က လျှို့ဝှက်သင်္ကေတဖြင့် အတည်ပြုသည်။

ရလဒ်မှာ အမှန်တကယ် နှစ်ထပ်ကန်းနေသည်- ပြင်ပအကဲဖြတ်သူသည် Gemini မော်ဒယ်အလေးများကို မမြင်နိုင်သည့်အပြင် အကဲဖြတ်သူ၏ စမ်းသပ်မှုသတိပေးချက်များကို Google မမြင်နိုင်ပါ။ ဗိသုကာပညာကိုယ်တိုင်က မူအရ ယိုစိမ့်မှုမဖြစ်နိုင်သောကြောင့် တစ်ဖက်သား၏ကတိများကို နှစ်ဖက်စလုံးက ယုံကြည်စရာမလိုပါ။ အရေးကြီးသည်မှာ၊ အနာဂတ်စမ်းသပ်မှုမတိုင်မီ မော်ဒယ်စွမ်းဆောင်ရည်ကို ပိုကောင်းအောင်ပြုလုပ်ရန် အကဲဖြတ်ဒေတာကို နောက်ပိုင်းတွင် အသုံးပြုခြင်းမှ တားဆီးပေးသည် — ညစ်ညမ်းမှုများသည် ပုံမှန်အားဖြင့် ပြန်ဝင်လာသည့် ကွင်းဆက်ကို ပိတ်ပစ်လိုက်သည်။

AI ကြီးကြပ်မှုအတွက် အဘယ်ကြောင့်အရေးကြီးသနည်း။

ပိုမိုကျယ်ပြန့်သော အရေးပါမှုသည် Gemini မော်ဒယ်တစ်ခုထက် ကျော်လွန်ပါသည်။ လွတ်လပ်သောအဖွဲ့အစည်းများ - AI ဘေးကင်းရေးအင်စတီကျုများ၊ ပညာရပ်ဆိုင်ရာဓာတ်ခွဲခန်းများ၊ စည်းကမ်းထိန်းသိမ်းရေးအဖွဲ့များသည် ပံ့ပိုးပေးသူများသည် အလေးမလွှဲပြောင်းနိုင်ခြင်းနှင့် အကဲဖြတ်သူများသည် စံနှုန်းများကို လွှဲပြောင်းပေးမည်မဟုတ်သောကြောင့် နှစ်ပေါင်းများစွာ ရုန်းကန်နေရပါသည်။ အဓိက AI ဘေးကင်းရေးအင်စတီကျုတိုင်းသည် နယ်ခြားဓာတ်ခွဲခန်းများနှင့် အကဲဖြတ်ခြင်းသဘောတူညီချက်များကို လက်မှတ်ရေးထိုးသောအခါ ဤပြဿနာ၏ဗားရှင်းများနှင့် လုံးထွေးနေပါသည်။

လေယာဉ်မှူးက ကိုင်ထားပါက၊ ဒေတာအချုပ်အခြာအာဏာနှင့် ဉာဏပစ္စည်းပိုင်ဆိုင်မှုသည် လွတ်လပ်သောစိစစ်မှုဖြင့် ထိတွေ့ဆက်နွှယ်နေသည့် နမူနာပုံစံကို ပေးဆောင်သည်။ DeepMind က လေယာဉ်မှူးသည် "မော်ဒယ်ကြီးကြပ်မှုအတွက် နယ်နိမိတ်အသစ်တစ်ခုကို ထူထောင်ပြီး၊ ပိုမိုကျယ်ပြန့်သောစက်မှုလုပ်ငန်းကို ပိုမိုဘေးကင်းသော၊ ပိုမိုယုံကြည်စိတ်ချရသော၊ ကျယ်ပြန့်စွာယုံကြည်ရသော AI စနစ်များကို တည်ဆောက်ရန် ကူညီပေးလိမ့်မည်ဟု မျှော်လင့်ပါသည်။"

ပါတနာစာရင်းသည် သူ့ဘာသာသူ ထင်ရှားသည်။ Singapore AI Safety Institute သည် အတက်ကြွဆုံး အမျိုးသား အကဲဖြတ်ရေး အဖွဲ့များထဲမှ တစ်ခုဖြစ်သည်။ OpenMined သည် လျှို့ဝှက်ရေး-ထိန်းသိမ်းထားသော ကွန်ပျူတာကိရိယာကို တည်ဆောက်သည်။ MLCommons သည် စက်မှုလုပ်ငန်းစံနှုန်းများကို စံသတ်မှတ်သည်။ AVERI သည် သရုပ်ပြမှုထက် စံတစ်ခုဖြစ်လာရန်အတွက် နှစ်ထပ်ကန်းသော အကဲဖြတ်မှုကို ချမှတ်ရန်လိုအပ်မည့် မဲဆန္ဒနယ်များတွင် အစိုးရ၊ ပညာရပ်ဆိုင်ရာနှင့် စက်မှုလုပ်ငန်းဆိုင်ရာ စံချိန်စံညွှန်းများ လွှမ်းခြုံထားသော လုပ်ငန်းစုကြီးတစ်ခုကို စုစည်းထားသည်။

အကဲဖြတ်ခြင်းသမာဓိထက် လက်နက်ပြိုင်ဆိုင်ခြင်း။

AI ကုမ္ပဏီတွေက သူတို့ကိုယ်သူတို့ အဆင့်တန်းအောင် စိစစ်မှုတွေ မြင့်တက်နေချိန်မှာပဲ အခုလို ကြေညာချက်ထွက်လာတာပါ။ ဓာတ်ခွဲခန်းများသည် ချယ်ရီကောက်ခြင်းဆိုင်ရာ စံနှုန်းများကို တိုးမြှင့်စွပ်စွဲမှုများနှင့် ရင်ဆိုင်နေရပြီး အမှီအခိုကင်းသော ဦးဆောင်ဘုတ်အဖွဲ့များသည် ရောင်းချသူများ၏ ထိန်းချုပ်မှုအပြင်ဘက်တွင် ထိုင်နေသောကြောင့် တိကျစွာ သြဇာရှိလာပါသည်။ နှစ်ထပ်ကန်းသော အကဲဖြတ်ခြင်းသည် ရောင်းချသူ၏ကိုယ်ပိုင်အခြေခံအဆောက်အအုံအတွင်း လွတ်လပ်ရေးလှုပ်ရှားမှုကို ချဲ့ထွင်စေသည် — ၎င်းတို့၏မော်ဒယ်များကို စမ်းသပ်ပုံအသေးစိတ်တိုင်းကို ထိန်းချုပ်ရန် သမိုင်းကြောင်းအရ တောင်းဆိုထားသည့် ကုမ္ပဏီများအတွက် ထင်ရှားသောပြောင်းလဲမှုတစ်ခုဖြစ်သည်။

ယခုအချိန်တွင် လေယာဉ်မှူးသည် မော်ဒယ်တစ်ခုနှင့် လျှို့ဝှက်စံနှုန်းများ အကျုံးဝင်သည်။ သို့သော် အတုအယောင်နည်းဖြင့် စစ်ဆေးအတည်ပြုပါက၊ ညစ်ညမ်းမှုကင်းစင်သော အကဲဖြတ်မှုသည် နည်းပညာအရ ပုံမှန်ဖြစ်လာသည်၊ ၎င်းသည် လုပ်ငန်းများနှင့် နယ်ခြားဓာတ်ခွဲခန်းတိုင်းမှ လုပ်ငန်းရှင်များနှင့် စည်းကမ်းထိန်းသိမ်းရေးမှူးများ မျှော်လင့်ထားသည့်အရာကို ပြောင်းလဲနိုင်သည် — နှင့် “ကျွန်ုပ်တို့၏ရမှတ်ကို ယုံကြည်သည်” ဟူသော အတည်ပြုနိုင်သော တောင်းဆိုမှုများဖြင့် စျေးကွက်တွင် ပိုမိုရောင်းချရခက်ခဲစေသည်။

---

AI ၏ရှေ့တွင်နေရန်

နောက်ဆုံးပေါ် AI သတင်းများ၊ ခွဲခြမ်းစိတ်ဖြာမှုနှင့် အောင်မြင်မှုများ—အားလုံးကို တစ်နေရာတည်းတွင် ရယူပါ။

AI သတင်းအပြည့်အစုံကို ဖတ်ရှုရန် →