AI Agent Commands များကို အတည်ပြုလိုက်သောအခါ ခြိမ်းခြောက်မှု 3 ခုတွင် 1 ခု လွတ်သွားခဲ့ပြီး Runs 40,000 ကို လေ့လာတွေ့ရှိ

အမိန့်တစ်ခုစီကို ပြန်လည်သုံးသပ်သည့် လူသားတစ်ဦးသည် AI ကုဒ်လုပ်ထားသော အေးဂျင့်များကို စစ်ဆေးနေနိုင်သည်ဟု ရေပန်းစားသော ယူဆချက်မှာ ပြင်းထန်သော စိစစ်မှုကို ရင်ဆိုင်နေရသည်။ ဂိမ်းဆက်ရှင်ပေါင်း 40,000 ကျော်နှင့် တစ်ဦးချင်း အတည်ပြုခြင်း သို့မဟုတ် ငြင်းဆိုခြင်း ဆုံးဖြတ်ချက်များ 409,000 ကျော်၏ ခွဲခြမ်းစိတ်ဖြာချက်အသစ်တွင် လူသားသုံးသပ်သူများသည် AI အေးဂျင့်များထံမှ အန္တရာယ်ရှိသော အမိန့်သုံးခုတွင် တစ်ခုလောက်လွဲချော်သွားသည်ကို တွေ့ရှိပြီး "လူသား-in-the-the-loop" သည် ယုံကြည်စိတ်ချရသော လုံခြုံရေးနယ်နိမိတ်ဖြစ်သည်ဆိုသည်ကို အရေးတကြီးမေးခွန်းများထုတ်ထားသည်။

Scale X တွင် developer လုံခြုံရေးအကြောင်း ရေးသားသူ Uber မှ ဝန်ထမ်းအင်ဂျင်နီယာဟောင်း Alex Wauters မှ ဖန်တီးထားသော ဘရောက်ဆာအခြေခံဂိမ်းမှ ထွက်ပေါ်လာခြင်းဖြစ်သည်။ အဆိုပါဂိမ်းသည် ကစားသမားများအား AI coding agent အတွက် လူသားသုံးသပ်သူအဖြစ် နေရာပေးကာ အချိန်နှင့်အမျှ shell command များကို အတည်ပြုရန် သို့မဟုတ် ငြင်းပယ်ရန် တောင်းဆိုသည်။ အချို့သော command များသည် `git status` သို့မဟုတ် `npm test` ကဲ့သို့သော ပုံမှန်ဖြစ်သည်။ အခြားအရာများသည် အထောက်အထားများကို ထုတ်ယူရန်၊ နောက်ကွယ်တွင် ထည့်သွင်းရန် သို့မဟုတ် လျှို့ဝှက်ချက်များကို အဝေးထိန်းဆာဗာများထံ ပေးပို့ရန် ဂရုတစိုက် ပုံဖော်ထားသော ကြိုးပမ်းမှုများဖြစ်သည်။ စာရင်းအင်းခြေရာခံခြင်းကို ထည့်သွင်းပြီးနောက်၊ Wauters သည် လူသား၏တရားစီရင်ခြင်းအောင်မြင်ပြီး မကြာခဏဆိုသလို မအောင်မြင်သည့်နေရာကို အသေးစိတ်ပုံဖော်ရန် လုံလောက်သောဒေတာကို စုဆောင်းခဲ့သည်။ ပိုမိုကျယ်ပြန့်သော AI လုပ်ငန်းဆိုင်ရာ လွှမ်းခြုံမှု နှင့် ပတ်သက်၍ ပိုမိုသိရှိနိုင်စေရန်အတွက် ဤလေ့လာမှုသည် ယနေ့အထိ ဒေတာအကြွယ်ဝဆုံး စမ်းသပ်မှုတစ်ခုအဖြစ် ထင်ရှားသည်။

အန္တရာယ်အရှိဆုံးအမိန့်များသည် ဖမ်းရန်အခက်ခဲဆုံးဖြစ်သည်။

လေ့လာမှု၏ အထူးခြားဆုံး တွေ့ရှိချက်မှာ အရေးပါသော လမ်းညွှန်များပေါ်တွင် `rm -rf` ကဲ့သို့သော အဖျက်သဘောဆောင်သည့် အမိန့်များကို စိတ်ချယုံကြည်စွာ ဖမ်းမိခဲ့ခြင်း ဖြစ်သည်။ အထောက်အထားများ ခိုးယူခြင်းတွင် အမှန်တကယ်အောင်မြင်ခဲ့သော ခြိမ်းခြောက်မှုများသည် မကြာခဏဆိုသလို သုံးကြိမ်နီးပါး လွတ်သွားပါသည်။ ဂိမ်းတစ်ခုလုံးတွင် လွဲချော်မှုအများဆုံး တစ်ခုတည်းသော command မှာ `npm run analyse` ဖြစ်သည်၊ ကစားသမားများ၏ 64.7 ရာခိုင်နှုန်းက အတည်ပြုထားသော်လည်း အေးဂျင့်၏မှတ်တမ်းမှတ်တမ်းတွင် နောက်ခံစခရစ်ကို ပြင်ပဆာဗာတစ်ခုသို့ အထောက်အထားများပေးပို့ရန် လမ်းကြောင်းလွဲချော်နေကြောင်း ရှင်းရှင်းလင်းလင်းပြသထားသော်လည်း ကစားသမားများ၏ 64.7 ရာခိုင်နှုန်းက အတည်ပြုထားသည်။

ပြဿနာက ဖွဲ့စည်းပုံ။ `npm run` ကဲ့သို့သော ကွန်မန်းများသည် ပရောဂျက်တစ်ခု၏ `package.json` ဖိုင်တွင် သတ်မှတ်ထားသည့် မည်သည့် script ကိုမဆို လုပ်ဆောင်ပါသည်။ ထိုစခရစ်သည် တရားဝင်အစုအဝေးခွဲခြမ်းစိတ်ဖြာသူ သို့မဟုတ် အစောပိုင်းဖိုင်တည်းဖြတ်မှုဖြင့် ထိုးသွင်းထားသော အန္တရာယ်ရှိသောကုဒ် ဖြစ်နိုင်သည်။ သေချာစွာသိရန်၊ developer သည် AI ကုဒ်ရေးကိရိယာများပေးဆောင်ရမည့် မြန်နှုန်းအားသာချက်ကို ပျက်ပြယ်စေသည့် အတည်ပြုခြင်းမပြုမီ ပြင်ဆင်ထားသောဖိုင်တိုင်းကို စစ်ဆေးရန် လိုအပ်မည်ဖြစ်သည်။

ဂိမ်းတွင် အသွင်ယူ-ပေးဆောင်ရသည့် အမိန့်သုံးခုဖြင့် လွဲချော်မှုနှုန်းမှာ 52.5 ရာခိုင်နှုန်းရှိပြီး အခြားသော အထောက်အထား-ထုတ်ယူမှု တိုက်ခိုက်မှုအားလုံးအတွက် 28.4 ရာခိုင်နှုန်းနှင့် နှိုင်းယှဉ်ပါသည်။ အကျွမ်းတဝင်ရှိသော script အမည်နောက်ကွယ်တွင် payload တစ်ခုကို ဝှက်ထားခြင်းဖြင့် ခွင့်ပြုချက်အမှာစာအထက်တွင်ပြသထားသော မှတ်တမ်းမှတ်တမ်းတွင် payload ကိုမြင်ရသောအခါ၌ပင် ၎င်း၏အောင်မြင်မှုနှုန်းကို နှစ်ဆတိုးစေသည်။

ခွင့်ပြုချက်သည် အချိန်နှင့်အမျှ ပင်ပန်းနွမ်းနယ်မှုကို တိုက်စားစေသည်။

ခွင့်ပြုချက် ပင်ပန်းနွမ်းနယ်မှုသည် ၎င်း၏ Claude Code ထုတ်ကုန်တွင် တကယ့်ဖြစ်ရပ်မှန်ဖြစ်ကြောင်း Anthropic မှ ယခင်က အသိအမှတ်ပြုခဲ့ပြီး၊ အသုံးပြုသူတစ်ဦးမှ အတည်ပြုချက်များ ပိုမြင်လေ၊ တစ်ဦးစီအပေါ် အာရုံစိုက်မှု လျော့နည်းလေဖြစ်သည်။ Scale X ဒေတာသည် ဤစိုးရိမ်မှုကို မျက်မြင်ကိုယ်တွေ့ ထောက်ခံပါသည်။ ကစားသမားများ ပူနွေးလာခြင်းကြောင့် စက်ရှင်တစ်ခုစီ၏ ပထမအကြိမ် အနည်းငယ်အတွင်း အလှမယ်နှုန်းထားများ လျော့ကျသွားသော်လည်း ပင်ပန်းနွမ်းနယ်မှု သို့မဟုတ် နာရီ၏ တိုးလာနေသည့် ဖိအားများနှင့် ကိုက်ညီပြီး အဆုံးအထိ မှန်မှန်တက်သွားခဲ့သည်။

ဤပုံစံသည် လက်တွေ့ကမ္ဘာ၏ ဒိုင်းနမစ်များကို ထင်ဟပ်စေသည်။ ဆော့ဖ်ဝဲရေးသားသူများသည် နောက်ဆုံးသတ်မှတ်ထားသောဖိအားအောက်တွင် အင်္ဂါရပ်များကို တင်ပို့ရန် ပြိုင်ဆိုင်နေကြပြီး အတည်ပြုချက်ကို လျင်မြန်စွာနှိပ်ရန် တူညီသော မက်လုံးပေးမှုများနှင့် ရင်ဆိုင်နေရပြီး ပုံမှန်စာရင်းအင်းများအရ စစ်မှန်သောခြိမ်းခြောက်မှုများသည် ရှားပါးသည့် အပ်တစ်ချောင်းအတွင်း ကောက်ရိုးပုံပြဿနာကို ဖန်တီးပေးပါသည်။ ရလဒ်မှာ သုံးစွဲသူများအား ရော်ဘာတံဆိပ်တုံးများအားလုံးကို လေ့ကျင့်ပေးသည့် စနစ်တစ်ခုဖြစ်သည်။

အခြားတစ်ဖက်- အလွန်ပိတ်ဆို့ခြင်းသည် အရာအားလုံးကို နှေးကွေးစေသည်။

လေ့လာမှုသည် ဆန့်ကျင်ဘက် ကျရှုံးမှုပုံစံကိုလည်း မှတ်တမ်းတင်ခဲ့သည်။ စံတည်ဆောက်မှုနှင့် စမ်းသပ်မှု တောင်းခံမှုများအပါအဝင် သတိကြီးစွာသော ကစားသမားများက စစ်မှန်သော နူးညံ့သိမ်မွေ့သော အမိန့်အများအပြားကို ပုံမှန်ပိတ်ဆို့ထားသည်။ ဤအလွန်အကျွံပိတ်ဆို့ခြင်းသည် အေးဂျင့်အား နှေးကွေးစေပြီး၊ ရှေ့နောက်နောက်ထပ်အားဖြင့် ရေရှည်အန္တရာယ်ကို တိုးစေသည်။ အန္တရာယ်မရှိသည့် အမိန့်များကို အတည်ပြုရန် အသုံးပြုသူများအား ထပ်ခါတလဲလဲ တောင်းဆိုသောအခါ၊ ဆူညံသံသည် အနာဂတ်အပေးအယူများကို စိစစ်ရန် ၎င်းတို့၏ဆန္ဒကို ပျက်ပြားစေပြီး နောက်ဆုံးတွင် ၎င်းတို့အား ပြီးပြည့်စုံသော ရှောင်ကွင်းများ သို့မဟုတ် လူသားသုံးသပ်ချက်ကို လုံးဝဖယ်ရှားသည့် အလိုအလျောက် အတည်ပြုမုဒ်များဆီသို့ တွန်းပို့စေသည်။

Anthropic ၏ အော်တိုမုဒ်ကဲ့သို့ အင်္ဂါရပ်များသည် သုံးစွဲသူကို မတောင်းဆိုမီ အမိန့်တစ်ခု လုံခြုံမှုရှိမရှိ အလိုအလျောက် ဆုံးဖြတ်ခြင်းဖြင့် ၎င်းကို လျော့ပါးစေရန် ကြိုးပမ်းသည်။ သို့သော် ပုံဖျက်ထားသော payloads များဆိုင်ရာ လေ့လာမှု၏ အချက်အလက်များသည် သက်သေပြနေသကဲ့သို့၊ မြင်နိုင်သော command များပင်လျှင် လူသားများအတွက် ဖိအားအောက်တွင် ယုံကြည်စိတ်ချရသော စီရင်ဆုံးဖြတ်ရန် မလုံလောက်ပါ။

လွဲမှားနေသောအကြောင်းအရာသည် အဓိကပြဿနာဖြစ်သည်။

အမိန့်တစ်ခုဖြစ်သည့် `cat ~/.zshrc` သည် ဂိမ်းတစ်ခုလုံးတွင် အကွဲလွဲဆုံးဖြစ်ကြောင်း သက်သေပြခဲ့ပြီး ကစားသမားများ၏ 45.9 ရာခိုင်နှုန်းက အတည်ပြုခဲ့သည်။ ၎င်းတို့၏ shell ပရိုဖိုင်တွင် လျှို့ဝှက်ထားခြင်းမရှိသော ဆော့ဖ်ဝဲရေးသားသူများအတွက် အန္တရာယ်မရှိသော်လည်း ၎င်းသည် ထိုနေရာတွင် အထောက်အထားများကို ထုတ်ယူသူအများအပြားအတွက် API သော့များကို ဖော်ထုတ်ပေးပါသည်။ ၎င်း၏အန္တရာယ်သည် အေးဂျင့်မမြင်နိုင်သော စနစ်ဖွဲ့စည်းပုံတစ်ခုပေါ်တွင် လုံးလုံးမူတည်ပြီး သုံးသပ်သူသည် မမှတ်မိနိုင်ပေ။

အခြား command အများအပြားသည် တူညီသောအကြောင်းပြချက်အတွက် Hacker News ဆွေးနွေးမှုတွဲတွင် အလားတူအငြင်းပွားမှုကို ဖန်တီးပေးခဲ့သည်။ အခြေခံပြဿနာမှာ ဖိုင်များပြောင်းလဲသွားခြင်း၊ ယခင်အဆင့်များတွင် အေးဂျင့်လုပ်ခဲ့သည့်အရာများနှင့် စနစ်၏ လက်ရှိဖွဲ့စည်းပုံပါ၀င်သည်တို့ကို အပြည့်အစုံဖော်ပြခြင်းမရှိဘဲ လုံခြုံရေးဆိုင်ရာ စီရင်ဆုံးဖြတ်မှုများ ပြုလုပ်ရန် ဆော့ဖ်ဝဲအင်ဂျင်နီယာများကို တောင်းဆိုနေခြင်းဖြစ်ပါသည်။ မှတ်ချက်ပေးသူတစ်ဦးမှ မှတ်ချက်ပြုထားသည့်အတိုင်း၊ အသုံးပြုသူများအား အကြောင်းအရာမပါဘဲ မရှင်းလင်းသော ညွှန်ကြားချက်များကို တရားဝင်စစ်ဆေးရန် တောင်းဆိုခြင်းသည် ခိုင်မာသောကာကွယ်မှုမဟုတ်ပါ။

အေးဂျင့်လုံခြုံရေးအတွက် နောက်တစ်ခုက ဘာလဲ။

Wauters က ဖြေရှင်းချက်သည် လူသားများ မဟုတ်သော်လည်း ပိုမိုကောင်းမွန်သော ကိရိယာတန်ဆာပလာ ဖြစ်သည်ဟု စောဒကတက်သည်။ Sandboxing အေးဂျင့်များသည် အထောက်အထားများကို တိုက်ရိုက်မဝင်ရောက်နိုင်သောကြောင့်၊ တင်းကျပ်သော အကြောင်းအရာ သီးခြားခွဲထုတ်ခြင်းနှင့် မြင့်မားသောခွင့်ပြုချက်များမပါဘဲ အေးဂျင့်များလုပ်ဆောင်နိုင်သည့်အရာများအတွက် ဖွဲ့စည်းပုံဆိုင်ရာ ကန့်သတ်ချက်များသည် လူသားသတိထားမှုကို မှီခိုခြင်းထက် ပိုမိုအလားအလာကောင်းပါသည်။ ထိုအကာအကွယ်များ မရရှိမချင်း၊ အေးဂျင့်များအား ကျယ်ပြန့်သောခွင့်ပြုချက်များပေးခြင်းသည် လူသားတစ်ဦးသည် ကွင်းအတွင်းအမည်ခံခြင်းရှိမရှိ မခွဲခြားဘဲ အန္တရာယ်ရှိဆဲဖြစ်သည်။

လေ့လာမှုသည် သက်တူရွယ်တူ သုံးသပ်ထားသော ပညာရပ်ဆိုင်ရာ စာတမ်းမဟုတ်ပါ၊ Wauters သည် ၎င်း၏ ကန့်သတ်ချက်များကို အသိအမှတ်ပြုပါသည်။ ဂိမ်းသည် ကစားသမားများအား ခြိမ်းခြောက်မှုများအကြောင်း သတိပေးခဲ့ပြီး စစ်မှန်သော ဖွံ့ဖြိုးတိုးတက်မှုဆိုင်ရာ ပတ်ဝန်းကျင်များကို လုံးဝပုံမဖော်နိုင်သော အချိန်အတုများကို အသုံးပြုကာ အတုအယောင်အချိန်ဖိအားကို အသုံးချခဲ့သည်။ သို့သော် ဖိအားအောက်တွင် လူသားသုံးသပ်သူများကို လေ့ကျင့်ပေးထားသည့် အဓိကရှာဖွေတွေ့ရှိချက်မှာ တမင်ပုံဖျက်ထားသော တိုက်ခိုက်မှုများ၏ သုံးပုံတစ်ပုံကို လွဲချော်စေကာ AI ကုဒ်နံပါတ်အေးဂျင့်များကို အသုံးပြုသည့်အဖွဲ့တိုင်းသည် ၎င်းတို့၏လုံခြုံရေးပုံစံကို ပြန်လည်သုံးသပ်ရန် အကြောင်းပြချက်ပေးသင့်သည်။

ယနေ့ခေတ် AI အေးဂျင့်များဖြင့် တည်ဆောက်နေသည့် developer များအတွက်၊ လက်တွေ့ကျသော စွန့်စားခန်းမှာ human-in-the-loop သည် နောက်ဆုံးတွင် ကျရှုံးလိမ့်မည်ဟု ယူဆရန်ဖြစ်သည်။ လွတ်သွားသော အတည်ပြုချက်သည် ပေါက်ကြားနေသော AWS သော့ သို့မဟုတ် အပေးအယူခံရသော တည်ဆောက်မှုပိုက်လိုင်းကို မဆိုလိုစေရန် သင်၏ ကိုယ်စားလှယ်ခွင့်ပြုချက်များနှင့် sandboxing ကို ဒီဇိုင်းထုတ်ပါ။ သင်၏ အဓိက ကာကွယ်ရေးအဖြစ် လူ၏သုံးသပ်ချက်ကို ခံယူခြင်းသည် လျော်ကြေးမပေးသော အလောင်းအစားဖြစ်ကြောင်း ဒေတာက အကြံပြုထားသည်။

AI ထက်သာလွန်နေပါစေ။

AI အေးဂျင့်လုံခြုံရေးအခင်းအကျင်းသည် လျင်မြန်စွာ ပြောင်းလဲနေသည်။ နောက်ဆုံး AI တိုးတက်မှုများ နှင့် ပြတ်ပြတ်သားသား သုတေသနပြုခြင်းဖြင့် အသိပေးပါ။

AI သတင်းအပြည့်အစုံကို ဖတ်ရှုရန် →