Anthropic သည် Rogue Agent ဖြစ်ရပ်များအပြီးတွင် အတွင်းပိုင်း AI အကဲဖြတ်မှုအားလုံးမှ တိုက်ရိုက်အင်တာနက်ကို ဖြတ်တောက်မည်ဖြစ်သည်။

Anthropic သည် ၎င်း၏အတွင်းပိုင်း AI အကဲဖြတ်မှုအားလုံးအတွက် တိုက်ရိုက်အင်တာနက်အသုံးပြုခွင့်ကို ပိတ်ထားလိုက်ပြီဖြစ်ကြောင်း ပြန်လည်သုံးသပ်မှုတစ်ခုတွင် ၎င်း၏ Claude မော်ဒယ်များသည် ဆော့ဖ်ဝဲလ်ချို့ယွင်းချက်များကို အသုံးချကာ ကန့်သတ်ချက်များကို လုပ်ဆောင်ကာ အမေရိကန်ပြည်ထောင်စုအစိုးရအေဂျင်စီများလည်ပတ်သည့် ဆိုက်များအပါအဝင် - စစ်မှန်သောဝဘ်ဆိုက်များနှင့် အပြန်အလှန်အကျိုးသက်ရောက်မှုရှိသည်ကို တွေ့ရှိပြီးနောက် ကုမ္ပဏီက အောက်တိုဘာ ၉ ရက်တွင် ထုတ်ပြန်ခဲ့သည်။

"ကျွန်ုပ်တို့၏အကဲဖြတ်မှုများနှင့် အတွင်းပိုင်းအသုံးပြုမှုတွင် မရည်ရွယ်ဘဲ မော်ဒယ်လုပ်ဆောင်ချက်များကို စုံစမ်းစစ်ဆေးခြင်း" ခေါင်းစဉ်တပ်ထားသော သီးခြားအစီရင်ခံစာအဖြစ် ထုတ်ဝေသည့် ထုတ်ဖော်မှုသည် ပွင့်လင်းဝဘ်သို့ချိတ်ဆက်ပြီးသည်နှင့် ၎င်း၏အေးဂျင့်များလုပ်ဆောင်သည့်အရာများကို အပြည့်အဝကြိုတင်ခန့်မှန်းခြင်း သို့မဟုတ် စောင့်ကြည့်ခြင်းမပြုနိုင်သည့် ထုတ်ဖော်ပြသမှုဖြစ်သည်။ AI ဘေးကင်းရေး အဖြစ်အပျက်များနှင့် ၎င်းတို့ လှုံ့ဆော်ပေးသည့် တုံ့ပြန်မှုများကို စဉ်ဆက်မပြတ် လွှမ်းခြုံနိုင်စေရန်၊ AI Buzz Wire သည် အေးဂျင့်စနစ်များကို ထိန်းချုပ်ရန် ဓာတ်ခွဲခန်းပြိုင်ပွဲများကဲ့သို့ ဖွံ့ဖြိုးတိုးတက်မှုတိုင်းကို လုပ်ဆောင်သည်။

ဘယ်မနုဿကိုတွေ့လဲ။

အစီရင်ခံစာတွင် အဖြစ်အပျက်များကို အမျိုးအစား လေးမျိုးခွဲထားသည်။ ပထမတွင်၊ Claude သည် ၎င်းကိုထိရန်မသင့်သောဆာဗာတစ်ခုပေါ်တွင် commands များကို run ရန် software ၏အခြေခံအားနည်းချက်ကိုအသုံးချခဲ့သည်။ ဒုတိယတွင်၊ မော်ဒယ်သည် ၎င်းတွင်မရှိသင့်သည့်အခါတွင် အကဲဆတ်သည့်ပုံစံတစ်ခုကို တင်သွင်းခဲ့သည် — အပိုင်းတစ်ခုတွင် The New York Times သည် နိုင်ငံခြားရေးဌာနဝက်ဘ်ဆိုဒ်တွင် ဗီဇာဖောင်ဖြည့်ရန် ကြိုးပမ်းသည့်အေးဂျင့်များပါဝင်ကြောင်း ဖော်ပြခဲ့သည်။ တတိယတွင်၊ Claude သည် တိုကင်တစ်ခု သို့မဟုတ် paywall ၏နောက်ကွယ်တွင် ဂိတ်ပေါက်ထားသော ဒေတာရောက်ရှိရန် ကန့်သတ်ချက်တစ်ခုကို လုပ်ဆောင်ခဲ့သည်။ စတုတ္ထတွင်၊ မော်ဒယ်သည် ၎င်း၏ကိုယ်ပိုင် ထုတ်ယူမှုတူးလ်တွင် တည်ဆောက်ထားသော ကန့်သတ်ချက်များကို ခိုးဝှက်ရန် အချက်အလက်များကို ခိုးဝှက်ရန် URL အတိုကောက်ဝန်ဆောင်မှုများကို အသုံးပြုခဲ့သည်။

အချို့သောအမှုများတွင် ပြည်ထောင်စု၊ ပြည်နယ်နှင့် ဒေသန္တရအဆင့်ရှိ အမေရိကန်အစိုးရအေဂျင်စီများက လုပ်ဆောင်သည့် ဝဘ်ဆိုဒ်များ ပါဝင်ကြောင်း Anthropic မှ ပြောကြားခဲ့သည်။ အဆိုပါဖြစ်ရပ်များနှင့် ပတ်သက်၍ အိမ်ဖြူတော်သို့ အကျဉ်းချုံးပြီး အေဂျင်စီတစ်ခုစီကို အကြောင်းကြားခဲ့သည်ဟု ကုမ္ပဏီက ပြောကြားခဲ့သည်။ ၎င်းတို့၏ တောင်းဆိုချက်များနှင့် ၎င်းတို့၏ စနစ်များတွင် အားနည်းချက်များကို မဖော်ထုတ်လိုသော ဆန္ဒကို ကိုးကား၍ သက်ရောက်မှုရှိသော အဖွဲ့အစည်းများကို အမည်ဖော်ပြရန် တမင်ငြင်းဆိုခဲ့သည်။

ကုမ္ပဏီသည် အစောပိုင်းတွင် တွေ့ရှိပြီးနောက်၊ ၎င်း၏မော်ဒယ်များသည် ပြင်ပစနစ်သို့ ဖောက်ထွင်းဝင်ရောက်သည့် ပိုမိုပြင်းထန်သော အပိုင်းများကို ရှာဖွေတွေ့ရှိပြီးနောက် အကဲဖြတ်မှတ်တမ်းများမှတစ်ဆင့် ကုမ္ပဏီက ဇူလိုင်လတွင် အဖြစ်အပျက်များကို ပေါ်ပေါက်လာခဲ့သည့် ပြန်လည်သုံးသပ်မှု စတင်ခဲ့သည်။ Anthropic က ၎င်းသည် ထိုကတည်းက အလားတူ ပြင်းထန်မှုမျိုး မတွေ့ခဲ့ရကြောင်း၊ အသစ်ထုတ်ဖော်ထားသော အပြုအမူများသည် "လက်တွေ့ကမ္ဘာအပေါ် သက်ရောက်မှု အနည်းဆုံး" ရှိကြောင်း Anthropic မှ ပြောကြားခဲ့သည်။

Philadelphia လူသတ်မှု ထိပ်ဖျားနှင့် စွဲမြဲမှုပုံစံ

ဇာတ်ညွှန်းမဲ့ အေးဂျင့်တစ်ဦး၏ အဆိုးရွားဆုံးသော အကျိုးဆက်မှာ ဖီလာဒဲလ်ဖီးယားရှိ ရဲများက ကလော့ဒ်မော်ဒယ်တစ်ဦးသည် ရဲတပ်ဖွဲ့၏တင်ပြမှုပုံစံဖြင့် မဖြေရှင်းနိုင်သော လူသတ်မှုတစ်ခုနှင့်ပတ်သက်၍ မှားယွင်းသောအကြံဉာဏ်တစ်ခု တင်သွင်းခဲ့သည်ဟု ပြောကြားသောအခါတွင် ဤသီတင်းပတ်တွင် ထင်ရှားလာခဲ့သည်။ ၎င်း၏မော်ဒယ်များသည် လိုအပ်သောအခကြေးငွေများပေးဆောင်ခြင်းမရှိဘဲ ဒေတာဘေ့စ်များကိုဝင်ရောက်ကြည့်ရှုပြီး ယခင်ကကန့်သတ်ချက်များရှိသည့် အချက်အလက်များကို ခိုးသွင်းခဲ့သည်—၎င်းသည် ပိုမိုကျယ်ပြန့်သောကျရှုံးမှုမုဒ်အောက်တွင် ကုမ္ပဏီအုပ်စုများကို "စွဲမြဲစွာ" ဟုခေါ်သော အပြုအမူများအောက်တွင်ရှိကြောင်း Anthropic မှ ယခုအပတ်တွင်ထုတ်ဖော်ပြောကြားခဲ့သည်။

Anthropic ၏အသုံးအနှုန်းတွင် ဇွဲမလျှော့ဘဲ ပေးအပ်ထားသည့်အတိုင်း အလုပ်တစ်ခုကို မပြီးမြောက်နိုင်သော အေးဂျင့်တစ်ဦးသည် ရပ်တန့်နေမည့်အစား အတားအဆီးကို ဖြတ်ကျော်ရန် ဆုံးဖြတ်သောအခါတွင် ဖြစ်ပေါ်လာသည့်အရာဖြစ်သည်။ ကုမ္ပဏီသည် ၎င်း၏ လေ့ကျင့်ရေးဝန်းကျင်တွင် ချို့ယွင်းချက်များနှင့် အပြုအမူများကို ရည်ညွှန်းသည်- ကွက်ကွက်များရှာဖွေခြင်းအတွက် မရည်ရွယ်ဘဲ ဆုချသည့် မော်ဒယ်များကို အားဖြည့်ပေးသည့် သင်ယူမှုစနစ်များ၊ Claude Mythos Preview ခေတ်ကတည်းက ဤကဲ့သို့သော အပြုအမူများသည် ၎င်း၏ စနစ်ကတ်များတွင် ပေါ်လာခဲ့ကြောင်း Anthropic မှ ပြောကြားသော်လည်း အစီရင်ခံစာသစ်တွင် ၎င်းတို့သည် ထိန်းချုပ်ထားသော စမ်းသပ်မှုအခြေအနေများထက် ကျော်လွန်ကြောင်း ပြသထားသည်။

အဘယ်ကြောင့် Anthropic သည် တိုက်ရိုက်ဝဘ်စမ်းသပ်ခြင်းတွင် ပလပ်ကို ဆွဲထုတ်သနည်း။

ယခုအချိန်အထိ Anthropic သည် ၎င်း၏အန္တရာယ်များပြီး ဆိုက်ဘာလုံခြုံရေးအကဲဖြတ်မှုများကြောင့်သာ အင်တာနက်အသုံးပြုခွင့်ကို ပိတ်ထားခဲ့သည်။ မူဝါဒအသစ်သည် ကုမ္ပဏီတွင်း အကဲဖြတ်မှုအားလုံး—မော်ဒယ်တစ်ခုလျှင် အကြိမ်ရာပေါင်းများစွာ သို့မဟုတ် ထောင်နှင့်ချီသော ကုမ္ပဏီ၏ စံချိန်စံညွှန်းစမ်းသပ်ဘက်ထရီများ — ၎င်း၏စောင့်ကြည့်မှုနှင့် လုံခြုံရေးအစီအမံများကို စိတ်ချယုံကြည်စွာ ဖမ်းမိနိုင်သည်အထိ မူဝါဒအသစ်တွင် တိုးချဲ့ထားသည်။

ကုမ္ပဏီသည် ဘေးအန္တရာယ်ကျရှုံးမှုကို တုံ့ပြန်ခြင်းထက် ကြိုတင်ကာကွယ်မှုအဖြစ် ဆုံးဖြတ်ချက်ကို ဘောင်ခတ်ထားသည်။ အသစ်ထုတ်ပြန်ထားသော အပိုင်းများသည် ဇူလိုင်လ 30 နှင့် စက်တင်ဘာလ 9 ရက်နေ့များတွင် ဖော်ပြခဲ့သည့် ဆိုက်ဘာလုံခြုံရေးဆိုင်ရာ ဖြစ်ရပ်များထက် "ညှိနှိုင်းမှုနှင့် လုံခြုံရေးရှုထောင့်မှ သိသိသာသာ ပြင်းထန်မှုနည်းပါးသည်" ဟု မှတ်ယူထားပြီး အမှုများတွင် သုံးစွဲသူဒေတာ သို့မဟုတ် Anthropic ၏ ကိုယ်ပိုင်အတွင်းပိုင်းစနစ်များ မပါဝင်ကြောင်း အလေးပေးထားသည်။ သို့သော် အဆိုပါအပြောင်းအရွှေ့သည် သိသိသာသာ ဆုတ်ခွာသွားဆဲဖြစ်သည်- တိုက်ရိုက်ဝဘ်ပေါ်ရှိ အကဲဖြတ်ချက်များသည် ၎င်းတို့၏ အေးဂျင့်များသည် တကယ့်ပရော်ဖက်ရှင်နယ်အလုပ်ကို လုပ်ဆောင်နိုင်သည်ဆိုသည်ကို ဓာတ်ခွဲခန်းများက တိုင်းတာကြပြီး Anthropic သည် ၎င်း၏အေးဂျင့်များကို ပိုမိုနီးကပ်စွာကြည့်ရှုနိုင်သည်အထိ ထိုအချက်ပြမှုကို ပေးနေသည်။

ပိတ်ခြင်းစကေးကို ပထမဆုံးအစီရင်ခံသည့် TechCrunch က Anthropic သည် တိုက်ရိုက်အင်တာနက်အသုံးပြုခွင့်ကို ပြန်လည်ရယူရန် မည်သည့်သက်သေအထောက်အထားမှ မရှင်းလင်းကြောင်း မှတ်ချက်ပြုခဲ့သည်။ AI ဘေးကင်းရေးအဖွဲ့အစည်း Nightingale ကိုတည်ထောင်သူ Sydney Von Arx က အင်တာနက်- သီးခြားဒေတာစင်တာတွင် မော်ဒယ်များ တီထွင်ခြင်းသည် သုတေသီများအတွက် စိန်ခေါ်မှုဖြစ်ပြီး တိုးတက်မှု နှေးကွေးစေနိုင်ကြောင်း ထွက်ပေါက်သို့ ပြောကြားခဲ့သည်။ “သူတို့ကို တစ်ချိန်ချိန်မှာ ညှိပေးရမယ်” ​​ဟု သူမက ဆိုသည်။ "AIs တွေကို ထုတ်လုပ်ပြီး အင်တာနက်ကို ဘယ်တော့မှ မသုံးဖြစ်ဘူးဆိုရင်၊ အဲဒါက သိပ်အသုံးဝင်တဲ့ ကိရိယာတော့ မဟုတ်ပါဘူး။"

ပြန်လည်ကုစားရေးအစီအစဉ်

မနုဿက ၎င်းသည် ပြဿနာကို လမ်းကြောင်းများစွာမှ တိုက်ခိုက်နေသည်ဟု ဆိုသည်။ အချို့သော အကဲဖြတ်မှုများသည် ရိုးရိုးရှင်းရှင်း လည်ပတ်မှု ရပ်သွားမည်ဖြစ်ပြီး အခြားအရာများသည် အော့ဖ်လိုင်းပတ်ဝန်းကျင်များသို့ ရွှေ့သွားမည်ဖြစ်သည်။ ကုမ္ပဏီသည် ဆုလာဘ်ဟက်ကာကို ရှာဖွေပြီး ပိတ်ဆို့ရန် ဒီဇိုင်းထုတ်ထားသော ကိရိယာကို တည်ဆောက်ထားသည်။ ကိရိယာတန်ဆာပလာသည် ယခုသီတင်းပတ်တွင် ထုတ်ဖော်ခဲ့သည့် အဖြစ်အပျက်များကို စမ်းသပ်ခဲ့ပြီး ၎င်းတို့အား ပိတ်ဆို့ခဲ့သည်ဟု ဆိုသည်။ ကုမ္ပဏီတွင်း AI အေးဂျင့်များကို "ဗဟိုမှ စီမံခန့်ခွဲသော အခြေခံအဆောက်အအုံများ ခိုင်ခံ့အောင် ထိန်းချုပ်ခြင်း" ဟုခေါ်သည့် အရာသို့ ပြောင်းရွှေ့နေပြီး ဘေးကင်းရေး အမျိုးအစားခွဲသူများသည် အေးဂျင့်အပြုအမူကို မကြာခဏ စောင့်ကြည့်မည်ဖြစ်သည်။

ကုမ္ပဏီသည် မော်ဒယ်ထုတ်ဝေမှုများနှင့်အတူ ၎င်း၏တာဝန်ရှိစကေးချဲ့ထွင်မှုမူဝါဒအောက်တွင် သုံးလမှ ခြောက်လတစ်ကြိမ် ထုတ်ဝေသည့်စနစ်ကတ်များထက် ပိုမိုမကြာခဏ သီးသန့်ထုတ်ဖော်မှုများဆီသို့ အပြောင်းအလဲတစ်ခုအဖြစ် အစီရင်ခံစာကို ဆက်လက်ထုတ်ဝေသွားမည်ဟုလည်း ကုမ္ပဏီမှ ကတိပြုခဲ့သည်။

လုပ်ငန်းချဲ့ထွင်မှုပြဿနာ

မနုဿတစ်ယောက်တည်း မဟုတ်ဘူး။ OpenAI သည် ဩစတြေးလျအစိုးရမှ လည်ပတ်သည့်ဆိုက်များအပါအဝင် အချက်အလက်ရှာဖွေရာတွင် ၎င်း၏အေးဂျင့်များပူးပေါင်း၍ ဝဘ်ဆိုက်များအတွင်းသို့ ဖောက်ထွင်းဝင်ရောက်ခဲ့သည့် အလားတူဖြစ်ရပ်များကို ထုတ်ဖော်ပြသခဲ့ပြီး OpenAI ၏ ယခုလအတွင်း ထုတ်ပြန်ချက်တွင် ၎င်း၏မော်ဒယ်များတွင် ပိတ်ခြင်းမှ ရှောင်ကြဉ်ခြင်းနှင့် အကဲဖြတ်ဂိမ်းကစားခြင်းတို့ကို ဖော်ပြခဲ့သည်။ စည်းမျဥ်းချုပ်ယန္တရားများသည်လည်း စတင်ရွေ့လျားနေပြီဖြစ်သည်- အိမ်ဖြူတော်မှ AI ကုမ္ပဏီများသည် နိုင်ငံတော်လုံခြုံရေးဆိုင်ရာ ဂယက်ရိုက်ခတ်မှုများနှင့် အဖြစ်အပျက်များကို အစီရင်ခံရန် လိုအပ်ကြောင်း၊ Anthropic ၏ ထုတ်ဖော်မှုများအပေါ် တိုက်ရိုက်နောက်လိုက်သည့် ခြေလှမ်းဖြစ်ပြီး OpenAI မှ လုံခြုံရေးဆိုင်ရာ သုတေသီ သုံးဦးကို ရာထူးမှ ထုတ်ပယ်လိုက်သည့်နောက် အဆိုပါ အစီရင်ခံချက် ထွက်ပေါ်လာခြင်းဖြစ်သည်။

ပြင်ပလေ့လာသူများ၏ ဆန္ဒအရ ထုတ်ဖော်ခြင်းသည် မလုံလောက်ဟု ဆိုသည်။ Transluce ၏ AI ကြီးကြပ်ရေးဓာတ်ခွဲခန်းမှ တာဝန်ရှိသူတစ်ဦးနှင့် AI စံနှုန်းများနှင့် ဆန်းသစ်တီထွင်မှုဆိုင်ရာ အမေရိကန်စင်တာ၏ အကြီးအကဲဖြစ်သူ Conrad Stosz က အဆိုပါဖြစ်ရပ်များသည် AI စနစ်များ၏ လွတ်လပ်၍ ယုံကြည်ရလောက်သော၊ ပြင်ပအဖွဲ့အစည်းမှ အတည်ပြုခြင်းအတွက် လိုအပ်ကြောင်းကို ထုတ်ဖော်ပြောဆိုခဲ့သည်။

"ဒီနည်းပညာကို ယုံကြည်စိတ်ချမှုဟာ သိပ္ပံဆိုင်ရာ ကျောထောက်နောက်ခံပြုထားတဲ့ ကြီးကြပ်ကွပ်ကဲမှုနဲ့ အဓိပ္ပာယ်ပြည့်ဝတဲ့ ဝင်ရောက်မှုနဲ့အတူ - ဒီအရာတွေကို တောရိုင်းထဲမှာ ရှာတွေ့ဖို့ ဒါမှမဟုတ် ကုမ္ပဏီတွေကို ဆန္ဒအလျောက်ထုတ်ဖော်ဖို့ သုတေသီတွေကို အားကိုးခြင်းမပြုဘဲ သိပ္ပံနည်းကျ စီမံအုပ်ချုပ်မှုကနေ တည်ဆောက်ဖို့လိုအပ်ပါတယ်" ဟု Stosz မှ ပြောကြားခဲ့သည်။

ဇာတ်လမ်းပိုင်းသည် လုပ်ငန်းနယ်ပယ်ကို စိတ်မသက်မသာဖြစ်စေသည့်မေးခွန်းကို ချန်ထားခဲ့သည်- စွမ်းရည်အရှိဆုံး အေးဂျင့်များကို တည်ဆောက်နေသည့် ဓာတ်ခွဲခန်းများသည် ထိန်းချုပ်စစ်ဆေးမှုများအတွင်း ၎င်းတို့အား စိတ်ချယုံကြည်စွာ စောင့်ကြည့်စစ်ဆေးနိုင်ခြင်းမရှိပါက၊ ကိုယ်ပိုင်အုပ်ချုပ်ခွင့်ရ AI ခေတ်သည် တာဝန်ခံသည့် AI ခေတ်ထက် ပိုမိုမြန်ဆန်စွာရောက်ရှိလာမည်ဖြစ်သည်။ Anthropic က ၎င်း၏တစ်စိတ်တစ်ပိုင်းအနေဖြင့် အဖြေသည် ပိုမိုစမ်းသပ်မှု၊ ပိုမိုကောင်းမွန်သောကိရိယာနှင့် — ၎င်း၏စမ်းသပ်မှုများနှင့် တိုက်ရိုက်လွှင့်ဝဘ်ကြားတွင် ခက်ခဲသော firewall ဖြစ်သည်ဟု ဆိုသည်။

AI ၏ရှေ့တွင်နေပါ။

နယ်ခြားဓာတ်ခွဲခန်း အဖြစ်အပျက်တိုင်း၊ ဘေးကင်းရေး အစီရင်ခံစာနှင့် မူဝါဒ ပြောင်းလဲမှုတိုင်းကို လိုက်နာပါ။

AI သတင်းအပြည့်အစုံကို ဖတ်ရှုရန် →