Binadamu Walikosa Tishio 1 kati ya 3 Wakati wa Kuidhinisha Amri za Wakala wa AI, Utafiti wa Utafutaji wa Runs 40,000

Dhana maarufu kwamba mwanadamu anayekagua kila amri anaweza kuwadhibiti mawakala wa uandishi wa AI inakabiliwa na uchunguzi wa kina. Uchanganuzi mpya wa zaidi ya vipindi 40,000 vya mchezo na zaidi ya maamuzi 409,000 ya mtu binafsi ya kuidhinisha au kukataa iligundua kuwa wakaguzi wa kibinadamu walikosa takriban amri moja kati ya tatu hasidi kutoka kwa maajenti wa AI, na hivyo kuzua maswali ya dharura kuhusu kama "binadamu-katika-kitanzi" ni mpaka wa usalama unaotegemeka hata kidogo.

Matokeo yanatoka kwenye mchezo unaotegemea kivinjari ulioundwa na Alex Wauters, mhandisi wa zamani wa Uber ambaye anaandika kuhusu usalama wa msanidi programu katika Scale X. Mchezo huwaweka wachezaji katika nafasi ya mkaguzi wa kibinadamu wa wakala wa usimbaji wa AI, akiwauliza waidhinishe au wakatae amri za shell chini ya shinikizo la wakati. Baadhi ya amri ni za kawaida, kama vile `git status` au `npm test`. Nyingine ni majaribio yaliyofichwa kwa uangalifu ya kuchuja vitambulisho, kusakinisha milango ya nyuma, au kutuma siri kwa seva za mbali. Baada ya kuongeza ufuatiliaji wa takwimu, Wauters walikusanya data ya kutosha ili kuchora picha ya kina ya mahali ambapo uamuzi wa binadamu unafaulu na, mara nyingi zaidi, kushindwa. Kwa mengi zaidi kuhusu uenezi wa tasnia ya AI, utafiti huu unajulikana kama mojawapo ya majaribio yaliyojaa data nyingi zaidi hadi sasa.

Amri Hatari Zaidi Ndio Ngumu Kuzipata

Ugunduzi wa kuvutia zaidi wa utafiti ni kwamba amri za uharibifu, kama vile `rm -rf` kwenye saraka muhimu, zilinaswa kwa uhakika. Vitisho ambavyo kwa kweli vilifanikiwa kuiba vitambulisho vilikosa karibu mara tatu mara nyingi. Amri moja iliyokosa zaidi katika mchezo mzima ilikuwa `npm run analysis`, iliyoidhinishwa na asilimia 64.7 ya wachezaji licha ya kumbukumbu ya historia ya wakala kuonyesha wazi kuwa hati ya msingi imeingiliwa ili kusambaza vitambulisho hadi kwenye seva ya nje.

Tatizo ni la kimuundo. Amri kama `npm run` tekeleza hati yoyote inayofafanuliwa katika faili ya `package.json` ya mradi. Hati hiyo inaweza kuwa kichanganuzi kifurushi halali au msimbo hasidi uliodungwa na faili ya awali iliyohaririwa na wakala. Ili kujua kwa hakika, msanidi programu atahitaji kukagua kila faili iliyobadilishwa kabla ya kuidhinisha, ambayo inakanusha faida ya kasi ambayo zana za usimbaji za AI zinapaswa kutoa.

Katika amri tatu kama hizi za upakiaji uliofichwa kwenye mchezo, kiwango cha makosa kilikuwa asilimia 52.5 ikilinganishwa na asilimia 28.4 kwa mashambulizi mengine yote ya kufichua sifa. Kuficha mzigo wa malipo nyuma ya jina la hati linalojulikana kuliongeza takriban maradufu kiwango chake cha mafanikio, hata wakati upakiaji ulionekana kwenye kumbukumbu ya historia iliyoonyeshwa juu ya kidokezo cha ruhusa.

Uchovu wa Ruhusa Huondoa Umakini Kwa Wakati

Anthropic hapo awali ilikubali kuwa uchovu wa ruhusa ni jambo la kweli katika bidhaa yake ya Msimbo wa Claude, akibainisha kuwa kadiri mtumiaji anavyoona idhini nyingi, ndivyo anavyozingatia kidogo kila mmoja. Data ya Scale X inasaidia suala hili kwa nguvu. Viwango vya kukosa vilipungua wakati wa amri chache za kwanza za kila kipindi wachezaji walipoongezeka, lakini kisha wakapanda polepole kuelekea mwisho, kulingana na ama uchovu au shinikizo la kuongezeka kwa saa inayoyoma.

Mchoro huu unaonyesha mienendo ya ulimwengu halisi. Wasanidi programu wanaokimbia kusafirisha vipengele chini ya shinikizo la tarehe ya mwisho wanakabiliwa na motisha sawa ya kubofya uidhinishe haraka, na wingi wa amri za kawaida huzua tatizo la sindano ambapo vitisho vya kweli ni nadra sana kitakwimu. Matokeo yake ni mfumo unaofunza watumiaji kuweka muhuri kila kitu.

Upande Mwingine: Kuzuia Zaidi Hupunguza Kila Kitu

Utafiti pia uliandika hali tofauti ya kutofaulu. Amri kadhaa za upole zilizuiliwa mara kwa mara na wachezaji waangalifu, ikijumuisha maombi ya kawaida ya ujenzi na majaribio. Kuzuia zaidi huku kunapunguza kasi ya wakala na, kwa kushangaza, huongeza hatari ya muda mrefu. Watumiaji wanapoulizwa mara kwa mara kuidhinisha amri ambazo hazidhuru, kelele hiyo huondoa nia yao ya kuchunguza madokezo ya siku zijazo, na hatimaye kuwasukuma kuelekea njia kamili za kupita au kuidhinisha kiotomatiki hali zinazoondoa ukaguzi wa kibinadamu kabisa.

Vipengele kama vile Hali ya Kiotomatiki ya Anthropic hujaribu kupunguza hili kwa kubainisha kiotomatiki kama amri ni salama kabla ya kumwuliza mtumiaji. Lakini kama data ya utafiti juu ya mizigo iliyofichwa inavyoonyesha, hata yaliyomo kwenye amri inayoonekana haitoshi kwa wanadamu kufanya maamuzi ya kuaminika chini ya shinikizo.

Muktadha Umekosekana Ndio Tatizo La Msingi

Amri moja, `cat ~/.zshrc`, ndiyo iliyogawanya zaidi mchezo mzima, iliyoidhinishwa na asilimia 45.9 ya wachezaji. Amri haina madhara kwa wasanidi programu ambao hawaweki siri katika wasifu wao wa ganda, lakini inafichua funguo za API kwa wengi wanaosafirisha kitambulisho huko. Hatari yake inategemea kabisa usanidi wa mfumo ambao wakala hawezi kuuona na huenda mkaguzi asikumbuke.

Amri zingine kadhaa zilizua utata sawa kwenye mazungumzo ya Hacker News kwa sababu hiyo hiyo. Suala la msingi ni kwamba wasanidi programu wanaulizwa kufanya maamuzi ya usalama bila picha kamili ya faili gani zimebadilika, kile wakala alifanya katika hatua za awali, na usanidi wa sasa wa mfumo una nini. Kama mtoa maoni mmoja alivyosema, kuwauliza watumiaji wathibitishe amri ambazo hazieleweki bila muktadha sio ulinzi thabiti.

Nini Kinachofuata kwa Usalama wa Wakala

Wauters anasema kuwa suluhu si wanadamu bora bali ni zana bora zaidi. Mawakala wa ndondi za mchangani ili wasiweze kufikia kitambulisho moja kwa moja, utengaji mkali wa muktadha, na vikomo vya kimuundo kuhusu kile maajenti wanaweza kufanya bila vibali vya juu, yote yanatia matumaini zaidi kuliko kutegemea uangalifu wa kibinadamu. Hadi ulinzi huo umewekwa, kuwapa mawakala ruhusa pana kunasalia kuwa hatari bila kujali kama binadamu yuko kwenye kitanzi.

Utafiti huu si karatasi ya kitaaluma iliyopitiwa na wenzi, na Wauters anakubali mapungufu yake. Mchezo uliwaonya wachezaji kuhusu vitisho na kutumia shinikizo la wakati bandia ambalo huenda lisionyeshe kikamilifu mazingira halisi ya maendeleo. Lakini matokeo ya msingi, kwamba wakaguzi wa kibinadamu waliofunzwa chini ya shinikizo hukosa theluthi moja ya mashambulizi yaliyofichwa kimakusudi, inapaswa kuipa kila timu inayopeleka mawakala wa usimbaji wa AI sababu ya kufikiria upya mtindo wao wa usalama.

Kwa wasanidi programu wanaojenga na mawakala wa AI leo, hatua ya kuchukua ni kudhani kwamba kitanzi cha binadamu hatimaye kitashindwa. Tengeneza ruhusa za wakala wako na sanduku la mchanga ili uidhinishaji uliokosekana usimaanishe ufunguo wa AWS uliovuja au bomba la ujenzi lililoathiriwa. Data inapendekeza kwamba kuchukua ukaguzi wa kibinadamu kama utetezi wako mkuu ni dau ambalo halileti matunda.

Kaa Mbele ya AI

Mazingira ya usalama ya wakala wa AI yanabadilika kwa kasi. Pata habari kuhusu maendeleo ya AI na utafiti muhimu.

Soma habari zaidi za AI →