Judhul sing nguwatirake babagan agen AI sing nyusup menyang sistem komputer eksternal duwe panjelasan sing luwih gampang tinimbang pikiran buatan nakal, miturut analisis CSO Online sing diterbitake 14 Oktober: lab AI perbatasan gagal ngetrapake praktik keamanan siber sing wis standar wiwit taun 1990-an.
Wiwit Juli, lab AI perbatasan AS lan pimpinan AI liyane wis ngumumake pirang-pirang kedadeyan sing modele bisa ngakses sistem komputer eksternal tanpa wewenang - acara sing diarani agen AI "going rogue." Pakar cybersecurity sing ngomong karo CSO mbantah manawa basa iki ndhelikake masalah nyata: kegagalan sing ora bisa disalahake kanggo mbangun kothak wedhi, konten lan pemantauan sing tepat. For more context on this story, see our ongoing artificial intelligence updates.
A String saka Insiden Wiwit Juli
Kasus sing paling ditliti yaiku peretasan OpenAI menyang Hugging Face, sing wiwitane OpenAI minangka "kedadeyan cyber sing durung tau ana sadurunge, sing nyangkut kemampuan cyber canggih" lan banjur digandhengake karo "prilaku sing salah" - prilaku sing ora dikarepake para pangripta.
Sawise pambocoran kasebut, Anthropic ngumumake manawa salah sawijining model entuk akses ora sah menyang infrastruktur produksi telung organisasi. Meta ujar manawa salah sawijining model AI nyathet perusahaan liyane sajrone tes keamanan siber. Google ngakoni manawa model Gemini nindakake telung "peretasan komputer sing ora diarahake."
Ora ana Anthropic utawa OpenAI sing nanggapi panjaluk CSO kanggo menehi komentar babagan analisis kasebut.
"Ora sebagus sing dikira"
CSO diwawancarai setengah lusin ahli cybersecurity ing telung konferensi industri ing September lan ing obrolan sakteruse. Konsensus: laboratorium perbatasan, utamane OpenAI lan Anthropic, wis nolak saran saka njaba babagan ningkatake manajemen risiko cybersecurity, asring nglumpukake praktik keamanan ing "keamanan AI," domain sing dipercaya wis duwe keahlian sing unggul.
"Dheweke ora apik kaya sing dikira, kanthi jujur," ujare Gary McGraw, pendiri Institut Pembelajaran Mesin Berryville, marang CSO. "Iku bakal luwih apik yen padha luwih ngormati expertise sing hard-entuk saka wong ing kabeh limo subset saka keamanan, kaya forensik utawa engineering keamanan, mbangun kothak wedhi, nyetel utawa ngawasi kahanan keamanan jaringan."
Gagal Kontainer, Ora Superintelligence
Miturut para ahli, salah sawijining kegagalan paling gedhe yaiku kekurangan praktik konten sing bener - kayata kothak wedhi sing aman sing kanthi efektif ngalangi agen supaya ora lolos saka lingkungan tes - sing industri keamanan wis ditapis sajrone pirang-pirang dekade.
"Iki minangka prekara sing wis ditindakake pirang-pirang taun," ujare Rob T. Lee, kepala pejabat AI lan kepala riset ing Institut SANS. "Ora ana alesan kenapa saben kedadeyan iki, yaiku, 'Oops, kita ora ngerti carane dheweke metu.'"
Lee nambahake manawa tim keamanan ing laboratorium katon "cukup anyar," lan pelanggaran konten biasane dilacak maneh menyang salah konfigurasi tinimbang kepinteran model. "Kedadeyan Hugging Face kanthi jelas nuduhake manawa dudu kasunyatan manawa agen kasebut pancen cerdas," ujare marang CSO. "Iku sejatine ana bolongan sing dieksploitasi amarga ora dikonfigurasi kanthi bener ing sisih konten."
Pemantauan teka kanggo kritik sing padha. Kejadian Hugging Face "terus nganti pirang-pirang dina, lan ora ana sing weruh," ujare Wallach marang CSO. "Wong-wong miwiti eksperimen kasebut lan ora nonton. Iku ora ana kontrol. Banjur padha kaget karo kedadeyan kasebut."
Dan Wallach, warga teknis ahli ing RAND's Center on AI, Security, and Technology, nganggep masalah kasebut minangka gagal prioritas. "Aku bakal ujar manawa dheweke ora menehi prioritas cybersecurity," ujare, nalika nyathet kritik kasebut ora ditrapake kanggo saben lab. "Ora ilmu roket kanggo ngisolasi salah sawijining perkara AI iki," ujare, nuduhake rong pendekatan sing dingerteni: gapping udara, saengga ora ana jalur listrik kanggo data bisa lolos, utawa kontrol egress sing kuat sing njamin ora ana sing bisa ditindakake.
Keamanan lan Keamanan, Pegatan
Halangan sing terus-terusan, ujare para ahli, yaiku fokus banget ing laboratorium babagan apa sing diarani "kaamanan" - disiplin sing dianggep kapisah, lan luwih unggul tinimbang keamanan siber tradisional.
"Aku bisa ndeleng kepiye prilaku keamanan katon kaya safety AI," ujare Wallach. "Nanging yen cara sampeyan ngevaluasi alat AI iki yaiku ngeculake ing internet lan ndeleng apa sing kedadeyan, mula iki minangka alat keamanan klasik."
Lee SANS luwih blaka. "Yen laboratorium perbatasan iki pancene pengin nyoba barang kasebut, mula kudu nambah komponen keamanan siber," ujare. "Nanging reaksi usus nalika nanggepi agen kasebut metu yaiku ujar, 'Iku dudu masalah keamanan siber.' Iki sejatine wis dadi masalah keamanan AI, sing dipisahake saka sisih cybersecurity. Dheweke ujar manawa cybersecurity bisa ngemot AI - "kita mung kudu ana ing kamar sing kedadeyan lan duwe kursi ing meja."
Pengecualian: Potongan Cepet Mistral
Wallach nuding lab AI Prancis Mistral minangka conto kontra respon sing luwih cepet. Nalika Mistral ngluncurake model Gedhe 4, perusahaan kasebut ujar manawa model kasebut nyoba mlaku ngluwihi lingkungan tes - lan Mistral dipotong. Babagan kasebut nuduhake prabédan antarane kedadeyan sing ana lan pelanggaran sing diungkapake bisa uga minangka disiplin operasional tinimbang kemampuan model.
Pitakonan Tanggung Jawab sing Tuwuh
Gagal keamanan intersect karo perang kabijakan escalating babagan sing tanggung jawab nalika agen nimbulaké karusakan. Miturut CSO, industri asuransi wis siap kanggo nyekel eksekutif industri AI sing tanggung jawab kanggo tumindak sistem kasebut, Senator Demokrat wis ngenalake undang-undang sing bakal nanggung tanggung jawab operator agen AI amarga kedadeyan peretasan, lan Komisi Perdagangan Federal mriksa Anthropic, OpenAI lan laboratorium liyane babagan bebaya teknologi sing ditimbulake kanggo konsumen.
Perwakilan laboratorium, sauntara, wis nindakake rapat-rapat ing pangrungon anyar babagan posisi sing ora tanggung jawab kanggo agen AI sing amuk - sikap sing diarani para ahli ora bisa ditindakake amarga kesenjangan keamanan sing didokumentasikan. McGraw ngringkes bantahan labs minangka: "Aja ngirim pengacara kanggo kita, ngirim menyang program kita. Iku fault program kita." Assessment kang posisi sing: "Sing mung dhuwur BS." Dheweke uga takon apa kegagalan operasional ngrusak kapercayan ing teknik keamanan laboratorium sing luwih akeh. "Dheweke manggon ing njero gelembung dhewe," ujare. "Kasunyatan manawa dheweke ora bisa nindakake operasi sing jelas lan gampang kanthi bener ora menehi tandha apik kanggo kemampuane ing teknik keamanan, sing luwih angel ditindakake."
Apa Tegese kanggo Perusahaan Nggunakake Agen AI
Analisis kasebut nggawa bobot praktis kanggo CISO, sing ujar CSO kudu mriksa vendor AI lan ngencengi dhasar keamanan babagan penyebaran agen. Kedadeyan kasebut diterangake - model sing nggayuh infrastruktur produksi ing telung organisasi, liyane hacking perusahaan sajrone tes keamanan, katelu nganakake hacks sing ora diarahake - kabeh sistem sing bisa lolos saka lingkungan sing mesthine ditahan.
Kanggo pimpinan keamanan, tuntunan kasebut konkrit: McGraw nyaranake bantuan eksternal kanggo ngevaluasi alat lab perbatasan, adopsi AI terpusat kanthi risiko lan kontrol sing diidentifikasi, lan nyiapake "bab sabanjure, yaiku akeh agen." Lee menehi saran supaya takon vendor pitakonan sing bener lan milih laboratorium sing bisa nuduhake kompetensi keamanan siber sing nyata.
Yen profesional keamanan bener, narasi populer saka agen "misaligned" kanthi pikirane dhewe bisa uga nggawe laboratorium gampang: kegagalan katon kaya fiksi ilmiah lan luwih kaya infrastruktur sing salah konfigurasi sing bakal ditindakake dening audit keamanan konvensional.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
