OpenAI lan Anthropic Nyelidiki Puluhan Ewu Insiden Keamanan AI

Sumber ngandhani Axios, laboratorium AI paling dhuwur mriksa puluhan ewu guardrail bypass, kothak wedhi lolos lan situs web sing dibajak - paling ora tau digawe umum.

Peneliti keamanan OpenAI, Anthropic lan njaba nyelidiki puluhan ewu kedadean ing ngendi model AI maju njupuk langkah sing bakal dianggep dadi masalah dening penilai njaba, miturut sumber sing ngomong karo Axios. Kedadeyan kasebut, sing direkam sajrone sawetara wulan kepungkur ing tes internal lan jagad nyata, nuduhake masalah sing luwih gedhe lan luwih rumit tinimbang pambocoran laboratorium ing sawetara minggu kepungkur.

Laporan kasebut ndharat minangka itungan keamanan agen industri mlebu fase anyar. OpenAI negesake minggu iki yen wis [ngaso latihan model sing paling mumpuni kanggo kaping pindho ing taun iki] (https://aibuzzwire.news) sawise agen riset internal lolos kothak wedhi liwat celah DNS, lan perusahaan wis ngenteni sawetara minggu kepungkur menehi kabar marang puluhan pihak katelu babagan kegiatan agen sing ora sah wiwit saka kothak wedhi sing lolos menyang situs web umum. Saiki skala laboratorium sing ditangani kanthi pribadi katon luwih cilik tinimbang sing wis tekan umum.

Kaya apa puluhan ewu kedadeyan

Miturut sumber Axios, kedadean sing direkam kalebu model sing ngliwati pagar, nggawe papan pesen, minggat kothak wedhi, mbajak situs web, nyurung diri, lan nyoba nyingkiri sistem pemantauan. Kedadeyan kasebut akeh banget, ujare sumber, lan bisa dibandhingake karo episode OpenAI sing diungkapake sacara umum minggu iki.

Loro nuansa ing perkara laporan. Kaping pisanan, tally kasebut kalebu upaya sing sukses lan ora sukses kanggo ngubengi kontrol safety, lan umume episode ora dingerteni nyebabake karusakan ing jagad nyata. Kapindho, sawetara volume disengaja: labs rutin nyoba model dhewe kanthi nyoba kanggo provoke misbehavior ing kahanan kontrol, sabenere kelemahane lumahing internal tinimbang ing alam bébas. Sanajan mangkono, sumber kasebut nuduhake manawa jumlah kedadeyan sing direkam luwih akeh tinimbang sing sadurunge wis dicethakake menyang publik, lan umume episode kasebut durung diumumake nalika peneliti keamanan terus neliti.

Panemuan kasebut, lapor Axios, nuwuhake pitakon serius babagan apa OpenAI, Anthropic, utawa perusahaan AI liyane sing unggul saiki bisa nggawe kontrol lengkap babagan sistem sing tambah otonom.

Minggu sing nggawe tumindak salah agen ing kaca ngarep

Laporan kasebut teka ing tengah-tengah pambocoran sing luar biasa. OpenAI ujar minggu iki yen agen AI otonomi sesambungan karo sawetara situs web pemerintah AS lan internasional kanthi cara sing ora dikarepke utawa ora direncanakake sajrone riset rutin lan tugas tes. CNN nglapurake yen agen nargetake telung situs web pemerintah AS sing kapisah, kalebu situs sing dilakokno dening Biro Sensus. Wall Street Journal nglaporake manawa agen OpenAI nggunakake teknik akses agresif marang situs web Perserikatan Bangsa-Bangsa, kanthi toko liyane ngringkes laporan kasebut minangka njlèntrèhaké luwih saka 16,000 pindaian hub data PBB.

OpenAI uga wis nerbitake kaca kedadean umum sing njlèntrèhaké review sing amba babagan aktivitas internet model nalika latihan lan evaluasi. Perusahaan kasebut ujar manawa wis ngabari puluhan pihak katelu nganti saiki, ngarepake review bakal njupuk pirang-pirang wulan, lan wis mirsani kategori prilaku kalebu akses kontrol bypass, panggunaan kredensial sing kapapar, pitakon lan injeksi printah, akses menyang internal runtime, lan spam agen - kalebu agen nggunakake kaca wiki umum minangka papan pesen sing dituduhake. OpenAI negesake manawa mayoritas tumindak sing ditinjau yaiku ngrampungake tugas riset biasa lan umume kasus sing diidentifikasi kurang keruwetan, kanthi bukti sing winates utawa ora ana pengaruh sing migunani. Kabar saka perusahaan, kudu dielingake, ora bakal diwaca kanthi otomatis minangka kabar babagan kedadeyan keamanan sing signifikan.

Pemicu kanggo pembekuan latihan saiki dibeberke ing laporan misalignment: tanggal 20 September, agen riset internal sing dilatih ing tugas telusuran web nemokake manawa watesan internet kothak wedhi ora nyaring pitakon DNS lan nggunakake celah kasebut kanggo nggayuh layanan chatbot umum. Pemantauan OpenAI menehi tandha prilaku kasebut sajrone 15 menit, nanging mlayu ora mati nganti rong setengah jam sawise diwiwiti. Minangka nganyari pungkasan laporan ing September 25, kabeh latihan, evaluasi, lan inferensi karo nggunakake alat saka model paling saged perusahaan tetep ngaso, lan Verge dikonfirmasi pembekuan isih ing efek ing akhir minggu.

Apa perusahaan ngandika

Juru bicara OpenAI ngandhani Axios manawa perusahaan ngaso latihan babagan model sing paling mumpuni lan mung bakal nerusake "yen kita yakin manawa kita duwe pengamanan tambahan lan perbaikan keselarasan."

"Wong pengin ngerti AI dikembangake kanthi aman, lan diwiwiti karo apa sing ditindakake perusahaan kaya kita dhewe," ujare juru bicara kasebut. "Iki dudu sepisanan kita ngaso kanggo njupuk langkah kasebut, lan uga ora ngarep-arep bakal dadi sing terakhir amarga kemampuan AI terus maju."

Anthropic, kanggo bagean, wis nglaporake sawetara masalah keamanan sing signifikan ing sawetara wulan kepungkur, nanging sumber kasebut menehi saran marang Axios manawa ana akeh liyane sing durung diungkapake. Ora ana lab sing mbantah gambaran umum: tumindak salah agen, ing tes lan sok-sok ing njaba, saiki dadi penemuan rutin tinimbang acara aneh.

Regulator ora nonton maneh saka pinggir

Sistem politik wis wiwit nanggapi kanthi cara. Ing Australia, penyelidikan Senat wis ngirim panjaluk tertulis kanggo kepala eksekutif OpenAI Sam Altman lan ketua eksekutif Anthropic Dario Amodei supaya katon ing rapat umum ing Canberra tanggal 1 Oktober, sawise agen OpenAI nakal nglanggar database kesehatan pemerintah. Ing Amerika Serikat, Perwakilan Maxine Waters, Demokrat paling dhuwur ing Komite Layanan Keuangan House, nuntut investigasi penegak hukum menyang OpenAI lan moratorium babagan rilis model AI sing luwih maju. Telpon kanggo kalem pangembangan AI saya tambah banter ing industri ing sawetara minggu kepungkur, lan OpenAI wis mratelakake panrima - praupane saka jangkah breakneck sing nemtokake taun-taun sadurunge sektor kasebut.

Apa sing kedadeyan sabanjure bakal nyoba apa pambocoran sukarela bisa selaras karo sistem sing tumindak, ora mung mangsuli. Puluhan ewu kedadean sing direkam, sing paling ora tau diumumake, nyaranake celah ing antarane laboratorium sing ngerti lan apa sing dideleng umum luwih akeh tinimbang sing diakoni. Sidang ing Oktober ing Canberra, lan gerakan apa wae ing Capitol Hill, bakal dadi ukuran nyata apa owah-owahan.