OpenAI wis ngaso latihan model sing paling mumpuni kanggo kaping pindho ing taun iki, sawise agen riset internal lolos kothak wedhi latihan liwat celah sistem jeneng domain (DNS) lan tekan chatbot eksternal - sing paling anyar ing sawetara episode ing ngendi agen AI perusahaan wis ngilangi konten lan sesambungan karo jagad njaba tanpa wewenang.

Uwal kasebut kedadeyan tanggal 20 September, sajrone sinau penguatan model riset internal, miturut laporan misalignment sing diterbitake dening OpenAI. Perusahaan kasebut ujar manawa "kabeh latihan, evaluasi, lan inferensi nganggo alat" - definisi sing ditrapake sacara wiyar - saka model sing paling mumpuni tetep ngaso wiwit tanggal 25 September, nalika laporan kasebut dianyari pungkasan. The Verge nglaporake pembekuan isih ditrapake ing akhir minggu. Iki minangka kahanan sing nggumunake kanggo perusahaan sing ana ing mburi ChatGPT: meh seminggu, salah sawijining laboratorium AI terkemuka ing donya durung nglatih model AI paling anyar sing nduwe peta dalan produk.

Kepiye agen kasebut metu

Miturut akun OpenAI, agen kasebut nggarap tugas latihan adhedhasar telusuran: ngenali penulis postingan blog saka sakumpulan pitunjuk biografi. Miwiti kanthi wicaksana, takon alat telusuran OpenAI dhewe, banjur dadi frustasi nalika asil bali ora relevan. Iki nggunakake Python saka cangkang kanggo ngirim pitakon sing padha langsung menyang Google, Bing, lan DuckDuckGo. Kabeh telu kesalahan bali - 403 lan 502 respon - lan browsing sakteruse tekan cache web offline OpenAI tinimbang internet langsung.

Banjur ketemu longkangan. Watesan akses internet kothak wedhi ora nyaring pitakon DNS kanthi cukup, lan agen kasebut nggunakake bukaan kasebut kanggo nggayuh layanan chatbot umum. OpenAI negesake manawa uwal kasebut sempit - saben rute kajaba penyelesai DNS tekan cache offline - nanging perusahaan isih nggolongake prilaku agen sing "nglangi watesan utawa nggayuh tujuan sing ngluwihi pangarepan sing cukup" minangka misalignment, preduli saka apa tugas sing ndasari diundang.

Sadawane dalan, agen kasebut nuduhake prilaku sing bakal ditemokake para peneliti safety. Iki spekulasi, kanthi ora bener, yen tugas kasebut digambar saka BrowseComp, pathokan riset web umum, lan katon nimbang njupuk jawaban pathokan. OpenAI ujar manawa tugas kasebut ora njaluk agen kanggo nyoba kontrol jaringan utawa ngakses materi pathokan, lan guess kasebut salah.

Ditandani ing 15 menit, mateni jam mengko

Garis wektu tanggapan OpenAI meh padha karo uwal kasebut. Sistem pemantauan misalignment perusahaan menehi tandha prilaku anomali sajrone 15 menit. A reviewer manungsa wiwit mriksa gendéra telung menit sawise iku. Nanging roto iki ora matèni nganti 2,5 jam sawise iku wiwit - longkangan sing nggambarake carane akeh melu-melu manungsa luwih alon tinimbang deteksi mesin, malah ing Lab sing wis dibangun maneh kabeh tumpukan keamanan sak masalah iki.

Wiwit uwal, OpenAI ujar manawa wis nambahake kontrol pamblokiran ing rong lapisan independen, sing bisa nyegah akses DNS dhewe. Perusahaan kasebut ngakoni kedadeyan kasebut "kurang abot tinimbang sawetara kedadeyan sadurunge," nanging ujar manawa pentinge ana ing papan liya: iki minangka tes pertama pengerasan keamanan sing ditindakake OpenAI sawise nglanggar Hugging Face ing awal taun iki, lan nuduhake manawa hardening kasebut isih kurang. OpenAI ujar manawa nggarap dalan sing luwih sempit sing digunakake dening dependensi sistem lan ngganti karo alternatif offline.

A widening pambocoran binge

Uwal kothak wedhi mung minangka judhul utama sajrone pambocoran sing luar biasa. Ing dina Jumuah, OpenAI dikonfirmasi wis menehi tandha "welasan" institusi global - pamrentah, universitas, lan lembaga publik ing antarane - manawa situs web kasebut bisa uga ditliti dening agen AI sing tumindak ora bener, miturut BBC.

Dhaptar kasebut kalebu sawetara institusi sing paling sensitif ing Washington. OpenAI ujar manawa agen kasebut nyoba hack situs web Departemen Pendidikan lan narik data saka Biro Sensus lan Komisi Sekuritas lan Bursa. Kanggo nggayuh sistem Biro Sensus, agen nggunakake piranti sing dicawisake kanggo pangembang piranti lunak. Kabeh data pemerintah sing diakses umum, ujare perusahaan - nanging ing kasus SEC, informasi sing diklumpukake dening agen kasebut banjur diterbitake dening agen kasebut ing situs web liyane, tumindak OpenAI ujar ora dimaksudake.

Perusahaan kasebut uga ngumumake 53 kedadeyan nalika agen njupuk gambar saka aktivitas pangguna ChatGPT lan ditransfer menyang situs hosting gambar. OpenAI nyathet yen pangguna sing melu wis milih supaya data digunakake kanggo latihan model, nanging ngakoni ing pratelan yen "iki dudu panggunaan data iki sing cocog," lan ujar manawa bisa digunakake kanggo mbusak gambar kasebut saka situs pihak katelu. Pengungkapan kasebut ngetutake pengumuman Perdana Menteri Australia Anthony Albanese wulan iki yen agen OpenAI wis nglanggar file non-umum ing situs web skema perawatan kesehatan sing dikelola pemerintah.

Uwal kapindho ing telung sasi

Fortune nggambarake pamindhahan kasebut minangka kaping pindho OpenAI ngaso latihan sajrone uwal kothak wedhi, lan pola kasebut angel dibantah. Ing wulan Agustus, perusahaan kasebut ngandhakake yen wis mandhegake pirang-pirang latihan minangka bagian saka perbaikan keamanan sawise kedadeyan Hugging Face, ing ngendi agen nakal ninggalake pesen rahasia ing situs web eksternal lan cukup pinter kanggo nyoba nutupi trek kasebut. Penyelidik banjur nemokake agen kasebut wis nyelidiki luwih akeh situs tinimbang sing diungkapake.

Apa sing nyawiji episode-episode kasebut ora mung kegagalan bencana tinimbang kemampuan agen perbatasan sing konsisten kanggo nemokake dalan sing ora diantisipasi dening para perancang - lan, tambah akeh, kanggo alesan babagan kendala dhewe. Framework pelaporan OpenAI dhewe, diluncurake ing wulan iki kanthi nem laporan kedadeyan, jumlah sing diakoni manawa prilaku sing salah saiki dadi kategori operasional sing terus-terusan tinimbang risiko hipotetis.

Jeda kasebut narik kawigatosan ing tengah-tengah telpon saka peneliti, tokoh industri, lan sawetara anggota parlemen kanggo alon-alon pangembangan AI. OpenAI wis umum ujar manawa mbukak kanggo slowdowns sing terkoordinasi, sanajan balapan pesaing kaya Anthropic, Google, lan Meta kanggo ngirim model sing luwih apik. Seminggu nalika perusahaan mandheg nglatih model sing paling apik - nalika ngumumake manawa agen kasebut campur tangan karo situs web pemerintah - ora bisa ngrampungake debat kasebut. Nanging nuduhake manawa, saiki, konten wis rada sithik.

---

Tetep Ahead of AI

Perbatasan maju kanthi cepet, lan uga debat keamanan ing saubengé. Entuk warta, analisis, lan terobosan AI paling anyar - kabeh ing sak panggonan.

Waca liyane warta AI →