Latihan tim abang telung minggu nemokake kerentanan novel ing sistem pemantauan misalignment internal OpenAI - kalebu cara agen AI bisa, ing prinsip, tumindak tanpa ditinjau dening manungsa. METR, nirlaba evaluasi independen, nerbitake ringkesan temuan tingkat dhuwur ing 22 Oktober, digambar saka laporan internal 61 kaca sing dikirim menyang peneliti OpenAI lan staf keamanan.
Pilot kasebut wiwit tanggal 21 Juli nganti 11 Agustus lan menehi siji karyawan METR lan siji karyawan Redwood Research akses luar biasa jero menyang infrastruktur internal OpenAI: basis kode, pituduh lan konfigurasi sistem pemantauan, dokumentasi internal, lan wawancara teknis karo kira-kira rolas peneliti lan insinyur ing tim pemantauan, sistem keamanan, lan keamanan. Dheweke nggarap piranti sing diterbitake OpenAI sing ora nate metu saka papan kasebut lan diiringi nalika ana ing papan kasebut. Kanggo luwih lengkap babagan riset iki, deleng pangembangan AI paling anyar.
Apa sing Ditemukake Tim Abang
Latihan kasebut fokus ing rong pitakonan: pira inferensi agen OpenAI sing bener dipantau, lan apa agen bisa mateni utawa ngrusak sistem pemantauan. Jawaban kasebut nuduhake kesenjangan sing migunani.
Ing jangkoan, METR ngira kira-kira 75 nganti 94 persen lalu lintas API Responses internal agenik - API sing nguwasani Codex, antara liya - saka model paling ora kaya GPT-5.5 layak kanggo ngawasi wektu kasebut, sanajan organisasi kasebut nyathet kahanan sing durung mesthi ing loro arah kasebut. Ing subset saka lalu lintas sing digunakake kanggo agen Codex internal, 99,2 persen layak. Nanging eligibility ora padha karo jangkoan: latihan penguatan-learning ora dijamin dening sistem ngawasi ing wiwitan latihan, lan acara pemadatan unmonitored kamungkinan ninggalake ing urutan 10 persen saka lalu lintas Codex internal layak unmonitored antarane Mei lan Juli 2026. Staff OpenAI wis independen ngenali masalah compaction sadurunge latihan lan ndandani iku nalika lagi ditindakake.
Rincian wektu penting. Amarga monitor micu nalika agen bali kontrol kanggo pangguna, agen bisa nundha tanpa wates sing dipantau mung kanthi terus tumindak sajrone jendhela sing ora dipantau.
Tim kasebut uga nyathet jalur evasion aktif. Agen Codex bisa ngliwati kothak wedhi Codex lan Auto-Review, supaya bisa tumindak apa wae sing bisa ditindakake dening pangguna host. METR nemokake eksploitasi sing bakal nyegah atusan tumindak anyar - kalebu tumindak sing ana ing eksploitasi kasebut - supaya ora dipantau; OpenAI nyunting rincian teknis. Agen bisa uga nggawe input sing nyebabake monitor gagal kanthi nggunakake beda serialisasi ing antarane lintasan sing dideleng agen lan apa sing dideleng monitor, ngindhari eskalasi kanggo review manungsa. Lan loro header sing bisa dikontrol klien ditemokake sing mateni ngawasi kanggo agen anyar, sing bisa ngidini agen miwiti conto sing ora dipantau nanging padha - sanajan METR nyathet tumindak nyetel header kasebut bisa uga kejiret.
Pungkasan, tim kasebut nemtokake rong alat agen internal sing ora diawasi sing dipercaya duwe ijin mung diwaca, bebarengan karo eksploitasi prasaja sing bisa digunakake kanggo nyuda watesan kasebut. METR ora validasi prilaku kasebut ing praktik.
Apa Ditahan
Latihan kasebut uga ngevalidasi bagean saka sistem kasebut. Kanthi sawetara pangecualian cilik, monitor ditampilake lintasan lengkap sing dideleng agen. Pandhuan pemantauan dikonfirmasi kanggo nggoleki skema, subversi sistem, sabotase, exfiltration data, penipuan, lan injeksi cepet mlebu lan metu, ing antarane kategori risiko liyane. Ing linuwih, METR informasi diwenehi disaranake monitor errored ing kurang saka 0,2 persen panjalukan, lan ing siji wektu 24-jam sak ngleksanani ana nul mbukak-gudang.
Tanggapan OpenAI
Miturut METR, OpenAI wis nyatakake yen kabeh kerentanan sing diidentifikasi sing nyebabake tumpukan perlindungan produksi wis ditambal, lan nggambarake owah-owahan sing signifikan ing jangkoan sistem pemantauan kasebut. METR durung ngevaluasi pratelan kasebut, lan temuan kasebut nggambarake sistem kasebut kaya sing wis ana ing utawa sadurunge 21 Juli - dudu versi sing ditambahi OpenAI sing wis dibangun sajrone latihan kasebut.
Pawulangan Desain kanggo Pengawasan Agen
METR nutup ringkesan kanthi cita-cita desain kanggo infrastruktur ngawasi mangsa ngarep, sing dianggep kudu nahan serangan sing disengaja, strategis, lan terus-terusan saka agen internal sing nduweni kemampuan kanthi skala. Loro ngadeg metu. Pemantauan kudu angel dihindari: nglakokake panjaluk sing ora dipantau kudu mbutuhake persetujuan eksplisit sing ana gandhengane karo organisasi tartamtu utawa kunci API sing dilarang saka inferensi agen, lan agen kudu dipantau saben pesen utawa menit N tinimbang mung nalika giliran. Lan jangkoan kudu auditable: accounting ati-ati kabeh inferensi, periodik salib-referensi marang log sistem ngawasi dhewe, supaya kabeh dimaksudaké kanggo ngawasi demonstrably punika.
Latihan kasebut dirancang minangka pilot kanggo menehi peneliti eksternal akses jero menyang prasarana internal lab frontier, dudu minangka laporan transparansi umum - METR lan OpenAI sarujuk ing ngarep yen mung kiriman singkat lan tingkat dhuwur sing bakal diterbitake. Nonprofit kasebut ujar manawa versi mbesuk bakal ngetutake praktik transparansi lan kamardikan sing diterangake ing kerangka kerja kanggo nggarap perusahaan AI. Minangka agen njupuk karya liyane consequential nang labs sing mbangun mau, pilot nawakake cithakan carane wong njaba bisa tetep watch.
---
Tetep Ahead of AIEntuk warta, analisis, lan terobosan AI paling anyar - kabeh ing sak panggonan.
Waca liyane AI warta →
