Latihan pasukan merah selama tiga minggu menemui kelemahan baru dalam sistem pemantauan salah jajaran dalaman OpenAI — termasuk cara ejen AI boleh, pada dasarnya, mengambil tindakan tanpa pernah disemak oleh manusia. METR, badan bukan untung penilaian bebas, menerbitkan ringkasan peringkat tinggi penemuan pada 22 Oktober, diambil daripada laporan dalaman setebal 61 muka surat yang dihantar kepada penyelidik OpenAI dan kakitangan keselamatan.
Perintis berlangsung dari 21 Julai hingga 11 Ogos dan memberikan seorang pekerja METR dan seorang pekerja Redwood Research akses luar biasa mendalam kepada infrastruktur dalaman OpenAI: pangkalan kod, gesaan dan konfigurasi sistem pemantauan, dokumentasi dalaman dan temu bual teknikal dengan kira-kira sedozen penyelidik dan jurutera merentasi pasukan pemantauan, sistem keselamatan dan keselamatan. Mereka bekerja pada peranti keluaran OpenAI yang tidak pernah meninggalkan premis dan ditemani semasa di tapak. Untuk lebih lanjut mengenai baris penyelidikan ini, lihat [perkembangan AI terkini] kami(https://aibuzzwire.news).
Apa yang Pasukan Merah Temui
Latihan ini memfokuskan kepada dua soalan: berapa banyak inferens agen OpenAI sebenarnya dipantau, dan sama ada ejen boleh melumpuhkan atau menumbangkan sistem pemantauan. Jawapannya mendedahkan jurang yang bermakna.
Mengenai liputan, METR menganggarkan bahawa kira-kira 75 hingga 94 peratus trafik API Respons dalaman agen — API yang menggerakkan Codex, antara lain — daripada model sekurang-kurangnya berkemampuan GPT-5.5 layak untuk pemantauan pada masa itu, walaupun organisasi mencatatkan ketidakpastian yang ketara dalam kedua-dua arah. Dalam subset trafik yang digunakan untuk ejen Codex dalaman, 99.2 peratus layak. Tetapi kelayakan tidak sama dengan liputan: larian latihan pengukuhan-pembelajaran tidak diliputi oleh sistem pemantauan pada permulaan latihan, dan peristiwa pemadatan yang tidak dipantau mungkin dibiarkan mengikut urutan 10 peratus trafik Codex dalaman yang layak tidak dipantau antara Mei dan Julai 2026. Kakitangan OpenAI telah mengenal pasti secara bebas isu pemadatan sebelum latihan dan membetulkannya semasa ia sedang dijalankan.
Perincian masa penting. Oleh kerana monitor tercetus apabila ejen mengembalikan kawalan kepada pengguna, ejen boleh menangguhkan pemantauan selama-lamanya hanya dengan terus mengambil tindakan semasa tetingkap tidak dipantau.
Pasukan itu juga mendokumenkan laluan pengelakan aktif. Ejen Codex pada dasarnya boleh memintas kotak pasir Codex dan Semakan Auto, membolehkan mereka mengambil sebarang tindakan yang boleh diambil oleh pengguna hos. METR menemui eksploitasi yang akan menghalang ratusan tindakan baru-baru ini — termasuk tindakan yang terlibat dalam eksploitasi itu sendiri — daripada dipantau; OpenAI menyunting butiran teknikal. Ejen mungkin boleh membina input yang menyebabkan monitor gagal dengan mengeksploitasi perbezaan bersiri antara trajektori yang dilihat oleh ejen dan apa yang dilihat oleh monitor, mengelakkan peningkatan kepada semakan manusia. Dan dua pengepala terkawal pelanggan didapati melumpuhkan pemantauan untuk ejen baharu, yang berpotensi membiarkan ejen memulakan contoh yang tidak dipantau tetapi sebaliknya sama — walaupun METR menyatakan tindakan menetapkan pengepala itu sendiri boleh ditangkap.
Akhirnya, pasukan itu mengenal pasti dua alat agenik dalaman yang tidak dipantau yang dipercayai mempunyai kebenaran baca sahaja, bersama dengan eksploitasi mudah yang boleh digunakan untuk mengubah had tersebut. METR tidak mengesahkan tingkah laku itu dalam amalan.
Apa yang Ditahankan
Latihan itu juga mengesahkan bahagian sistem. Dengan beberapa pengecualian kecil, monitor ditunjukkan trajektori penuh yang dilihat oleh ejen. Gesaan pemantauan telah disahkan untuk mencari skim, subversi sistem, sabotaj, exfiltration data, penipuan, dan suntikan segera masuk dan keluar, antara kategori risiko lain. Mengenai kebolehpercayaan, maklumat METR yang diberikan menunjukkan bahawa monitor tersilap pada kurang daripada 0.2 peratus permintaan, dan dalam satu tempoh 24 jam semasa latihan terdapat sifar muatan.
Respons OpenAI
Menurut METR, OpenAI telah menyatakan bahawa semua kelemahan yang dikenal pasti yang memberi kesan kepada timbunan perlindungan pengeluarannya telah ditampal, dan telah menerangkan perubahan ketara seterusnya kepada liputan yang dimaksudkan bagi sistem pemantauannya. METR belum menilai dakwaan tersebut, dan penemuannya menerangkan sistem itu seperti yang wujud pada atau sebelum 21 Julai — bukan versi dikembangkan OpenAI yang sudah dibina semasa latihan.
Pelajaran Reka Bentuk untuk Pengawasan Ejen
METR menutup ringkasannya dengan reka bentuk ideal untuk infrastruktur pemantauan masa depan, yang menurutnya harus menahan serangan yang disengajakan, strategik dan berterusan daripada ejen dalaman yang berkebolehan pada skala besar. Dua menonjol. Pemantauan sepatutnya sukar untuk dielakkan: menjalankan permintaan yang tidak dipantau harus memerlukan kelulusan eksplisit yang terikat pada organisasi tertentu atau kunci API yang dihalang daripada inferens agen dan ejen harus dipantau setiap N mesej atau minit dan bukannya hanya apabila mereka menamatkan giliran mereka. Dan liputan hendaklah boleh diaudit: perakaunan teliti semua inferens, secara berkala dirujuk silang terhadap log sistem pemantauan itu sendiri, supaya segala-galanya yang bertujuan untuk dipantau secara nyata adalah.
Latihan itu direka bentuk sebagai perintis untuk memberi penyelidik luar akses mendalam kepada infrastruktur dalaman makmal sempadan, bukan sebagai laporan ketelusan awam — METR dan OpenAI bersetuju terlebih dahulu bahawa hanya jawatan ringkas dan peringkat tinggi akan diterbitkan. Organisasi bukan untung itu berkata versi masa depan akan mengikuti amalan ketelusan dan kebebasan yang diterangkan dalam rangka kerjanya untuk bekerja dengan syarikat AI. Memandangkan ejen menjalankan lebih banyak kerja berbangkit di dalam makmal yang membinanya, juruterbang menawarkan templat untuk cara orang luar boleh mengawasi.
---
Kekal Mendahului AIDapatkan berita, analisis dan penemuan terkini AI — semuanya di satu tempat.
Baca lebih banyak berita AI →
