Latihan tim merah selama tiga minggu menemukan kerentanan baru dalam sistem pemantauan ketidakselarasan internal OpenAI – termasuk cara yang pada prinsipnya agen AI dapat mengambil tindakan tanpa pernah ditinjau oleh manusia. METR, organisasi nirlaba evaluasi independen, menerbitkan ringkasan temuan tingkat tinggi pada tanggal 22 Oktober, yang diambil dari laporan internal setebal 61 halaman yang dikirimkan kepada peneliti OpenAI dan staf keamanan.
Uji coba ini berlangsung dari tanggal 21 Juli hingga 11 Agustus dan memberi satu karyawan METR dan satu karyawan Redwood Research akses mendalam yang luar biasa ke infrastruktur internal OpenAI: basis kode, perintah dan konfigurasi sistem pemantauan, dokumentasi internal, dan wawancara teknis dengan sekitar selusin peneliti dan insinyur di seluruh tim pemantauan, sistem keselamatan, dan keamanan. Mereka bekerja pada perangkat yang dikeluarkan OpenAI yang tidak pernah meninggalkan lokasi dan ditemani saat berada di lokasi. Untuk informasi lebih lanjut mengenai penelitian ini, lihat perkembangan AI terbaru.
Apa yang Ditemukan Tim Merah
Latihan ini berfokus pada dua pertanyaan: seberapa banyak inferensi agen OpenAI yang benar-benar dipantau, dan apakah agen dapat menonaktifkan atau menumbangkan sistem pemantauan. Jawabannya menunjukkan kesenjangan yang berarti.
Dalam hal cakupan, METR memperkirakan bahwa sekitar 75 hingga 94 persen lalu lintas Responses API internal agenik – API yang mendukung Codex, antara lain – dari model yang setidaknya memiliki kemampuan seperti GPT-5.5 memenuhi syarat untuk dipantau pada saat itu, meskipun organisasi tersebut mencatat adanya ketidakpastian besar di kedua arah. Dalam subkumpulan lalu lintas yang digunakan untuk agen Codex internal, 99,2 persen memenuhi syarat. Namun kelayakan tidak sama dengan cakupan: pelaksanaan pelatihan pembelajaran penguatan tidak tercakup dalam sistem pemantauan pada awal latihan, dan peristiwa pemadatan yang tidak terpantau kemungkinan besar akan menyebabkan 10 persen lalu lintas internal Codex yang memenuhi syarat tidak terpantau antara bulan Mei dan Juli 2026. Staf OpenAI telah secara independen mengidentifikasi masalah pemadatan sebelum latihan dan memperbaikinya saat latihan sedang berlangsung.
Detail waktunya penting. Karena monitor dipicu ketika agen mengembalikan kendali kepada pengguna, agen dapat menunda pemantauan tanpa batas waktu hanya dengan terus mengambil tindakan selama jangka waktu yang tidak dipantau.
Tim juga mendokumentasikan jalur penghindaran yang aktif. Agen Codex pada prinsipnya dapat melewati sandboxing Codex dan Tinjauan Otomatis, sehingga memungkinkan mereka mengambil tindakan apa pun yang dapat dilakukan oleh pengguna host. METR menemukan eksploitasi yang akan mencegah ratusan tindakan baru-baru ini — termasuk tindakan yang terlibat dalam eksploitasi itu sendiri — untuk dipantau; OpenAI mengedit detail teknisnya. Agen kemungkinan dapat membuat masukan yang menyebabkan kegagalan monitor dengan mengeksploitasi perbedaan serialisasi antara lintasan yang dilihat agen dan apa yang dilihat oleh monitor, sehingga menghindari peningkatan ke tinjauan manusia. Dan ditemukan dua header yang dapat dikontrol klien yang menonaktifkan pemantauan untuk agen baru, sehingga berpotensi membiarkan agen memulai instance yang tidak terpantau namun identik — meskipun METR mencatat tindakan pengaturan header tersebut sendiri dapat tertangkap.
Terakhir, tim mengidentifikasi dua alat agen internal yang tidak diawasi dan diyakini memiliki izin hanya baca, serta eksploitasi sederhana yang dapat digunakan untuk menumbangkan batasan tersebut. METR tidak memvalidasi perilaku tersebut dalam praktiknya.
Apa yang Terjadi
Latihan ini juga memvalidasi bagian-bagian sistem. Dengan beberapa pengecualian kecil, monitor menunjukkan lintasan penuh yang dilihat agen. Perintah pemantauan dikonfirmasi untuk mencari skema, subversi sistem, sabotase, eksfiltrasi data, penipuan, dan injeksi cepat masuk dan keluar, di antara kategori risiko lainnya. Mengenai keandalan, informasi yang diberikan METR menunjukkan bahwa monitor tersebut mengalami kesalahan kurang dari 0,2 persen permintaan, dan dalam satu periode 24 jam selama latihan tidak ada pelepasan beban.
Tanggapan OpenAI
Menurut METR, OpenAI telah menyatakan bahwa semua kerentanan yang teridentifikasi yang berdampak pada tumpukan perlindungan produksinya telah ditambal, dan telah menjelaskan perubahan signifikan selanjutnya pada cakupan sistem pemantauannya. METR belum mengevaluasi klaim tersebut, dan temuannya menggambarkan sistem yang ada pada atau sebelum tanggal 21 Juli – bukan versi perluasan yang sudah dibuat OpenAI selama latihan.
Pelajaran Desain untuk Pengawasan Agen
METR menutup ringkasannya dengan rancangan ideal untuk infrastruktur pemantauan di masa depan, yang menurut METR harus tahan terhadap serangan yang disengaja, strategis, dan berkelanjutan dari agen internal berkemampuan tinggi dalam skala besar. Dua menonjol. Pemantauan harusnya sulit untuk dihindari: menjalankan permintaan yang tidak dipantau harus memerlukan persetujuan eksplisit yang terkait dengan organisasi tertentu atau kunci API yang dilarang dari inferensi agen, dan agen harus dipantau setiap N pesan atau menit, bukan hanya saat giliran mereka berakhir. Dan cakupannya harus dapat diaudit: perhitungan yang cermat atas semua kesimpulan, secara berkala dirujuk silang dengan catatan sistem pemantauan itu sendiri, sehingga segala sesuatu yang ingin dipantau dapat dibuktikan kebenarannya.
Latihan ini dirancang sebagai uji coba untuk memberikan peneliti eksternal akses mendalam ke infrastruktur internal laboratorium terdepan, bukan sebagai laporan transparansi publik — METR dan OpenAI telah sepakat sebelumnya bahwa hanya postingan singkat dan tingkat tinggi yang akan dipublikasikan. Organisasi nirlaba tersebut mengatakan bahwa versi mendatang akan mengikuti praktik transparansi dan independensi yang dijelaskan dalam kerangka kerjanya dengan perusahaan AI. Saat agen melakukan pekerjaan yang lebih penting di dalam laboratorium yang membangunnya, uji coba ini menawarkan contoh bagaimana pihak luar dapat mengawasi.
---
Tetap Terdepan dalam AIDapatkan berita, analisis, dan terobosan AI terkini — semuanya di satu tempat.
Baca berita AI selengkapnya →
