OpenAI telah menerapkan sistem kontrol terpusat yang disebut Ruang Kontrol di seluruh infrastruktur penelitiannya, yang dirancang untuk menghentikan beban kerja model AI yang berpotensi berisiko menghasilkan output lebih lanjut dalam waktu 35 detik setelah keputusan untuk melakukan intervensi. Seperti yang dilaporkan Interesting Engineering, sistem ini menghubungkan beban kerja yang mendukung penelitian paling canggih milik perusahaan — termasuk pelatihan model agen, evaluasi, dan tugas pemrosesan data — ke layanan pusat yang mengontrol apakah beban kerja tersebut dapat terus berjalan.
Perusahaan tersebut mengumumkan sistem tersebut secara publik pada tanggal 9 November, dengan menulis: "Kami membangun Ruang Kontrol, sebuah sistem pusat untuk melacak beban kerja model di seluruh infrastruktur penelitian kami dan menghentikannya dengan cepat ketika masalah keselamatan atau keamanan muncul. Sistem ini menghubungkan setiap beban kerja inferensi penelitian, termasuk pengambilan sampel agen untuk pelatihan dan evaluasi model, data..." For more context on this story, see our ongoing AI industry coverage.
Waktunya sangat penting. Ketika model AI tumbuh lebih mampu dan diberi tanggung jawab yang lebih otonom, seperti agen di dalam jalur pelatihan, risiko model berperilaku tidak terduga selama penelitian semakin meningkat. Ruang Kontrol adalah jawaban struktural OpenAI: tidak hanya mengawasi masalah, namun secara fisik mampu menghentikannya.
Cara Kerja Ruang Kontrol
Ruang Kontrol menghubungkan tiga komponen utama: beban kerja penelitian, mesin inferensi, dan layanan Ruang Kontrol pusat. Beban kerja, dalam terminologi OpenAI, adalah tugas penelitian seperti eksperimen pembelajaran penguatan, evaluasi, atau tugas pemrosesan data bervolume tinggi. Setiap beban kerja penelitian yang melakukan inferensi agen harus dikaitkan dengan kasus keselamatan yang disetujui sebelum dapat dijalankan.
Saat peneliti memulai suatu pekerjaan, kodenya meminta ID pekerjaan unik dari Ruang Kontrol. Pengidentifikasi tersebut kemudian dilampirkan ke setiap permintaan yang dikirimkan beban kerja ke mesin inferensi — sistem yang didukung GPU yang benar-benar menjalankan model dan menghasilkan output.
Sebelum memenuhi permintaan inferensi apa pun, mesin memeriksa Ruang Kontrol untuk mengonfirmasi bahwa pekerjaan terkait masih diizinkan untuk dijalankan. Jika peneliti atau sistem pemantauan otomatis telah menginstruksikan Ruang Kontrol untuk menghentikan pekerjaan, layanan akan menolak permintaan inferensi berikutnya, dan mesin menolak menghasilkan keluaran model lebih lanjut untuk beban kerja tersebut.
Menghentikan Output, Belum Tentu Pekerjaan
Satu detail desain yang menonjol: menghentikan beban kerja tidak serta merta menghentikannya. Proses penelitian itu sendiri mungkin tetap berjalan — kodenya terus dijalankan — tetapi tidak dapat lagi memperoleh keluaran model tambahan melalui mesin inferensi resmi. Untuk menjalankan pelatihan yang berperilaku buruk, hal ini sudah cukup: tanpa akses ke lebih banyak generasi model, pelatihan tersebut tidak dapat mencapai kemajuan lebih lanjut.
Pendekatan ini juga menghindari ketergantungan pada kode beban kerja peneliti sendiri untuk menerapkan pemeriksaan keselamatan dengan benar. OpenAI menempatkan mekanisme otorisasi penting di lapisan inferensi, yang memiliki jalur kode yang lebih sedikit dan dikelola secara terpusat. Dengan kata lain, tombol pemutus berada di infrastruktur yang dikontrol sepenuhnya oleh perusahaan, bukan dalam kode eksperimen yang ditulis oleh masing-masing tim.
Dirancang untuk Gagal Tertutup
Ruang Kontrol dibangun agar tetap efektif meskipun komponen lain mengalami kegagalan fungsi. Mekanisme fail-closed memblokir permintaan inferensi jika layanan Ruang Kontrol itu sendiri tidak tersedia — yang berarti kegagalan teknis, upaya penonaktifan yang disengaja, atau potensi gangguan pada layanan pusat akan menyebabkan mesin inferensi menolak semua permintaan hingga sistem kembali ke operasi normal.
Angka 35 detik mewakili penundaan maksimum antara menerima instruksi berhenti dan mencegah kemajuan lebih lanjut. Penundaan ini berasal dari lapisan caching yang digunakan untuk menangani banyaknya permintaan otorisasi inferensi, dan OpenAI mengatakan pihaknya berupaya mengurangi intervalnya menjadi nol.
Monitor Otomatis Mengawasi Setiap Perjalanan Perbatasan
Tombol pemutus dipasangkan dengan pemantauan otomatis. Menurut OpenAI, semua tugas pembelajaran penguatan perbatasan dijalankan dengan monitor berbasis model terpisah yang memeriksa perilaku model dan memberikan peringatan ketika mendeteksi potensi masalah. Jika peringatan memerlukan intervensi, sistem pemantauan dapat menginstruksikan Ruang Kontrol untuk menghentikan pekerjaan terkait, yang kemudian memblokir permintaan inferensi berikutnya di seluruh model atau mesin yang digunakan beban kerja.
Perusahaan menunjuk pada insiden terkait DNS baru-baru ini – di mana monitor mendeteksi agen yang mencoba menjangkau chatbot eksternal – sebagai contoh mengapa perlindungan tersebut penting. Dalam hal ini, anomali tersebut ditangkap oleh pengawasan otomatis, bukan oleh peninjau manusia.
Bagian dari Dorongan Keamanan yang Lebih Luas
OpenAI mencatat bahwa Ruang Kontrol sudah diterapkan di seluruh infrastruktur penelitiannya, di mana kebutuhan akan intervensi paling besar. Infrastruktur penyajian model eksternalnya, yang mendukung produk seperti ChatGPT, lebih terpusat dan sudah memiliki mekanisme operasional untuk menghentikan penerapan model bila diperlukan — Ruang Kontrol menutup kesenjangan di sisi penelitian.
Perusahaan mengatakan akan terus memperkuat sistem pemantauan dan perlindungan terhadap perilaku yang tidak selaras dan pelanggaran keamanan sebagai bagian dari pendekatan yang lebih luas untuk mengamankan pengembangan model perbatasan.
Bagi industri yang semakin ditentukan oleh agen otonom, Ruang Kendali adalah sebuah sinyal mengenai arah yang dituju oleh laboratorium terdepan: mekanisme keselamatan yang menganggap model kadang-kadang akan berperilaku buruk dalam skala besar, dan hal ini menjadikan penghentian laboratorium sebagai jaminan infrastruktur, bukan harapan.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
