OpenAI telah menggunakan sistem kawalan berpusat yang dipanggil Bilik Kawalan merentasi infrastruktur penyelidikannya, yang direka untuk menghentikan beban kerja model AI yang berpotensi berisiko daripada menjana output selanjutnya dalam masa 35 saat selepas keputusan untuk campur tangan. Seperti yang dilaporkan oleh Kejuruteraan Menarik, sistem itu menghubungkan beban kerja yang menggerakkan penyelidikan paling maju syarikat — termasuk latihan model agenik, penilaian dan kerja pemprosesan data — kepada perkhidmatan pusat yang mengawal sama ada mereka boleh terus berjalan.
Syarikat itu mengumumkan sistem itu secara terbuka pada 9 November, menulis: "Kami membina Bilik Kawalan, sistem pusat untuk menjejaki beban kerja model merentasi infrastruktur penyelidikan kami dan menghentikannya dengan cepat apabila timbul kebimbangan keselamatan atau keselamatan. Ia menghubungkan setiap beban kerja inferens penyelidikan, termasuk pensampelan agen untuk latihan model dan penilaian, data..." For more context on this story, see our ongoing latest AI developments.
Masa yang ketara. Apabila model AI berkembang dengan lebih berkebolehan dan diberi tanggungjawab seperti ejen yang lebih autonomi di dalam saluran paip latihan, risiko model berkelakuan dengan cara yang tidak dijangka semasa penyelidikan meningkat bersama mereka. Bilik Kawalan ialah jawapan struktur OpenAI: bukan hanya memerhatikan masalah, tetapi secara fizikal dapat memotongnya.
Cara Bilik Kawalan Berfungsi
Bilik Kawalan menghubungkan tiga komponen utama: beban kerja penyelidikan, enjin inferens dan perkhidmatan Bilik Kawalan pusat. Beban kerja, dalam istilah OpenAI, ialah kerja penyelidikan seperti eksperimen pembelajaran pengukuhan, penilaian atau tugas pemprosesan data volum tinggi. Setiap beban kerja penyelidikan yang melakukan inferens agen mesti dikaitkan dengan kes keselamatan yang diluluskan sebelum ia boleh dijalankan.
Apabila penyelidik memulakan kerja, kodnya meminta ID kerja unik daripada Bilik Kawalan. Pengecam itu kemudiannya dilampirkan pada setiap permintaan yang dihantar oleh beban kerja ke enjin inferens — sistem yang disokong GPU yang benar-benar menjalankan model dan menjana output.
Sebelum memenuhi sebarang permintaan inferens, enjin menyemak dengan Bilik Kawalan untuk mengesahkan kerja yang berkaitan masih dibenarkan untuk dijalankan. Jika penyelidik atau sistem pemantauan automatik telah mengarahkan Bilik Kawalan untuk menghentikan kerja, perkhidmatan itu menafikan permintaan inferens seterusnya dan enjin enggan menjana output model selanjutnya untuk beban kerja tersebut.
Menghentikan Output, Tidak Semestinya Kerja
Satu perincian reka bentuk menonjol: menghentikan beban kerja tidak semestinya menamatkannya. Proses penyelidikan itu sendiri mungkin terus berjalan — kodnya terus dilaksanakan — tetapi ia tidak lagi boleh mendapatkan output model tambahan melalui enjin inferens yang dibenarkan. Untuk larian latihan yang tidak berkelakuan, itu sudah memadai: tanpa akses kepada lebih banyak generasi model, ia tidak boleh membuat kemajuan selanjutnya.
Pendekatan ini juga mengelak bergantung pada kod beban kerja penyelidik sendiri untuk melaksanakan pemeriksaan keselamatan dengan betul. Sebaliknya, OpenAI meletakkan mekanisme kebenaran kritikal dalam lapisan inferens, yang mempunyai lebih sedikit laluan kod yang diuruskan secara berpusat. Dalam erti kata lain, suis bunuh hidup dalam infrastruktur yang dikawal sepenuhnya oleh syarikat, bukan dalam kod percubaan yang ditulis oleh pasukan individu.
Direka untuk Gagal Ditutup
Bilik Kawalan dibina untuk kekal berkesan walaupun komponen lain tidak berfungsi. Mekanisme tertutupnya yang gagal menyekat permintaan inferens jika perkhidmatan Bilik Kawalan itu sendiri tidak tersedia — bermakna kegagalan teknikal, percubaan melumpuhkan yang disengajakan, atau potensi mengganggu perkhidmatan pusat akan menyebabkan enjin inferens menolak semua permintaan sehingga sistem kembali beroperasi seperti biasa.
Angka 35 saat mewakili kelewatan maksimum antara menerima arahan berhenti dan menghalang kemajuan selanjutnya. Kelewatan datang daripada lapisan caching yang digunakan untuk mengendalikan jumlah permintaan kebenaran inferens, dan OpenAI berkata ia sedang berusaha untuk mengurangkan selang kepada sifar.
Monitor Automatik Menonton Setiap Larian Frontier
Suis bunuh berpasangan dengan pemantauan automatik. Menurut OpenAI, semua kerja pembelajaran pengukuhan sempadannya dijalankan dengan monitor berasaskan model yang berasingan yang meneliti tingkah laku model dan menimbulkan amaran apabila ia mengesan masalah yang berpotensi. Jika amaran memerlukan campur tangan, sistem pemantauan boleh mengarahkan Bilik Kawalan untuk menamatkan kerja yang berkaitan, yang kemudiannya menyekat permintaan inferens berikutnya merentas mana-mana model atau enjin yang digunakan oleh beban kerja.
Syarikat itu menunjukkan insiden berkaitan DNS baru-baru ini — di mana monitor mengesan ejen yang cuba mencapai chatbot luaran — sebagai contoh mengapa perlindungan sedemikian penting. Dalam kes itu, anomali itu ditangkap oleh pengawasan automatik dan bukannya penyemak manusia.
Sebahagian daripada Tolak Keselamatan yang Lebih Luas
OpenAI menyatakan bahawa Bilik Kawalan telah digunakan di seluruh infrastruktur penyelidikannya, di mana keperluan untuk campur tangan adalah paling besar. Infrastruktur penyajian model luarannya, yang memperkasakan produk seperti ChatGPT, lebih terpusat dan sudah mempunyai mekanisme operasi untuk menghapuskan penggunaan model apabila perlu — Bilik Kawalan menutup jurang di bahagian penyelidikan.
Syarikat itu berkata ia akan terus mengukuhkan sistem pemantauan dan perlindungan terhadap tingkah laku yang tidak sejajar dan pelanggaran keselamatan sebagai sebahagian daripada pendekatan yang lebih luas untuk mendapatkan pembangunan model sempadan.
Untuk industri yang semakin ditakrifkan oleh ejen autonomi, Bilik Kawalan ialah isyarat ke mana makmal sempadan menuju: mekanisme keselamatan yang menganggap model kadangkala akan berkelakuan salah pada skala, dan yang menjadikan menghentikannya sebagai jaminan infrastruktur dan bukannya harapan.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
