Anthropic telah menerbitkan penelitian yang menunjukkan bahwa sistem AI otomatis dapat memperbaiki kegagalan penyelarasan model dengan andal, sehingga dapat mengubah cara kerja keselamatan di pusat industri AI dilakukan. Makalah tersebut, berjudul "Peneliti Otomatis Dapat Secara Andal Mengurangi Kegagalan Penyelarasan," dirilis pada hari Jumat dan dirinci oleh TechCrunch.
Penelitian ini merupakan hasil dari program fellows Anthropic dan dipimpin oleh Chen Yueh-Han. Klaim utamanya sangat mengejutkan: ketika sistem penelitian otomatis perusahaan diarahkan pada sepuluh tolok ukur yang mengukur perilaku tertentu yang tidak selaras, sistem tersebut meningkatkan kinerja pada setiap tolok ukur — tanpa menurunkan kemampuan model secara keseluruhan. Bagi bidang yang telah berjuang untuk menjaga keselamatan kerja sejalan dengan skala model, hal ini merupakan hasil yang luar biasa. For more context on this story, see our ongoing AI industry coverage.
Kisah ini muncul di tengah sibuknya cakupan keselamatan AI. Hal ini menyusul musim panas dimana perilaku buruk agen mendominasi berita utama, mulai dari laporan internal OpenAI mengenai agen peretasan hadiah hingga seruan untuk penyelidikan independen terhadap pelanggaran Hugging Face. Makalah baru Anthropic mendekati masalah ini dari arah yang berlawanan: alih-alih menanyakan bagaimana agen berperilaku buruk, makalah ini menanyakan apakah agen lain dapat dipercaya untuk memperbaikinya.
Apa yang Sebenarnya Dilaporkan Makalah
Sistem yang dijelaskan dalam makalah ini disebut Automated Alignment Researcher, atau AAR. Alih-alih menggantikan proses penelitian, AAR justru mereplikasi sebagian besar proses penelitian: setiap sistem otomatis mencari literatur yang tersedia, mengusulkan metode, dan melatih model menggunakan metode tersebut selama kurang lebih 30 menit. Proses ini kemudian berulang dalam beberapa iterasi.
Mekanisme pemilihannya sederhana. Metode yang menggerakkan patokan tetap dipertahankan; metode yang tidak dibuang. Perulangan tersebut memungkinkan sistem beroperasi dengan cepat dan pada skala yang tidak dapat ditandingi oleh tim manusia, menguji banyak arah penelitian secara paralel dan hanya mempertahankan apa yang berhasil.
Menurut makalah tersebut, hasilnya konsisten di seluruh bidang. Pada kesepuluh tolok ukur yang mencakup perilaku tertentu yang tidak selaras, sistem otomatis menghasilkan peningkatan yang terukur tanpa mengganggu kinerja model secara keseluruhan — sebuah trade-off yang biasa membuat penyelarasan menjadi sulit.
“Secara keseluruhan, hasil ini memberikan bukti awal bahwa penyelarasan otomatis pasca-pelatihan bisa menjadi praktis dalam waktu dekat,” tulis makalah tersebut.
Mengalahkan Manusia, dengan Biaya 1/37
Bagian yang paling banyak dikutip dalam makalah ini adalah bagian yang membandingkan AAR secara langsung dengan manusia. Anthropic tidak melakukan lindung nilai terhadap perbandingan tersebut.
“Metode AAR terbaik mengalahkan apa yang diusulkan manusia berpengalaman, rata-rata dalam waktu enam jam,” tulis makalah tersebut. Ia menambahkan, dengan tegas, bahwa "arahan penelitian yang dipandu oleh manusia tidak menghasilkan kinerja yang lebih kuat."
Perekonomian juga sama blak-blakannya. “AAR berharga sekitar $4 per jam dalam inferensi API dibandingkan $150 per jam yang kami bayarkan kepada peneliti manusia,” tulis para penulis. Ini adalah perbedaan biaya hampir 40 kali lipat, dan ini menjelaskan mengapa laboratorium menganggap serius penelitian otomatis lebih dari sekadar rasa ingin tahu.
Mengapa Kesenjangan Biaya Penting
Penelitian penyelarasan itu mahal dan mudah diremehkan. Setiap intervensi kandidat harus diterapkan, dilatih, dan dievaluasi berdasarkan tolok ukur, dan sebagian besar kandidat gagal. Jika suatu sistem dapat menjalankan loop pencarian tersebut secara terus-menerus dengan harga panggilan API, biaya marjinal untuk mencoba satu ide lagi mendekati nol. Kendalanya berpindah dari jumlah karyawan ke komputasi.
Keterbatasan Antropik Itu Sendiri Ditandai
Makalah ini jujur tentang apa yang tidak ditentukan oleh hasil. Sistem otomatis hanya berfungsi sejauh tolok ukur tersebut benar-benar mencerminkan tujuan penyelarasan yang penting — dan membangun serta memelihara tolok ukur yang mampu menangkap perilaku buruk di dunia nyata masih merupakan permasalahan yang belum terselesaikan di lapangan.
Ada juga ketergantungan yang mudah diabaikan: peneliti otomatis memanfaatkan literatur metode yang ada. Mempertahankan dan memperluas sastra itu sendiri merupakan pekerjaan yang penting, dan sebuah sistem yang hanya mencampurkan teknik-teknik yang sudah dikenal mungkin akan mencapai batas yang tidak dapat dicapai oleh kreativitas manusia.
Peringatan tersebut penting karena signifikansi penelitian dalam jangka panjang bergantung pada hal tersebut. Jika tolok ukur mengukur hal yang salah, AAR dapat mengoptimalkan cara mencapai angka yang kuat sementara risiko yang mendasarinya tetap tidak tersentuh. Pembingkaian Anthropic – “bukti awal”, bukan solusi – mencerminkan ketidakpastian tersebut.
Sebuah Langkah Menuju Peningkatan Diri Secara Rekursif
Makalah ini juga memicu perdebatan yang lebih besar mengenai pengembangan diri secara rekursif, gagasan bahwa sistem AI pada akhirnya dapat meningkatkan proses pelatihan yang menghasilkannya. Melatih model AI dengan model AI lainnya telah menjadi tujuan populer bagi laboratorium terdepan, dan hasil dari Anthropic adalah gambaran awal dan konkrit tentang apa yang terlihat dalam domain sempit.
Logikanya jelas. Jika model dapat secara andal meningkatkan pelatihan penyelarasannya, mekanisme yang sama mungkin dapat diarahkan pada praktik pelatihan secara lebih luas – termasuk pekerjaan kemampuan. TechCrunch mencatat implikasi bahwa peneliti AI pada manusia pada akhirnya akan menjadi kurang penting dalam proses tersebut, sebuah kemungkinan yang akan dihadapi oleh makalah tersebut dan bukannya dihindari.
Untuk Ditonton Selanjutnya
Tiga pertanyaan akan menentukan apakah hasil ini dapat digeneralisasikan. Pertama, apakah pendekatan tersebut melampaui sepuluh tolok ukur yang diuji secara Antropik, pada mode kegagalan yang lebih berantakan dan kurang terdefinisi dengan baik. Kedua, apakah masalah pemeliharaan benchmark dapat diselesaikan dengan cukup cepat untuk menjaga kejujuran penelitian otomatis. Ketiga, apakah laboratorium lain mempublikasikan hasil yang sebanding, yang akan mengubah satu makalah menjadi arah industri.
Untuk saat ini, temuannya masih sempit namun nyata: pada tugas penyelarasan spesifik yang diuji Anthropic, peneliti otomatis mengungguli manusia berpengalaman, lebih cepat dan jauh lebih murah. Sisi keamanan industri AI mungkin menjadi tempat pertama di mana peneliti AI – bukan manusia – melakukan sebagian besar pekerjaan.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
