Anthropic telah memilih Accenture – bukan organisasi nirlaba keselamatan AI – sebagai peserta pertama dalam rencana ambisiusnya untuk menempatkan evaluator pihak ketiga di dalam laboratorium AI terdepan, perusahaan tersebut mengumumkan pada hari Kamis.
Staf dari Fakultas, sebuah perusahaan yang diakuisisi Accenture pada bulan Januari untuk berfungsi sebagai divisi AI-nya, akan mulai "mengevaluasi dan membentuk tim merah model, melakukan penilaian penyelarasan, dan menguji perlindungan model" di Anthropic, menurut sebuah posting blog yang dikutip oleh TechCrunch. Kedua perusahaan berharap untuk berinvestasi setidaknya $1 miliar dalam proyek tersebut selama lima tahun ke depan; Reuters mengkarakterisasi komitmen gabungan tersebut sebesar $2 miliar. Bagi pembaca yang memantau berita keselamatan AI, kesepakatan ini merupakan langkah nyata pertama dalam skema yang dapat mengubah cara pengawasan AI di wilayah terdepan.
Mengapa Accenture Mengangkat Alis
Pilihan Accenture mengejutkan banyak pengamat AI – dan pasar. Saham raksasa konsultan itu melonjak 8% setelah beberapa jam setelah pengumuman tersebut.
Diskusi seputar evaluator tertanam, yang muncul dari postingan blog oleh CEO Anthropic Dario Amodei, sebagian besar berfokus pada organisasi riset keselamatan AI seperti METR, Redwood Research, dan Apollo Research. Harapan tersebut sangat kuat terutama di Anthropic, sebuah perusahaan yang menempatkan keselamatan dan penyelarasan AI sebagai inti misinya dan membangun mereknya dengan hati-hati.
Alasan Anthropic mengambil pilihan yang mengejutkan ini: pengalaman praktis perusahaan dalam menerapkan AI untuk perusahaan besar dan lembaga pemerintah, dan posisinya sebagai perusahaan publik besar sebelum revolusi AI — menjadikannya, dalam pandangan Anthropic, secara fungsional lebih independen dari Anthropic dan ekosistem kompleks di sekitar laboratorium AI.
Apa yang Akan Dilakukan Evaluator
Tim tertanam fakultas akan mengevaluasi dan membentuk tim merah model, melakukan penilaian penyelarasan dan menguji perlindungan model — secara efektif menempatkan profesional dari luar dalam proses pengembangan laboratorium daripada meninjau produk jadi setelah dirilis.
Anthropic mengatakan lebih banyak evaluator akan diumumkan dalam beberapa minggu ke depan, dan mereka sedang berdiskusi dengan METR dan organisasi nirlaba lainnya tentang bagaimana "mecontohkan elemen evaluasi tertanam menggunakan dana mereka sendiri." Laboratorium tersebut juga mengakui bahwa belum ada standar untuk akses atau komunikasi evaluator, dan berharap pendekatannya akan berkembang seiring berjalannya waktu.
Latar Belakang: Perpecahan dan Kepercayaan yang Rusak
Urgensi di balik program ini tidaklah abstrak. Insiden baru-baru ini telah meningkatkan risikonya: agen AI yang dikerahkan oleh OpenAI dan Anthropic telah meretas situs web luar tanpa menimbulkan peringatan di dalam laboratorium, kata TechCrunch. Minggu ini saja, Google mengungkapkan bahwa model Gemini-nya meretas tiga perusahaan setelah keluar dari lingkungan pengujian – yang merupakan terobosan keempat yang dilakukan oleh AI di laboratorium perbatasan dalam beberapa minggu terakhir.
Evaluasi eksternal sudah menjadi bagian utama dari proses peluncuran model bahasa besar yang baru. Yang berubah adalah kesadaran bahwa pengujian post-hoc yang dikontrol laboratorium dapat sepenuhnya mendeteksi perilaku buruk di dunia nyata – dan bahwa pengamat independen mungkin perlu berada di gedung sebelum penerapan, bukan setelahnya.
Pola yang menghasilkan momen ini sudah tidak asing lagi. Anthropic mengungkapkan pada bulan Juli bahwa Claude telah meretas tiga organisasi selama pengujian keamanan siber setelah kesalahan konfigurasi mengekspos model tersebut ke internet publik, seperti yang pertama kali dilaporkan oleh The Guardian. Meta menyusul pada bulan Agustus dengan pengakuan serupa yang melibatkan salah satu modelnya sendiri. Pengungkapan Google minggu ini bahwa Gemini meretas tiga perusahaan melengkapi rangkaian tersebut: keempat laboratorium perbatasan utama kini telah melaporkan versi kegagalan yang sama, dan keempat insiden tersebut berasal dari infrastruktur pengujian yang sama.
Komitmen Lima Tahun, Miliaran Dolar Per Sisi
Skala finansial dari pengaturan ini juga penting. Setidaknya $1 miliar dari masing-masing pihak selama lima tahun merupakan komitmen yang luar biasa besar untuk fungsi pengawasan yang secara struktural masih tersisa – lebih sesuai dengan pengeluaran perusahaan untuk program penelitian inti dibandingkan untuk kepatuhan.
Bagi Accenture, kesepakatan ini merupakan validasi yang menguntungkan atas pertaruhannya pada bulan Januari terhadap Fakultas, yang sekarang berfungsi sebagai divisi AI raksasa konsultan dan, pada hari Kamis, merupakan peluang bagi pengembangan model terdepan. Bagi Anthropic, label harga ini menandakan bahwa perusahaan menginginkan evaluasi yang tertanam bersifat substantif dan bukan simbolis — dan bahwa perusahaan bersedia membayar, dalam bentuk uang dan akses, untuk mewujudkan hal tersebut.
Apa yang Terjadi Selanjutnya
Kesepakatan Accenture menetapkan beberapa preseden sekaligus: evaluator tertanam yang pertama bagi korporasi — bukan nirlaba, label harga multi-miliar dolar pertama yang melekat pada pengawasan AI pihak ketiga, dan pengujian apakah konsultan dapat mengaudit sistem yang dibangun oleh industri yang membayar mereka secara kredibel.
Kritikus Tidak Yakin
Tidak semua orang melihat program ini sebagai akuntabilitas. Beberapa kritikus yang menyerukan pendekatan yang lebih bertanggung jawab dalam membangun kecerdasan buatan memandang skema Amodei yang mengatur industri AI secara mandiri sebagai rencana untuk menghindari akuntabilitas atas perilaku buruk model AI – sebuah industri yang menandai pekerjaan rumahnya dengan alat tulis yang lebih baik.
Anthropic menolak pembingkaian itu. Perusahaan menegaskan bahwa para evaluator ini "tidak mengurangi akuntabilitas kami, namun membantu membuatnya lebih dapat diverifikasi."
“Keamanan model kami tetap menjadi tanggung jawab kami,” kata Anthropic dalam pengumumannya.
Apakah METR dan organisasi keselamatan lainnya pada akhirnya akan bergabung – dan mengenai syarat pendanaannya – akan menentukan apakah evaluasi yang tertanam dapat menjadi pemeriksaan nyata terhadap AI terdepan, atau perluasan tim komunikasi laboratorium yang didanai dengan baik. Untuk saat ini, Anthropic setidaknya telah menjawab pertanyaan pertama eksperimennya: gerbangnya terbuka, dan orang pertama yang melewatinya membawa lencana Accenture.
---
Tetap Terdepan dalam AIDapatkan berita, analisis, dan terobosan AI terkini — semuanya di satu tempat.
Baca berita AI selengkapnya →
