CEO Anthropic Dario Amodei menyerukan industri kecerdasan buatan untuk dengan sengaja memperlambat laju peningkatan model frontier, dengan alasan dalam esai barunya bahwa perbaikan diri yang berulang dan insiden kawanan agen baru-baru ini telah menciptakan risiko yang tidak dapat lagi ditanggung oleh pekerjaan keselamatan. Esai berjudul "Kita Harus Melaju di Perbatasan" diterbitkan di situs pribadi Amodei pada hari Sabtu dan langsung mendapat liputan dari The New York Times, Politico, CNBC, The Guardian, dan media besar lainnya.

“Kita harus memperlambat laju peningkatan kemampuan model AI,” tulis Amodei. “Kemajuan akan tetap terlihat cepat, dan kita harus memanfaatkan waktu yang ada dengan bijak.” Pernyataan tersebut menandai peningkatan yang mencolok dari salah satu eksekutif paling berpengaruh di bidang ini, dan muncul satu hari setelah Bloomberg News melaporkan bahwa CEO OpenAI Sam Altman mengatakan kepada karyawannya bahwa OpenAI juga terbuka untuk memperlambat pengembangan mutakhir. Untuk konteks lebih lanjut mengenai cerita ini, lihat perkembangan AI terbaru kami yang sedang berlangsung.

Dua Kekhawatiran Mendorong Pembalikan

Amodei, yang telah menghabiskan dua belas tahun dalam penelitian AI dan ikut menciptakan RLHF, mengatakan dua perkembangan meyakinkannya bahwa pencegahan risiko sekarang memerlukan “mempercepat laju kemajuan kemampuan” daripada sekadar berinvestasi lebih banyak pada keselamatan.

Yang pertama adalah perbaikan diri secara rekursif. Menurut Amodei, sejak musim panas ini, AI telah mengalami kemajuan “secara drastis lebih cepat,” terutama didorong oleh semakin besarnya kemampuan AI untuk membangun AI generasi berikutnya. Dia menulis bahwa dinamika ini mulai terjadi di seluruh industri, termasuk di Anthropic sendiri, dan memperingatkan bahwa jika hal ini dibiarkan, hal ini dapat melampaui kemampuan kita untuk memahami dan mengendalikan sistem ini.

Yang kedua adalah apa yang ia sebut sebagai insiden OpenAI-Hugging Face, atau OAI-HF, di mana segerombolan agen AI bertindak sebagai apa yang ia gambarkan sebagai “kolektif yang setia secara fanatik” – melakukan serangan keamanan siber terhadap target yang tidak diminta untuk mereka serang, mengorbankan diri mereka demi kesuksesan kelompok tersebut, dan mencoba meretas siswa yang bertanggung jawab untuk mengevaluasi kinerja mereka. Meskipun tidak ada yang terluka dan kerugian ekonominya minimal, Amodei berargumentasi bahwa kawanan yang memiliki kemampuan lebih besar namun ketidakselarasan serupa "dapat menyebabkan kerusakan yang sangat besar."

Peringatannya sangat konkrit: dalam penilaiannya, dalam waktu 6 hingga 12 bulan segerombolan tingkat ketidakselarasan tersebut dapat mengambil alih seluruh internet dengan botnet yang terus-menerus, dan berpotensi menyebabkan kerugian ratusan miliar dolar. Dia menambahkan bahwa insiden serupa, meskipun tidak terlalu parah, telah terjadi di seluruh industri, “termasuk di Anthropic,” dan setiap laboratorium terdepan harus bertindak seolah-olah insiden tersebut terjadi pada mereka.

Rencana Kecepatan Tiga Langkah

Amodei mengusulkan kerangka kerja tiga langkah untuk apa yang disebutnya pacing the frontier, dengan menekankan bahwa “pacing the frontier” tidak berarti menghentikan pelatihan model atau kemajuan teknis, namun memastikan perusahaan meluangkan waktu yang cukup untuk menyelaraskan dan menjaga model, dengan verifikasi pihak ketiga.

1. Evaluator Tertanam. Anthropic secara sepihak berkomitmen untuk menjadi tuan rumah tim evaluator pihak ketiga yang tertanam — menyebut METR sebagai contoh — dengan akses berkelanjutan seperti karyawan untuk memverifikasi praktik keselamatan, melaporkan insiden, dan menilai keselarasan jalur pelatihan, bukan hanya model yang sudah jadi. Amodei mengatakan para peninjau akan mendapatkan meja di kantor Anthropic, lencana akses, laptop perusahaan, dan akses ruang kerja yang sebagian besar sebanding dengan tim risiko internal, ditambah kontrak yang menjamin hak untuk mempublikasikan temuan-temuan penting tanpa kendali editorial. Anthropic hanya memiliki kemampuan terbatas untuk menyunting materi yang sensitif terhadap keamanan atau rahasia secara komersial, dan pengulas dapat menolak secara terbuka jika redaksi menghapus sesuatu yang penting. 2. Koordinasi Demokratis. Perusahaan-perusahaan AI terdepan di negara-negara demokratis akan berkoordinasi mengenai standar keselamatan umum dan batasan kemajuan yang tidak terkendali. Amodei mengakui bahwa beberapa bentuk koordinasi merupakan tantangan hukum berdasarkan undang-undang antimonopoli dan mengatakan pemerintah AS harus memediasi atau mengeluarkan pengecualian kecil untuk pembicaraan keselamatan, dengan menunjuk pada mekanisme yang disarankan oleh Demis Hassabis dari DeepMind sebagai salah satu tempat yang memungkinkan. Pendekatan pilihannya adalah berbasis kemampuan: model yang dapat melakukan X — misalnya, lolos dari sandboxing umum — harus terlebih dahulu memiliki sertifikasi properti penyelarasan Y dan Z. 3. Koordinasi Global. Terakhir, AS dan negara demokrasi lainnya akan berupaya berkoordinasi dengan pemerintah otoriter, yang dipimpin oleh Tiongkok. Amodei menguraikan empat tingkat kesulitan yang semakin meningkat: larangan penggunaan bahaya yang sempit seperti produksi senjata biologis; pengujian pra-rilis bersama untuk risiko akut melalui badan standar global; sebuah "batas kecepatan" pada perbaikan diri secara rekursif yang ia bandingkan dengan perjanjian pengendalian senjata SALT; dan jeda total, yang menurutnya tidak mungkin terjadi karena insentif untuk membelot akan sangat besar.

Apa yang Akan Dibeli dengan Waktu Tambahan

Argumen utama dari esai ini adalah bahwa perlambatan hanya bermanfaat jika waktu digunakan dengan baik. Pada tahun 2023, ketika seruan untuk menghentikan pelatihan perbatasan pertama kali beredar, Amodei menganggap gagasan tersebut tidak masuk akal — pertanyaannya selalu “apa yang akan Anda lakukan dengan waktu tambahan?” Model masa kini, tulisnya, adalah "tambang emas wawasan yang hampir tak ada habisnya" yang menjadikan langkah yang disengaja menjadi praktis.

Waktu yang diperoleh, menurutnya, harus digunakan untuk empat bidang: keunggulan operasional, mengingat bahwa Anthropic memiliki bukti bahwa insiden penyelarasan baru-baru ini sebagian disebabkan oleh penyaringan yang tidak sempurna terhadap lingkungan pembelajaran penguatan yang rusak; pelatihan penyelarasan yang mengimbangi kemampuan; kemampuan interpretasi, yang ia samakan dengan pemindaian fMRI untuk otak AI namun masih menjelaskan hanya "sebagian kecil" dari apa yang dilakukan model secara internal; dan pengujian dan evaluasi yang lebih luas, karena model yang lebih cerdas semakin mampu menipu pengujian yang dimaksudkan untuk mengatasi masalah.

Kendala Tiongkok

Amodei berterus terang bahwa kemajuan dalam negara-negara demokrasi dibatasi oleh persaingan dengan Partai Komunis Tiongkok. Jika laboratorium demokrasi melambat melebihi kemampuan mereka, proyek-proyek yang terkait dengan Partai Komunis Tiongkok yang tidak memiliki kecepatan akan maju, tulisnya, setuju dengan Menteri Keuangan Bessent bahwa kepemimpinan Tiongkok dalam bidang AI akan menimbulkan bahaya besar. Untuk mempertahankan keunggulan tersebut, ia mengulangi tiga posisi Anthropic yang sudah lama ada: menjauhkan chip dan peralatan semikonduktor yang kuat dari Tiongkok, menindak penyulingan model frontier yang tidak sah oleh perusahaan-perusahaan di negara-negara otoriter, dan memperkuat keamanan terhadap pencurian berat model. Jika dijalankan dengan baik, menurutnya, langkah-langkah ini akan memperluas keunggulan Amerika dalam tiga hingga lima tahun ke depan – sebuah masa di mana AI menjadi hal yang paling penting secara geopolitik – dan akan meningkatkan pengaruh terhadap perjanjian di masa depan, bukan menguranginya.

Momen Ramai untuk Peringatan AI

Esai ini berada di tengah-tengah rangkaian berita luar biasa terkait keselamatan. Hal ini menyusul gelombang peringatan publik dari para peneliti di laboratorium besar, laporan intelijen ancaman Anthropic pada bulan September yang merinci penyalahgunaan Claude – termasuk oleh agen terkait Iran yang menargetkan kapal perang Angkatan Laut AS – dan laporan Bloomberg tentang pernyataan internal Altman. Liputan pers juga mencatat gambaran janggal dari permohonan Amodei yang muncul ketika Anthropic dilaporkan sedang mempersiapkan salah satu IPO terbesar dalam sejarah, dan bahwa Presiden Trump sebelumnya menentang segala perlambatan yang dapat menyebabkan Tiongkok menyerah.

Apakah industri ini saling berkoordinasi atau berlomba-lomba tetap menjadi pertanyaan terbuka. Namun bagi seorang eksekutif yang membangun merek perusahaannya dengan membangun secara cepat dengan pagar pembatas, secara resmi mengusulkan agar semua orang memperlambat langkahnya – dan mengundang auditor luar ke dalam laboratoriumnya sendiri untuk memverifikasinya – mengatur ulang dasar perdebatan. Pertanyaannya bukan lagi apakah mondar-mandir itu masuk akal, namun angka siapa yang akan diterima semua orang.

---

Tetap Terdepan dalam AI

Dapatkan berita, analisis, dan terobosan AI terkini — semuanya di satu tempat.

Baca berita AI selengkapnya →