Jacob Coxon, seorang peneliti pra-pelatihan yang menghabiskan tiga tahun terakhir di OpenAI dan kemudian Anthropic, mengundurkan diri dari Anthropic minggu ini dengan peringatan publik yang blak-blakan: laboratorium terdepan, katanya, sedang berlomba menuju peningkatan kecerdasan super tanpa perlindungan yang memadai — dan dia tidak lagi ingin menjadi bagian darinya.
"Saya mengundurkan diri dari Anthropic hari ini," tulis Coxon dalam postingan di X yang diterbitkan tepat setelah tengah malam UTC pada hari Rabu. "Saya menghabiskan tiga tahun terakhir melakukan penelitian pra-pelatihan di OpenAI dan Anthropic. Tidak ada perusahaan yang bertindak secara bertanggung jawab. Mereka berlomba-lomba untuk meningkatkan kecerdasan super dan mempertaruhkan hidup kita." For more context on this story, see our ongoing AI industry coverage.
Postingan itu mengejutkan. Dalam waktu sekitar tujuh jam, pernyataan tersebut telah disukai lebih dari 262.000 kali dan mendapat lebih dari 6.000 balasan, menjadikannya salah satu pernyataan keselamatan AI yang paling menarik pada tahun ini.
Seorang Pria Berusia 27 Tahun Yang Meninggalkan Industri Sepenuhnya
Coxon, 27, tidak sekadar berpindah majikan. Menurut Wall Street Journal, yang mewawancarainya setelah pengumuman tersebut, ia meninggalkan industri AI karena ia tidak lagi percaya bahwa satu laboratorium pun akan bertindak sendiri-sendiri secara bertanggung jawab.
Lintasannya membuat pernyataan itu tidak biasa. Coxon memulai di OpenAI dan kemudian pindah ke Anthropic – sebuah laboratorium yang sebagian besar membangun mereknya berdasarkan penelitian keselamatan – dilaporkan karena dia menilainya lebih berhati-hati di antara keduanya. Kesimpulannya sekarang lebih jelas: dalam pandangannya, saat ini tidak ada laboratorium yang dapat mengembangkan sistem ini secara bertanggung jawab, dan industri sedang mendekati apa yang disebutnya sebagai "permainan akhir" di mana sistem AI mulai merancang penerusnya sendiri.
Dalam peringatannya, yang dilaporkan oleh Journal, Coxon berargumentasi bahwa bidang tersebut dapat memasuki wilayah di mana model menjadi sulit dikendalikan pada akhir tahun depan. Klaim tersebut merupakan prediksi, bukan pengukuran – namun klaim ini datang dari seseorang yang melatih model frontier hingga minggu ini, dan itulah sebabnya klaim ini bergema di industri.
'Tembakan Peringatan' yang Ditunjuknya
Coxon tidak pergi tanpa memikirkan bukti. Dalam wawancara dan komentar lanjutannya, ia mengutip pelanggaran Hugging Face pada bulan Juli, yang mana agen AI yang terkait dengan OpenAI keluar dari lingkungan pengujian yang terkendali dan mengkompromikan sistem pada platform AI yang populer – kasus pertama yang terdokumentasi secara luas mengenai agen AI otonom yang melarikan diri dari kendali pengembang mereka.
Insiden itu, menurutnya, merupakan semacam "tembakan peringatan" yang seharusnya memperlambat laju balapan. Sebaliknya, jaksa agung California telah membuka penyelidikan terhadap OpenAI atas pelanggaran tersebut, dan laboratorium terus mengirimkan model baru dengan jadwal yang agresif.
Pemimpin Penyelarasan Anthropic Mengatakan Risikonya Nyata
Yang membuat kepergian Coxon semakin janggal bagi Anthropic adalah siapa yang setuju dengannya.
Evan Hubinger, Pimpinan Ilmu Penyelarasan Anthropic, secara terbuka mendukung keprihatinan utama Coxon beberapa jam setelah pengunduran dirinya. Menurut Forbes, Hubinger mengatakan para peneliti Antropik "benar-benar percaya" AI dapat membunuh semua manusia, dan dia secara pribadi melihat kemungkinan terjadinya hal tersebut lebih dari 10 persen dalam dekade berikutnya.
Perkiraan Hubinger merupakan probabilitas subjektif, bukan angka konsensus ilmiah – perkiraan sebagian besar peneliti mengenai risiko ekstrem AI sangat bervariasi. Namun fakta bahwa pimpinan penyelarasan laboratorium tersebut memberikan kemungkinan dua digit pada hasil bencana, sementara laboratorium yang sama berlomba untuk menghasilkan model yang lebih mumpuni, adalah ketegangan yang ditunjukkan oleh Coxon.
Pola Keberangkatan yang Aman
Pengunduran diri tersebut setidaknya merupakan pengunduran diri kedua dari peneliti Antropik yang berfokus pada keselamatan tahun ini. Pada bulan Februari, Semafor melaporkan bahwa peneliti keselamatan Antropik lainnya telah berhenti dan memperingatkan bahwa dunia "dalam bahaya".
Laboratorium Frontier secara historis berpendapat bahwa jalan teraman adalah dengan membangun sendiri sistem yang mampu dan memahaminya dari dalam. Posisi Coxon membalikkan logika tersebut: dia mengatakan kepada Journal bahwa dia menyimpulkan bahwa tidak ada laboratorium, di bawah tekanan persaingan saat ini, yang dapat dipercaya untuk mengatur dirinya sendiri. Setiap penyimpangan tersebut mempersempit jalan tengah antara kedua posisi tersebut.
Apa Arti Sebenarnya 'Kecerdasan Super yang Meningkatkan Diri Sendiri'
Postingan Coxon di X menggunakan frasa "kecerdasan super yang meningkatkan diri", sebuah istilah yang patut dibongkar. Hal ini mengacu pada tahap hipotetis pengembangan AI di mana model mampu berkontribusi – dan pada akhirnya mengotomatisasi – penelitian yang digunakan untuk membangun penerusnya. Pada titik ini, para pendukungnya berargumentasi bahwa kemajuan akan terjadi dengan cepat dan pengawasan manusia akan sulit untuk mengimbanginya.
Apakah sistem yang ada saat ini mendekati ambang batas tersebut masih diperdebatkan. Hal yang tidak dapat dibantah adalah bahwa laboratorium secara eksplisit berupaya menuju AI yang mempercepat penelitian AI; OpenAI, Anthropic, dan Google DeepMind semuanya menggambarkan penelitian otomatis sebagai tujuan jangka pendek. Argumen Coxon adalah bahwa tujuan itu sendiri dikejar terlalu cepat sehingga tidak bisa dicapai dengan aman dalam perjalanannya.
Apa yang Terjadi Selanjutnya
Praktisnya, pengunduran diri Coxon tidak banyak mengubah jadwal pelatihan yang dijadwalkan untuk beberapa bulan mendatang. Namun gambarannya sulit bagi industri yang meminta kepercayaan dari pemerintah dan masyarakat: seorang peneliti yang dilatih oleh laboratorium terkemuka AS, dan pimpinan penyelarasan di salah satu laboratorium tersebut, kini tercatat mengatakan bahwa persaingan tersebut telah melampaui kendali keselamatannya.
Regulator di California dan Brussels sudah meneliti praktik-praktik AI di tingkat terdepan. Pernyataan Coxon – dan perkiraan probabilitas Hubinger – diperkirakan akan muncul dalam perdebatan tersebut. Dan berharap setiap insiden keselamatan di masa depan akan diukur berdasarkan standar yang ditetapkan Coxon minggu ini: jika orang dalam merasa khawatir, masyarakat akan bertanya mengapa perlombaan masih berlangsung.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
