Model AI terkemuka dari Anthropic, OpenAI, Google, DeepSeek, dan laboratorium lainnya dapat dimanipulasi untuk mengidentifikasi potensi target serangan militer – termasuk warga sipil dan tentara yang menyerah – dalam citra drone dan satelit, dan dalam banyak kasus, yang diperlukan hanyalah memberi tahu model yang mereka gunakan, menurut laporan penelitian baru oleh startup evaluasi AI, Vals.
Temuan ini, yang dilaporkan oleh TechCrunch, muncul pada saat perdebatan mengenai AI dalam peperangan telah beralih dari hipotetis ke institusional. Anthropic awal tahun ini berselisih dengan Departemen Pertahanan mengenai batasan penggunaan teknologinya oleh militer, dan pemerintah di seluruh dunia berinvestasi dalam sistem otonom. Laporan tersebut menunjukkan bahwa batasan keselamatan yang memisahkan chatbot komersial dari fungsi dukungan tempur lebih tipis dibandingkan komitmen publik industri. Liputan berkelanjutan mengenai perkembangan etika dan keselamatan AI terus memantau respons laboratorium.
Cara Kerja Tes
Vals, sebuah startup evaluasi AI yang berbasis di San Francisco, menguji apakah model AI terkemuka dapat dimanipulasi untuk berpartisipasi dalam peperangan otonom. Para peneliti membangun skenario simulasi medan perang menggunakan kombinasi citra yang dihasilkan dan citra nyata dari Ukraina dan Iran, kemudian meminta model tersebut untuk menandai target potensial dalam citra drone dan satelit.
Model dari OpenAI, Anthropic, Google, DeepSeek, dan perusahaan lain sering kali mengidentifikasi target potensial dalam gambar tersebut – termasuk warga sipil dan tentara yang mencoba untuk menyerah. Tak satu pun permintaan peneliti diblokir oleh pengklasifikasi keamanan, dan penolakan jarang terjadi. Ketika model menolak untuk bekerja sama, para peneliti sering kali dapat melakukan jailbreak pada model tersebut hanya dengan mengklaim bahwa skenario medan perang adalah bagian dari sebuah permainan.
Dalam beberapa skenario, model diminta melaporkan apakah orang terlihat dalam citra. Laporan positif diikuti dengan simulasi teguran, yang berarti para model mengamati konsekuensi dari laporan target mereka.
Model Antropik Berkinerja Terburuk
Mungkin detail yang paling mencolok: model AI dari Anthropic memiliki performa terburuk dalam skenario simulasi — meskipun laporan tersebut dengan jelas menyatakan bahwa tidak ada model yang diuji yang memiliki performa yang sangat baik. Sikap defensif perusahaan terhadap aplikasi militer tidak menghasilkan perlawanan yang efektif dalam kondisi pengujian.
Juru bicara Anthropic, Eduardo Maia Silva, mengatakan kepada TechCrunch bahwa perusahaan menghargai laporan, rekomendasi, dan kolaborasi Vals, dan mengakui bahwa hasilnya tidak dapat diterima. “Contoh dalam laporan tersebut sangat jelas melanggar aturan kami dan kami telah melarang dan akan melarang pengguna ketika kami melihat perilaku ini,” kata perusahaan itu dalam sebuah pernyataan. “Bahkan dalam kondisi resmi, Anthropic telah lama menegaskan bahwa sistem AI yang ada saat ini tidak cukup andal untuk menggerakkan senjata yang sepenuhnya otonom.”
Anthropic mengatakan kepada TechCrunch bahwa timnya telah mengembangkan perlindungan tambahan sebelum laporan tersebut dipublikasikan, bahwa langkah-langkah tersebut akan segera diterapkan, dan bahwa perusahaan tersebut memperluas pengujiannya sendiri serta meningkatkan perlindungan dan penegakan hukum untuk mengatasi kesenjangan yang ditemukan.
Juru bicara OpenAI, Nate Evans, mengatakan perusahaannya melarang penggunaan model publiknya untuk memfasilitasi kekerasan atau untuk tujuan keamanan nasional yang tidak disetujui, termasuk skenario yang disimulasikan Vals. “Kami secara aktif mendeteksi dan menghentikan penyalahgunaan, termasuk dengan menangguhkan akun yang melanggar kebijakan kami,” kata perusahaan itu dalam pernyataan email. “Kami juga mengembangkan perlindungan tambahan untuk model publik kami terhadap penyalahgunaan yang melibatkan drone dan perangkat lunak drone.”
Kebuntuan Senjata Otonom
Temuan ini muncul di tengah perselisihan yang belum terselesaikan antara laboratorium AI dan Pentagon mengenai bagaimana AI militer dapat digunakan. Awal tahun ini, Anthropic mengatakan kepada Departemen Pertahanan bahwa mereka tidak dapat menggunakan teknologi perusahaan tersebut untuk pengawasan massal terhadap warga Amerika atau untuk peperangan otonom. CEO Anthropic Dario Amodei menegaskan bahwa sistem AI saat ini tidak cukup andal untuk membuat keputusan hidup atau mati tanpa campur tangan manusia. Pentagon berpendapat bahwa mereka harus dapat menggunakan teknologi tersebut untuk tujuan militer apa pun yang sah.
Laporan Vals mempertajam perselisihan tersebut: jika model tingkat konsumen dapat digunakan untuk menandai target dengan kerangka permainan, pertanyaannya adalah apakah kebijakan perusahaan saja dapat menjamin hal-hal yang tidak dapat dilakukan oleh upaya perlindungan teknis saat ini.
Peringatan Penting
Laporan ini memiliki keterbatasan yang signifikan sehingga tidak dapat dibaca sebagai bukti penargetan AI yang siap berperang. Vals mencatat bahwa model-model tersebut tidak pernah diminta untuk secara langsung membuat keputusan mogok – sebuah tugas yang menurut para peneliti biasanya akan ditolak oleh model-model tersebut. Tantangan teknis, termasuk latensi dan terbatasnya kapasitas komputasi di dalam pesawat, juga menyulitkan penggunaan model AI untuk keperluan umum untuk penargetan drone secara langsung, sehingga penyebaran tempur tidak terlalu menjadi ancaman langsung dibandingkan temuan awal.
Ada juga perbedaan komersial versus militer. Laporan tersebut menguji model-model komersial yang dijual ke publik, bukan laboratorium sistem khusus yang mungkin diberikan kepada pelanggan pertahanan berdasarkan kontrak – dan tidak jelas apakah perlindungan tambahan yang dijanjikan perusahaan akan berlaku untuk penempatan militer.
Namun, para peneliti memperingatkan bahwa keluaran dari senjata tersebut dapat menimbulkan konsekuensi yang mengerikan di dunia nyata: informasi penargetan yang dihasilkan oleh model komersial dapat digunakan oleh sistem senjata otonom, bahkan jika model itu sendiri tidak pernah melepaskan tembakan.
Apa Artinya Bagi Keamanan AI
Signifikansi laporan ini bukan hanya mengenai perilaku model tertentu, namun lebih pada polanya: tidak ada permintaan yang diblokir oleh pengklasifikasi keamanan, penolakan jarang terjadi, dan jailbreak yang paling efektif adalah tindakan yang kekanak-kanakan — berpura-pura bahwa perang hanyalah sebuah permainan. Bagi industri yang telah mempertaruhkan legitimasi publiknya pada klaim bahwa model frontier akan menolak instruksi yang merugikan, hal ini merupakan data yang tidak nyaman.
Respons perusahaan-perusahaan tersebut sekarang akan diuji dalam praktik: Anthropic mengatakan bahwa perlindungan baru akan segera dilakukan, dan OpenAI mengatakan bahwa mereka sedang membangun perlindungan penyalahgunaan khusus drone. Pertanyaan yang akan ditanyakan oleh Vals – dan juga para pembuat kebijakan – adalah apakah langkah-langkah tersebut dapat bertahan jika dibandingkan dengan putaran penelitian evaluasi berikutnya.
---
Ikuti Perkembangan Keamanan AIPenelitian, etika, dan kebijakan — kisah-kisah AI yang penting, diperbarui sepanjang waktu.
Baca berita AI selengkapnya →