Militer Amerika Serikat nyaris melakukan konfrontasi langsung dengan Tiongkok daripada yang disadari oleh hampir semua orang pada musim semi ini – dan menurut laporan eksklusif CNN yang diterbitkan pada hari Jumat, halusinasi AI adalah alasannya.
Laporan tersebut merinci bagaimana dokumen intelijen yang dihasilkan dengan bantuan chatbot memicu serangkaian peristiwa yang mempersenjatai personel AS yang bersiap untuk menaiki kapal Tiongkok di Timur Tengah, dengan keyakinan bahwa kapal tersebut mengangkut komponen program senjata nuklir. Pesawat militer sudah mengudara, menurut sumber yang mengetahui operasi tersebut. For more context on this story, see our ongoing breaking AI news.
Misi tersebut dibatalkan tepat sebelum rencana intersepsi, ketika para pejabat menggali lebih dalam laporan tersebut dan menemukan bahwa klaim utamanya – klaim yang telah memobilisasi militer AS – adalah salah.
Salah satu sumber yang mengetahui kejadian tersebut menggambarkan laporan intelijen kepada CNN sebagai "sepenuhnya salah". Sumber itu juga mengatakan, "hampir memulai perang." Setiap operasi AS terhadap kapal Tiongkok bisa berubah menjadi konflik bersenjata antara kedua negara.
Bagaimana Klaim Chatbot Menjadi Operasi Militer
Episode ini dimulai pada musim semi tahun ini, di tengah perang dengan Iran, ketika sebuah laporan intelijen mulai beredar di seluruh militer AS. Dokumen tersebut mengklaim sebuah kapal Tiongkok di Timur Tengah membawa komponen program senjata nuklir, dan hal itu segera memicu peringatan.
Menurut CNN, laporan tersebut dibuat oleh seorang analis di komando operasi khusus AS yang menanyakan chatbot tentang pelaporan intelijen pada manifes kapal tersebut – laporan yang berasal dari Komando Operasi Khusus AS Pasifik, yang berbasis di Hawaii. Masih belum jelas apakah chatbot tersebut merupakan produk yang tersedia secara komersial atau merupakan alat pemerintah AS. Seorang mantan pejabat senior AS yang akrab dengan sistem AI yang digunakan oleh analis militer dan intelijen memberikan penilaian blak-blakan kepada CNN mengenai penawaran internal pemerintah: "Alat internal sebagian besar hanyalah salinan dari barang-barang komersial yang memakai lipstik."
Chatbot tersebut menggabungkan intelijen sumber terbuka dengan intelijen sinyal rahasia yang dimiliki oleh pemerintah dan mencapai kesimpulan yang menentukan tentang muatan kapal. Analis tersebut kemudian menggunakan AI untuk kedua kalinya untuk mengemas temuan tersebut ke dalam laporan intelijen standar – laporan yang biasa dipercaya oleh pejabat militer – dan menyebarkannya.
Empat sumber yang mengetahui episode tersebut berbicara kepada CNN. Menurut dua di antara mereka, anggota militer AS yang bersenjata sedang bersiap untuk naik ke kapal ketika laporannya berantakan. CNN tidak dapat mengetahui apa sebenarnya kargo yang salah diidentifikasi itu. Komando Operasi Khusus AS di Pasifik dan Pentagon tidak menanggapi permintaan komentar CNN.
Strategi Percepatan Memenuhi Kenyataan
Kegagalan ini terjadi ketika Pentagon berusaha memasukkan AI ke dalam hampir setiap aspek pekerjaannya – menganalisis data intelijen mentah dalam jumlah besar, memilih target serangan, dan menangani tugas-tugas yang lebih biasa seperti penganggaran, logistik, dan rantai pasokan.
Pada bulan Januari, Menteri Pertahanan Pete Hegseth merilis “Strategi Akselerasi Kecerdasan Buatan” yang merupakan upaya untuk mempercepat adopsi AI militer.
“Kami akan melakukan eksperimen, menghilangkan hambatan birokrasi, memfokuskan investasi kami dan menunjukkan pendekatan eksekusi yang diperlukan untuk memastikan kami memimpin dalam AI militer,” kata Hegseth dalam pidatonya saat mengumumkan strategi tersebut.
Memo yang disertakan lebih jauh lagi, memerintahkan departemen tersebut untuk menyediakan AI melalui beberapa program dengan tujuan “mendemokratisasikan eksperimen dan transformasi AI di seluruh Departemen dengan menempatkan model AI Amerika yang terkemuka di dunia secara langsung di tangan tiga juta personel sipil dan militer kami, di semua tingkat klasifikasi.”
Namun upaya tersebut terdesentralisasi, kata beberapa pejabat AS kepada CNN, dengan berbagai bagian pemerintahan menggunakan alat yang berbeda berdasarkan perintah dan standar keselamatan yang berbeda. Tidak ada standar tunggal untuk memverifikasi informasi yang dihasilkan oleh alat-alat ini, dan keandalan berbagai sistem sangat bervariasi.
Penargetan adalah Tempat Adanya Risiko
Para analis telah lama khawatir bahwa AI dapat menyebabkan kesalahan perhitungan yang sangat besar jika suatu negara bertindak berdasarkan data yang buruk atau rusak. Peristiwa kapal Tiongkok adalah kasus yang terdokumentasi mengenai modus kegagalan yang terjadi secara real-time — dan upaya perlindungan gagal menangkapnya hingga saat-saat terakhir.
“AI dalam penargetan jelas merupakan sesuatu yang sedang meningkat, dan tidak ada panduan nyata mengenai bagaimana melibatkan manusia akan mencegah jatuhnya korban sipil atau pembunuhan saudara,” sumber lain yang mengetahui kebijakan militer saat ini mengatakan kepada CNN.
Menurut laporan CNN, jenis halusinasi yang menghasilkan klaim palsu bukanlah satu-satunya insiden yang terjadi di komunitas intelijen sejak alat AI mulai berkembang biak di pemerintahan. Beberapa sumber juga menunjukkan adanya risiko budaya: analis muda, yang digambarkan sebagai ahli dalam alat-alat ini, lebih cenderung mempercayai alat-alat tersebut tanpa kritis, dan tekanan untuk menghasilkan informasi intelijen lebih cepat memberikan lebih banyak ruang untuk kesalahan.
“AI memungkinkan Anda mendapatkan ide buruk dengan lebih cepat,” kata salah satu sumber.
Risiko yang Lebih Langsung Dibandingkan Superintelligence
Selama berminggu-minggu, Washington dilanda perdebatan mengenai risiko AI dalam jangka panjang, menyusul serangkaian peringatan publik yang mengerikan dari para insinyur dan eksekutif teknologi Silicon Valley tentang sistem yang berpotensi lepas dari batasan manusia. Laporan CNN menggarisbawahi bahaya yang berbeda dan lebih mendesak: manusia membuat keputusan yang membawa bencana berdasarkan keluaran AI yang tidak akurat atau menyesatkan – saat ini, di tengah ketegangan geopolitik yang nyata.
Tidak ada tembakan yang dilepaskan pada musim semi ini, dan pendaratan tidak pernah terjadi. Namun kejadian ini merupakan contoh paling jelas bahwa kesalahan yang disebabkan oleh mesin, setelah dimasukkan ke dalam laporan resmi, dapat menyebar ke seluruh aparat militer paling kuat di dunia hingga ke tepi konflik bersenjata antara negara-negara nuklir – tanpa adanya standar verifikasi yang ada untuk menghentikan konflik berikutnya.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
