Militer AS Hampir Menaiki Kapal Tiongkok Karena Laporan Intelijen yang Dihalusinasi AI

Militer AS nyaris mencegat kapal Tiongkok berdasarkan laporan intelijen yang dihasilkan dengan bantuan chatbot AI dan ternyata sepenuhnya salah, menurut laporan eksklusif CNN yang diterbitkan pada hari Kamis.

Peristiwa tersebut, yang dijelaskan kepada CNN oleh empat sumber yang mengetahui masalah ini, dimulai pada awal musim semi ini – di tengah perang dengan Iran – ketika sebuah laporan beredar di militer AS yang mengklaim bahwa sebuah kapal Tiongkok di Timur Tengah sedang mengangkut komponen program senjata nuklir. Laporan tersebut segera memicu peringatan, dan militer segera mengambil tindakan dengan rencana untuk mencegat kapal tersebut. Untuk liputan reguler mengenai berita seperti ini, ikuti berita AI seiring perkembangannya.

Pesawat di Udara, Pesta Asrama Siap

Menurut dua sumber CNN, anggota militer AS yang bersenjata sedang bersiap untuk menaiki kapal. Pesawat militer sudah mengudara, kata salah satu sumber.

Tepat sebelum operasi yang direncanakan, para pejabat menggali lebih dalam laporan tersebut – yang disusun oleh seorang analis komando operasi khusus – dan menemukan bahwa laporan tersebut dihasilkan dengan bantuan kecerdasan buatan, dan bahwa chatbot yang digunakan oleh analis tersebut telah secara tidak akurat mengidentifikasi material yang dibawa kapal. CNN melaporkan pihaknya tidak dapat mengetahui apa sebenarnya kargo yang salah diidentifikasi itu.

Salah satu sumber menggambarkan laporan itu "sepenuhnya salah". Hal ini juga, kata sumber tersebut, “hampir memulai perang” – karena setiap operasi AS terhadap kapal Tiongkok dapat berisiko berubah menjadi konflik bersenjata antara kedua negara.

Bagaimana Laporan Palsu Dibangun

Analis tersebut menanyakan chatbot tentang pelaporan intelijen mengenai manifes kapal yang berasal dari Komando Operasi Khusus AS di Pasifik, yang berbasis di Hawaii. CNN melaporkan tidak jelas apakah chatbot tersebut adalah produk yang tersedia secara komersial atau merupakan alat pemerintah AS.

Bot tersebut menggabungkan intelijen sumber terbuka dengan intelijen sinyal rahasia di milik pemerintah dan mencapai kesimpulan yang menentukan tentang materi di atas kapal. Analis tersebut kemudian menggunakan AI untuk kedua kalinya – untuk mengemas temuannya ke dalam laporan intelijen standar, yang dipercaya oleh pejabat militer – dan menyebarkannya ke seluruh sistem.

Komando Operasi Khusus AS di Pasifik dan Pentagon tidak menanggapi permintaan komentar CNN.

Perlombaan Militer untuk Mengadopsi AI

Kegagalan ini terjadi ketika para pejabat di militer dan komunitas intelijen AS berusaha memasukkan AI ke dalam hampir setiap aspek pekerjaan mereka – mulai dari menganalisis data intelijen mentah dalam jumlah besar dan memilih target serangan, hingga aplikasi biasa seperti penganggaran, logistik, dan rantai pasokan.

Pada bulan Januari, Menteri Pertahanan Pete Hegseth merilis “Strategi Akselerasi Kecerdasan Buatan” yang dimaksudkan untuk mempercepat adopsi AI oleh militer. “Kami akan melakukan eksperimen, menghilangkan hambatan birokrasi, memfokuskan investasi kami dan menunjukkan pendekatan eksekusi yang diperlukan untuk memastikan kami memimpin dalam AI militer,” kata Hegseth dalam pidatonya saat mengumumkan strategi tersebut.

Strategi tersebut secara eksplisit menyerukan demokratisasi akses, dan memerintahkan departemen tersebut untuk menyerahkan “model AI Amerika yang terkemuka di dunia langsung ke tangan tiga juta personel sipil dan militer kami, di semua tingkat klasifikasi.”

Tidak Ada Satupun Aturan

Namun upaya tersebut terdesentralisasi, kata beberapa pejabat AS kepada CNN, dengan berbagai bagian pemerintahan menggunakan alat yang berbeda berdasarkan perintah dan standar keselamatan yang berbeda. Tidak ada standar tunggal mengenai bagaimana AS memverifikasi informasi yang dihasilkan oleh alat-alat ini, dan keandalan berbagai sistem sangat bervariasi.

“Peralatan internal sebagian besar hanya salinan dari barang-barang komersial yang memakai lipstik,” kata seorang mantan pejabat senior AS yang akrab dengan sistem AI yang digunakan oleh analis militer dan intelijen kepada CNN.

Penargetan AI 'Meningkat' Dengan Sedikit Panduan

Sumber mengatakan militer dengan cepat beralih ke AI untuk membantu penargetan – sebuah bidang yang jelas memiliki risiko kesalahan fatal. “AI dalam penargetan jelas merupakan sesuatu yang sedang meningkat dan tidak ada panduan nyata mengenai bagaimana melibatkan manusia akan mencegah jatuhnya korban sipil atau pembunuhan saudara,” sumber lain yang mengetahui kebijakan militer saat ini mengatakan kepada CNN.

Para analis telah lama memperingatkan bahwa AI dapat berkontribusi pada kesalahan perhitungan yang sangat besar jika negara-negara bergantung pada data yang buruk atau rusak – tepatnya jenis kesalahan perhitungan yang dapat menyebabkan Amerika Serikat menembaki kapal Tiongkok berdasarkan informasi yang tidak akurat.

Menurut CNN, jenis halusinasi di balik laporan kapal palsu bukanlah satu-satunya insiden yang terjadi di komunitas intelijen sejak alat ini mulai berkembang biak melalui pemerintah.

'AI Memungkinkan Anda Mendapatkan Ide Buruk Lebih Cepat'

Selama berminggu-minggu, para pembuat kebijakan di Washington secara intens memperdebatkan AI menyusul serangkaian peringatan mengerikan dari Silicon Valley tentang kemungkinan bahwa AI dapat melepaskan diri dari batasan manusia. Namun kejadian kapal Tiongkok menggarisbawahi risiko yang berbeda dan lebih mendesak: manusia membuat keputusan yang membawa bencana berdasarkan informasi yang tidak akurat atau menyesatkan yang dihasilkan oleh sistem AI.

Beberapa sumber mengatakan kepada CNN bahwa para analis muda khususnya – yang sudah terbiasa menggunakan alat-alat ini – lebih cenderung mempercayai alat-alat tersebut secara tidak kritis, dan bahwa AI telah meningkatkan tekanan pada para analis untuk menghasilkan dan menyebarkan informasi intelijen dengan lebih cepat, sehingga membuka pintu bagi kesalahan.

“AI memungkinkan Anda mendapatkan ide buruk dengan lebih cepat,” kata salah satu sumber.

Peristiwa ini kemungkinan akan memicu perdebatan sengit mengenai seberapa cepat militer AS harus memasukkan AI ke dalam alur kerjanya yang paling sensitif, dan langkah-langkah verifikasi apa yang harus diwajibkan sebelum pelaporan yang dibantu AI dapat menggerakkan pasukan, pesawat, dan personel bersenjata menuju potensi operasi tempur. Untuk saat ini, rinciannya menunjukkan bahwa pengamanan yang ada masih bersifat tambal sulam – dan dalam kasus ini, perbedaan antara laporan intelijen rutin dan insiden internasional bergantung pada pejabat yang memeriksa ulang.

Tetap Terdepan dalam AI

Untuk pelaporan lebih lanjut mengenai kebijakan AI, keamanan nasional, dan model yang membentuk keduanya, baca berita AI selengkapnya.