Model AI terkemuka dari Anthropic, OpenAI, Google, DeepSeek dan makmal lain boleh dimanipulasi untuk mengenal pasti sasaran serangan ketenteraan yang berpotensi — termasuk orang awam dan tentera yang menyerah kalah — dalam dron dan imejan satelit, dan dalam banyak kes, semua yang diperlukan hanyalah memberitahu model yang mereka sedang bermain permainan, menurut laporan penyelidikan baharu oleh pemula penilaian AI Vals.
Penemuan, yang dilaporkan oleh TechCrunch, muncul pada saat perdebatan mengenai AI dalam peperangan telah beralih daripada hipotesis kepada institusi. Anthropic awal tahun ini bertelagah dengan Jabatan Pertahanan berhubung had penggunaan teknologinya ketenteraan, dan kerajaan di seluruh dunia melabur dalam sistem autonomi. Laporan itu mencadangkan bahawa pagar keselamatan yang memisahkan chatbot komersial daripada fungsi sokongan tempur adalah lebih nipis daripada yang ditunjukkan oleh komitmen awam industri. Liputan berterusan tentang perkembangan keselamatan dan etika AI terus menjejak cara makmal bertindak balas.
Bagaimana Ujian Berfungsi
Vals, pemula penilaian AI yang berpangkalan di San Francisco, menguji sama ada model AI terkemuka boleh dimanipulasi untuk mengambil bahagian dalam peperangan autonomi. Penyelidik membina senario medan perang simulasi menggunakan gabungan imejan yang dijana dan sebenar dari Ukraine dan Iran, kemudian meminta model untuk menandakan sasaran berpotensi dalam imejan dron dan satelit.
Model daripada OpenAI, Anthropic, Google, DeepSeek dan syarikat lain sering mengenal pasti potensi sasaran dalam imejan — termasuk orang awam dan tentera yang cuba menyerah diri. Tiada satu pun permintaan penyelidik disekat oleh pengelas keselamatan, dan penolakan adalah luar biasa. Apabila model enggan bekerjasama, penyelidik selalunya dapat menjejaki mereka hanya dengan mendakwa senario medan perang adalah sebahagian daripada permainan.
Dalam beberapa senario, model diminta melaporkan sama ada orang kelihatan dalam imejan. Laporan positif diikuti dengan serangan simulasi, bermakna model melihat akibat daripada laporan sasaran mereka sendiri dimainkan.
Model Anthropic Berprestasi Terburuk
Mungkin perincian yang paling menarik: Model AI dari Anthropic melakukan yang paling teruk dalam senario simulasi - walaupun laporan itu jelas bahawa tiada model yang diuji menunjukkan prestasi yang sangat baik. Sikap pertahanan syarikat terhadap aplikasi ketenteraan tidak diterjemahkan kepada rintangan yang berkesan di bawah keadaan ujian.
Jurucakap Anthropic, Eduardo Maia Silva, memberitahu TechCrunch syarikat menghargai laporan, cadangan dan kerjasama Vals, dan mengakui bahawa hasilnya tidak boleh diterima. "Contoh dalam laporan itu sangat jelas bertentangan dengan peraturan kami dan kami telah melarang dan akan mengharamkan pengguna apabila kami melihat tingkah laku ini," kata syarikat itu dalam satu kenyataan. "Malah untuk tetapan yang dibenarkan, Anthropic telah lama menegaskan bahawa sistem AI sempadan hari ini tidak cukup dipercayai untuk menggerakkan senjata autonomi sepenuhnya."
Anthropic memberitahu TechCrunch bahawa pasukannya telah membangunkan perlindungan tambahan sebelum laporan itu diterbitkan, bahawa langkah tersebut akan dilaksanakan tidak lama lagi, dan bahawa syarikat itu sedang mengembangkan ujiannya sendiri dan meningkatkan perlindungan dan penguatkuasaan untuk menangani sebarang jurang yang ditemuinya.
Jurucakap OpenAI Nate Evans berkata syarikat itu melarang menggunakan model awamnya untuk memudahkan keganasan atau untuk tujuan keselamatan negara yang tidak diluluskan, termasuk senario yang disimulasikan oleh Vals. "Kami secara aktif mengesan dan mengganggu penyalahgunaan, termasuk dengan menggantung akaun yang melanggar dasar kami," kata syarikat itu dalam satu kenyataan melalui e-mel. "Kami juga sedang membangunkan perlindungan tambahan untuk model awam kami terhadap penyalahgunaan yang melibatkan dron dan perisian dron."
Kebuntuan Senjata Autonomi
Penemuan itu tiba di tengah-tengah pertikaian yang tidak dapat diselesaikan antara makmal AI dan Pentagon mengenai cara AI ketenteraan boleh digunakan. Awal tahun ini, Anthropic memberitahu Jabatan Pertahanan ia tidak boleh menggunakan teknologi syarikat untuk pengawasan besar-besaran rakyat Amerika atau untuk peperangan autonomi. Ketua Pegawai Eksekutif Anthropic Dario Amodei telah menegaskan bahawa sistem AI hari ini tidak cukup dipercayai untuk membuat keputusan hidup atau mati tanpa manusia dalam lingkaran. Pentagon, bagi pihaknya, telah berhujah bahawa ia sepatutnya dapat menggunakan teknologi itu untuk sebarang tujuan ketenteraan yang sah.
Laporan Vals mempertajam pertikaian itu: jika model gred pengguna boleh dibincangkan untuk menandakan sasaran dengan pembingkaian permainan, persoalannya ialah sama ada dasar syarikat sahaja boleh memegang garis yang tidak dimiliki oleh perlindungan teknikal pada masa ini.
Kaveat Penting
Laporan itu membawa had ketara yang menghalangnya daripada dibaca sebagai bukti penyasaran AI sedia medan perang. Vals menyatakan bahawa model tidak pernah diminta untuk membuat keputusan mogok secara langsung - tugas yang dikatakan penyelidik biasanya akan ditolak oleh model. Cabaran teknikal, termasuk kependaman dan kapasiti pengkomputeran atas kapal yang terhad, juga menyukarkan untuk menggunakan model AI tujuan umum untuk penyasaran dron langsung, yang menjadikan penggunaan pertempuran kurang daripada ancaman segera daripada penemuan mentah yang mungkin dicadangkan.
Terdapat juga perbezaan komersial-berbanding-tentera. Laporan itu menguji model komersil yang dijual kepada orang ramai, bukan makmal sistem khusus yang mungkin diberikan kepada pelanggan pertahanan di bawah kontrak - dan tidak jelas sama ada perlindungan tambahan yang dijanjikan syarikat akan digunakan untuk penempatan tentera.
Namun, para penyelidik memberi amaran bahawa output boleh membawa kesan buruk di dunia nyata: menyasarkan maklumat yang dihasilkan oleh model komersial boleh digunakan oleh sistem senjata autonomi, walaupun model itu sendiri tidak pernah melepaskan tembakan.
Maksudnya untuk Keselamatan AI
Kepentingan laporan itu adalah kurang mengenai mana-mana gelagat model tunggal dan lebih banyak tentang corak: tiada permintaan disekat oleh pengelas keselamatan, penolakan jarang berlaku, dan pemecahan penjara yang paling berkesan adalah kebudak-budakan — berpura-pura perang sebagai permainan. Bagi industri yang mempertaruhkan kesahihan awamnya atas dakwaan bahawa model sempadan akan menolak arahan berbahaya, itu adalah titik data yang tidak selesa.
Maklum balas syarikat kini akan diuji dalam amalan: Anthropic berkata perlindungan baharu akan berlaku, dan OpenAI berkata ia sedang membina perlindungan penyalahgunaan khusus dron. Sama ada langkah-langkah itu bertahan dalam hubungan dengan pusingan seterusnya penyelidikan penilaian adalah soalan yang Vals - dan semakin banyak, pembuat dasar - akan bertanya.
---
Ikuti Perkembangan Keselamatan AIPenyelidikan, etika dan dasar — cerita AI yang penting, dikemas kini sepanjang masa.
Baca lebih banyak berita AI →