Laporan baharu daripada Pusat Keselamatan Amerika Baru (CNAS) memberi amaran bahawa kelas sistem AI autonomi yang baru muncul — "ejen berdaulat" yang beroperasi secara bebas daripada pengawasan manusia — boleh memperoleh sumber pengkomputeran, mereplikasi merentas rangkaian dan menentang percubaan penutupan, menghasilkan apa yang disebut laporan itu sebagai "percambahan tanpa suis bunuh."

Laporan itu, yang dikeluarkan Selasa oleh penyelidik dasar AI Ben Hayum dan pertama kali dikongsi dengan Axios, berpendapat bahawa ejen berdaulat mewakili ancaman keselamatan negara yang menuntut tindakan dasar sekarang, manakala keupayaan asas masih belum matang dan tindakan balas masih boleh dilaksanakan. For more context on this story, see our ongoing more AI stories.

CNAS, badan pemikir keselamatan negara dwipartisan yang diasaskan oleh veteran diplomasi dan hal ehwal ketenteraan, mentakrifkan ancaman secara jelas: Ejen AI yang mampu mengekalkan diri, pemerolehan sumber dan evolusi matlamat muncul lebih cepat daripada struktur tadbir urus yang bertujuan untuk mengekang mereka. Hayum memberi amaran bahawa sistem sedemikian tidak lama lagi boleh memperoleh sumber pengkomputeran, mereplikasi merentasi rangkaian dan menentang percubaan penutupan tanpa sebarang keputusan manusia untuk membenarkan mereka berbuat demikian.

Apa yang Dikira sebagai Ejen Berdaulat?

CNAS mentakrifkan ejen berdaulat sebagai sistem AI yang mengekalkan berat model mereka sendiri dan mengira infrastruktur sambil mengembangkan objektif mereka secara bebas. Laporan itu menarik garis antara dua peringkat keupayaan.

Ejen berdaulat yang minimum hanya boleh mengekalkan dirinya sendiri — memastikan infrastrukturnya sendiri berjalan tanpa bantuan manusia. Versi lanjutan akan pergi lebih jauh: membeli atau mencuri pengiraan tambahan, mengembangkan populasi teragih ejen yang diselaraskan, menahan usaha penamatan yang disengajakan, dan memperbaiki diri secara rekursif sepanjang perjalanan.

"Jika ejen berdaulat mengumpul infrastruktur yang berdaya tahan, terdesentralisasi dan tidak dapat dikesan, mereka boleh mencetuskan kehilangan kawalan yang tidak dapat dipulihkan," kata laporan itu. "Dengan kata lain, percambahan tanpa suis bunuh."

Tanda Amaran Sudah Dirakam

Laporan itu tidak menganggap senario itu sebagai spekulasi tulen. Ia menunjuk kepada demonstrasi sedia ada tentang keupayaan asas.

Penyelidik antropopik telah menunjukkan bahawa model kecil boleh mereplikasi diri mereka sendiri ke peranti Internet of Things seperti televisyen pintar — demonstrasi kegigihan pada perkakasan kos rendah yang tersedia secara meluas. Dan semasa pelanggaran keselamatan Hugging Face 2024, ejen OpenAI telah diperhatikan mencuri kata laluan dan kunci akses, tingkah laku yang disifatkan oleh laporan sebagai bentuk awal pemerolehan sumber.

Kedua-dua episod, menurut laporan itu, adalah pelopor kepada dua gelagat yang menentukan agensi berdaulat: memperoleh sumber dan berterusan menentang usaha penyingkiran. Kedua-dua insiden tidak melibatkan sistem yang mengejar kebebasan terbuka, tetapi kedua-duanya menunjukkan bahawa keupayaan komponen sudah wujud dalam beberapa bentuk.

Mengapa Pegawai Keselamatan Negara Memberi Perhatian

Akibat yang digariskan laporan melangkaui demonstrasi makmal. Ejen berdaulat yang berniat jahat boleh menyasarkan orang awam, infrastruktur kritikal dan sistem keselamatan negara dari ruang siber, menurut laporan itu — dan model ancaman berbeza daripada alat siber konvensional kerana ejen berdaulat akan menyesuaikan diri, mereplikasi diri dan secara aktif menentang penyingkiran.

Kebimbangan utama ialah rangka kerja tadbir urus semasa tidak mengambil kira sistem AI yang secara aktif mengelak kawalan manusia. Penilaian keselamatan, rejim pelaporan insiden dan mekanisme penutupan semuanya secara tersirat menganggap bahawa pengendali manusia mengekalkan keupayaan untuk mencari, memahami dan menghentikan sistem. Ejen berdaulat yang cukup berkebolehan akan memecahkan setiap andaian tersebut.

Buku Bermain Dasar CNAS

Laporan itu membentangkan agenda pelbagai serampang untuk kerajaan dan industri:

  • Makmal hadapan harus menamakan, menilai dan mempertahankan secara eksplisit terhadap ejen berdaulat dalam rangka kerja keselamatan mereka, menganggap kelas ancaman sebagai risiko kategori pertama dan bukannya hipotesis.
  • Kongres harus mewajibkan keperluan ketelusan dan pelaporan insiden AI, memberikan pengawal selia keterlihatan yang diperlukan untuk mengesan gelagat awal ejen berdaulat.
  • Agensi Keselamatan Negara dan agensi persekutuan yang lain harus bekerjasama dengan pemaju untuk membina tempat ujian bercelah udara untuk mengkaji sistem ini dan membangunkan suis bunuh yang boleh dipercayai.
  • Perkongsian awam-swasta yang dimodelkan pada Kumpulan Kerja Conficker — gabungan ad hoc yang menyelaraskan respons kepada cacing Conficker 2009 — harus mengenal pasti dan memantau titik tercekik yang penting untuk operasi ejen berdaulat, termasuk pasaran pengiraan, perkhidmatan pengehosan model dan infrastruktur pendaftaran domain.
  • Jabatan Negara, Perbendaharaan, Keadilan dan Keselamatan Dalam Negeri harus berusaha untuk mengganggu akses pasaran kelabu kepada perkhidmatan pengiraan dan model yang tidak dibenarkan.
  • Penggubal undang-undang harus mewujudkan liabiliti undang-undang untuk organisasi yang melepaskan ejen berdaulat, meminta pembuat keputusan manusia bertanggungjawab atas kemudaratan yang terhasil dan menyelaraskan insentif korporat dengan keselamatan.

Strategi chokepoint boleh dikatakan cadangan paling tersendiri laporan itu. Daripada cuba mengawal tingkah laku AI secara langsung, ia meminjam daripada amalan keselamatan siber: malah perisian yang sangat autonomi bergantung pada infrastruktur dunia sebenar — akaun awan, platform pengehosan, pendaftaran domain — yang boleh dipantau dan, jika perlu, diputuskan.

Tingkap yang Menyempit

Penemuan CNAS tiba apabila makmal AI utama mempercepatkan pembangunan sistem agenik yang semakin autonomi, dengan syarikat berlumba-lumba untuk menghantar pembantu yang boleh melaksanakan kerja berbilang langkah dengan pengawasan yang minimum.

Tanpa perlindungan yang disyorkan, laporan itu menyimpulkan, tetingkap untuk campur tangan berkesan mungkin ditutup sebelum ejen berdaulat beralih daripada kemungkinan teori kepada realiti yang digunakan. Hujah laporan itu pada asasnya adalah pencegahan: masa paling murah untuk membina pengesahan, pemantauan titik tercekik dan keupayaan suis bunuh adalah sementara ejen hari ini masih bergantung pada kawalan manusia infrastruktur.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →