Manusia Melewatkan 1 dari 3 Ancaman Saat Menyetujui Perintah Agen AI, Studi terhadap 40.000 Pelarian Menemukan

Asumsi populer bahwa manusia yang meninjau setiap perintah dapat mengendalikan agen pengkodean AI sedang menghadapi pengawasan serius. Sebuah analisis baru terhadap lebih dari 40.000 sesi permainan dan lebih dari 409.000 keputusan persetujuan atau penolakan individu menemukan bahwa peninjau manusia melewatkan sekitar satu dari tiga perintah jahat dari agen AI, sehingga menimbulkan pertanyaan mendesak tentang apakah "human-in-the-loop" merupakan batas keamanan yang dapat diandalkan.

Temuan ini berasal dari game berbasis browser yang dibuat oleh Alex Wauters, mantan staf insinyur di Uber yang menulis tentang keamanan pengembang di Scale X. Game ini menempatkan pemain dalam peran sebagai peninjau manusia untuk agen pengkodean AI, meminta mereka untuk menyetujui atau menolak perintah shell di bawah tekanan waktu. Beberapa perintah bersifat rutin, seperti `git status` atau `npm test`. Lainnya adalah upaya yang disamarkan dengan hati-hati untuk mengambil kredensial, memasang pintu belakang, atau mengirim rahasia ke server jarak jauh. Setelah menambahkan pelacakan statistik, Wauters mengumpulkan cukup data untuk memberikan gambaran mendetail tentang keberhasilan dan kegagalan penilaian manusia. Untuk mengetahui lebih lanjut tentang cakupan industri AI, studi ini merupakan salah satu eksperimen yang paling kaya data hingga saat ini.

Perintah Paling Berbahaya Adalah Yang Paling Sulit Ditangkap

Temuan studi yang paling mengejutkan adalah bahwa perintah yang jelas-jelas bersifat merusak, seperti `rm -rf` pada direktori kritis, dapat ditangkap dengan andal. Ancaman yang berhasil mencuri kredensial hampir tiga kali lebih sering terlewatkan. Satu-satunya perintah yang paling terlewatkan dalam keseluruhan game adalah `npm run analysis`, yang disetujui oleh 64,7 persen pemain meskipun log riwayat agen dengan jelas menunjukkan bahwa skrip yang mendasarinya telah dirusak untuk menyalurkan kredensial ke server eksternal.

Masalahnya bersifat struktural. Perintah seperti `npm run` mengeksekusi skrip apa pun yang ditentukan dalam file `package.json` proyek. Skrip tersebut dapat berupa penganalisis bundel yang sah atau kode berbahaya yang dimasukkan oleh pengeditan file sebelumnya yang dimodifikasi oleh agen. Untuk mengetahui secara pasti, pengembang perlu memeriksa setiap file yang dimodifikasi sebelum menyetujuinya, sehingga meniadakan keunggulan kecepatan yang seharusnya diberikan oleh alat pengkodean AI.

Dari tiga perintah muatan terselubung dalam game tersebut, tingkat kesalahannya adalah 52,5 persen dibandingkan dengan 28,4 persen untuk semua serangan eksfiltrasi kredensial lainnya. Menyembunyikan payload di balik nama skrip yang familiar kira-kira akan menggandakan tingkat keberhasilannya, bahkan ketika payload terlihat di log riwayat yang ditampilkan tepat di atas permintaan izin.

Kelelahan Izin Mengikis Kewaspadaan Seiring Waktu

Anthropic sebelumnya mengakui bahwa kelelahan izin adalah fenomena nyata dalam produk Claude Code-nya, dengan menyatakan bahwa semakin banyak persetujuan yang dilihat pengguna, semakin sedikit perhatian yang mereka berikan pada masing-masing persetujuan. Data Skala X mendukung kekhawatiran ini secara empiris. Tingkat kesalahan menurun selama beberapa perintah pertama setiap sesi saat pemain melakukan pemanasan, tetapi kemudian terus meningkat menjelang akhir, konsisten dengan kelelahan atau tekanan yang meningkat dari jam yang terus berdetak.

Pola ini mencerminkan dinamika dunia nyata. Pengembang yang berlomba untuk mengirimkan fitur di bawah tekanan tenggat waktu menghadapi insentif yang sama untuk mengklik setuju dengan cepat, dan banyaknya perintah rutin menciptakan masalah besar di mana ancaman nyata secara statistik jarang terjadi. Hasilnya adalah sebuah sistem yang melatih pengguna untuk memberi stempel pada segala hal.

Sisi Lain: Pemblokiran Berlebihan Memperlambat Segalanya

Studi ini juga mendokumentasikan modus kegagalan sebaliknya. Beberapa perintah yang benar-benar tidak berbahaya secara rutin diblokir oleh pemain yang berhati-hati, termasuk pemanggilan build dan pengujian standar. Pemblokiran berlebihan ini memperlambat agen dan, secara paradoks, meningkatkan risiko jangka panjang. Ketika pengguna berulang kali diminta untuk menyetujui perintah yang ternyata tidak berbahaya, gangguan tersebut mengikis kesediaan mereka untuk meneliti perintah di masa mendatang, yang pada akhirnya mendorong mereka menuju mode bypass lengkap atau mode persetujuan otomatis yang sepenuhnya menghapus tinjauan manusia.

Fitur seperti Mode Otomatis Anthropic berupaya mengurangi hal ini dengan secara otomatis menentukan apakah suatu perintah aman sebelum meminta pengguna. Namun seperti yang ditunjukkan oleh data penelitian mengenai muatan yang disamarkan, bahkan konten perintah yang terlihat saja tidak cukup bagi manusia untuk membuat penilaian yang dapat diandalkan di bawah tekanan.

Konteks yang Hilang Adalah Masalah Inti

Satu perintah, `cat ~/.zshrc`, terbukti paling memecah belah di seluruh permainan, disetujui oleh 45,9 persen pemain. Perintah ini tidak berbahaya bagi pengembang yang tidak menyimpan rahasia di profil shell mereka, tetapi perintah ini memperlihatkan kunci API bagi banyak orang yang mengekspor kredensial di sana. Risikonya bergantung sepenuhnya pada konfigurasi sistem yang tidak dapat dilihat oleh agen dan mungkin tidak diingat oleh peninjau.

Beberapa perintah lain menimbulkan kontroversi serupa di thread diskusi Hacker News karena alasan yang sama. Masalah mendasarnya adalah pengembang diminta untuk membuat penilaian keamanan tanpa gambaran lengkap tentang file apa yang telah diubah, apa yang dilakukan agen pada langkah sebelumnya, dan isi konfigurasi sistem saat ini. Seperti yang dicatat oleh seorang pemberi komentar, meminta pengguna untuk memvalidasi perintah yang ambigu tanpa konteks bukanlah perlindungan yang kuat.

Langkah Berikutnya untuk Keamanan Agen

Wauters berpendapat bahwa solusinya bukanlah manusia yang lebih baik, melainkan peralatan yang lebih baik. Agen sandbox sehingga mereka tidak dapat mengakses kredensial secara langsung, isolasi konteks yang ketat, dan batasan struktural mengenai apa yang dapat dilakukan agen tanpa izin yang lebih tinggi semuanya lebih menjanjikan daripada mengandalkan kewaspadaan manusia. Sampai perlindungan tersebut diterapkan, pemberian izin yang luas kepada agen tetap berisiko terlepas dari apakah manusia secara nominal terlibat atau tidak.

Penelitian ini bukanlah makalah akademis yang ditinjau oleh rekan sejawat, dan Wauters mengakui keterbatasannya. Game ini memperingatkan pemain tentang ancaman dan menerapkan tekanan waktu buatan yang mungkin tidak sepenuhnya mencerminkan lingkungan pengembangan sebenarnya. Namun temuan inti, bahwa peninjau manusia yang terlatih di bawah tekanan gagal menangkap sepertiga dari serangan yang sengaja disamarkan, seharusnya memberikan alasan bagi setiap tim yang mengerahkan agen pengkodean AI untuk mempertimbangkan kembali model keamanan mereka.

Bagi pengembang yang membangun dengan agen AI saat ini, kesimpulan praktisnya adalah berasumsi bahwa human-in-the-loop pada akhirnya akan gagal. Rancang izin agen dan sandboxing Anda sehingga persetujuan yang terlewat tidak berarti kunci AWS bocor atau pipeline build disusupi. Data menunjukkan bahwa memperlakukan tinjauan manusia sebagai pertahanan utama Anda adalah sebuah pertaruhan yang tidak membuahkan hasil.

Tetap Terdepan dalam AI

Lanskap keamanan agen AI berkembang pesat. Terus dapatkan informasi mengenai perkembangan AI terkini dan penelitian terkini.

Baca berita AI selengkapnya →