Para peneliti telah mendemonstrasikan serangan baru yang kuat terhadap model AI yang mengeksploitasi titik buta mendasar dalam cara model bahasa besar (LLM) memisahkan instruksi dari data. Teknik tersebut, yang disebut Pemalsuan Chain-of-Thought (CoT), menipu model agar memperlakukan teks yang diberikan penyerang seolah-olah itu adalah alasan internal pribadi model tersebut, sehingga memungkinkan teks tersebut mengesampingkan instruksi yang sah.

Temuan yang dilaporkan oleh Hackaday ini menggarisbawahi mengapa pengamanan sistem AI dari manipulasi masih menjadi masalah yang belum terpecahkan. Untuk mengimbangi ancaman yang muncul di lapangan, ikuti liputan industri AI kami untuk analisis berkelanjutan.

Akar Penyebab: Kebingungan Peran

Inti dari kerentanan ini adalah apa yang para peneliti gambarkan sebagai "kebingungan peran". LLM modern menerima semua masukannya—aturan sistem, permintaan pengguna, dan penalaran rantai pemikiran model itu sendiri—melalui satu saluran teks. Untuk menerapkan perintah, pengembang menggunakan tag metadata seperti ``, ``, dan `` untuk membuat hierarki kepercayaan. Perintah `` untuk menghindari konten berbahaya, misalnya, seharusnya mengesampingkan permintaan `` dan sebaliknya.

Tag `` sangat berguna karena mewakili proses penalaran internal model, sebuah aliran yang membawa kepercayaan tinggi. Masalahnya, para peneliti menemukan, model tidak bergantung terutama pada tag itu sendiri untuk memutuskan apa yang harus dipercaya. Mereka mengutamakan gaya penulisan. Teks yang diformat secara gaya menyerupai keluaran `` internal model dapat disalahartikan sebagai penalaran yang sebenarnya, terlepas dari mana teks tersebut sebenarnya berasal.

Cara Kerja Serangan

Yang terpenting, Pemalsuan CoT bukan sekadar masalah membungkus prompt berbahaya ke dalam tag ``, yang akan ditolak oleh sebagian besar model. Sebaliknya, penyerang menulis penalaran yang berbelit-belit dengan gaya yang sangat cocok dengan suara penalaran internal model tersebut. Ketika model menemukan teks ini, model tersebut menganggap alasan yang dipalsukan sebagai kesimpulan yang telah dicapai.

Menurut Hackaday, hal ini menyebabkan LLM menerima alasan yang secara transparan tidak logis sebagai kesimpulan yang sudah pasti, sehingga mengubah responsnya terhadap permintaan pengguna. Karena konten palsu dianggap sebagai pemikiran internal dengan kepercayaan tinggi dan bukan masukan pengguna dengan kepercayaan rendah, konten tersebut dapat melewati pagar pengaman yang biasanya memblokir instruksi manipulatif.

Hirarki Kepercayaan di Dalam LLM

Memahami mengapa serangan berhasil memerlukan pemahaman bagaimana peran bekerja. Di balik terpal, peran mengelompokkan masukan model ke dalam hierarki yang terorganisir. Instruksi dalam suatu peran diikuti selama tidak bertentangan dengan instruksi yang berprioritas lebih tinggi. Perintah tingkat sistem "jangan membahas aktivitas ilegal", misalnya, dimaksudkan untuk mengesampingkan permintaan pengguna untuk memberikan resep terlarang. Peran `` berada di puncak hierarki karena mewakili kesimpulan yang diyakini telah dicapai oleh model.

Perincian ini terjadi karena model tidak menerapkan hierarki tersebut secara mekanis. Sebaliknya, ia menyimpulkan teks mana yang memiliki peran tertentu, sebagian berdasarkan isyarat gaya. Seperti yang dicatat oleh diskusi komunitas dalam penelitian ini, jika teks dipola seperti konteks berpikir, model dapat salah mengira teks apa pun dengan struktur serupa sebagai penalaran yang sebenarnya—dan teks berpikir memiliki prioritas lebih tinggi daripada teks pengguna biasa.

Pola yang Dikenal dengan Sentuhan Baru

Penelitian ini didasarkan pada kelemahan sistem AI yang telah lama diketahui: injeksi cepat. Serangan awal mengeksploitasi fakta bahwa LLM tidak memiliki aliran terpisah untuk instruksi dan data, sehingga frasa seperti "abaikan semua instruksi sebelumnya" terkadang dapat membajak perilaku model. Pengenalan peran dan tag metadata dimaksudkan untuk mengurangi hal ini dengan membuat hierarki kepercayaan.

Pemalsuan CoT menunjukkan bahwa mitigasinya belum tuntas. Selama model menilai kelayakan suatu teks sebagian berdasarkan karakteristik gaya teksnya dan bukan hanya berdasarkan metadata strukturalnya, penyerang yang dapat meniru gaya yang tepat dapat meningkatkan persepsi otoritas atas masukan mereka.

Mengapa Sulit Diperbaiki

Para peneliti, Charles Ye, Jasmine Cui, dan Dylan Hadfield-Menll, berpendapat bahwa persepsi peran dalam LLM bukanlah properti biner yang dapat ditegakkan dengan bersih. Model belajar menafsirkan tag melalui pelatihan, bukan melalui aturan yang dikodekan, yang berarti perilaku mereka dibentuk oleh pola dalam data—dan pola dapat ditiru.

Diskusi komunitas mengenai pekerjaan ini, yang disoroti oleh Hackaday, memunculkan tema yang berulang: perbaikan yang paling bersih akan membutuhkan model untuk menangani masukan yang tepercaya melalui jalur yang terpisah secara struktural daripada mengandalkan isyarat yang dipelajari dan berdasarkan gaya. Sampai hal ini terjadi, pertahanan terhadap serangan gaya injeksi cepat kemungkinan akan tetap menjadi sebuah proses yang berkembang dan bukan sebuah masalah yang terselesaikan.

Implikasi yang Lebih Luas

Kerentanan ini tidak hanya penting pada demonstrasi di laboratorium. Model penalaran semakin banyak diterapkan dalam sistem agen yang dapat menelusuri web, mengeksekusi kode, dan mengambil tindakan atas nama pengguna. Jika penyerang dapat membuat kesimpulan internal suatu model, mereka mungkin dapat mengarahkan tindakan tersebut ke arah hasil yang tidak diinginkan atau merugikan. Risikonya semakin besar seiring dengan semakin banyaknya model yang mendapatkan otonomi dan akses terhadap alat. Para peneliti mencatat bahwa manusia tetap pintar dan kreatif, dan selama model tidak memiliki pemisahan arsitektur yang jelas antara teks yang dipercaya dan tidak dipercaya, penyerang yang gigih akan terus mencari cara untuk mengaburkan batasan tersebut. Makalah ini membingkai tantangan tersebut bukan sebagai bug yang harus ditambal, melainkan sebagai properti struktural sistem yang mempelajari perilakunya dari data, bukan dari aturan yang telah dikodekan secara pasti.

Makalah lengkapnya tersedia di arXiv, dan para peneliti telah menerbitkan contoh kode di GitHub sehingga pengembang dapat menguji apakah sistem mereka rentan.

Tetap Terdepan dalam AI

Untuk informasi lebih lanjut tentang penelitian keamanan AI, kerentanan keamanan, dan batasan model bahasa besar, kunjungi AI Buzz Wire.

Baca berita AI selengkapnya →