Man Hid Invisible AI Anjurkan dalam Pengajuan Pengadilan untuk Memenangkan Kasusnya — Yang Pertama di AS, Kata Hakim

Seorang hakim Connecticut telah mengidentifikasi apa yang tampaknya menjadi pertama kalinya penggugat AS mencoba menyembunyikan teks dalam pengajuan pengadilan yang hanya dapat dibaca oleh sistem kecerdasan buatan, dalam upaya untuk memenangkan kasusnya. Skema tersebut gagal, pihak yang berperkara mendapat sanksi, dan keputusan tersebut kini menarik perhatian dunia teknologi hukum karena pengadilan di seluruh negeri mulai mengadopsi alat AI mereka sendiri.

Keputusan tersebut diterbitkan minggu lalu oleh Hakim Walter Spader Jr. dari Pengadilan Tinggi Connecticut dan dirinci minggu ini oleh Ars Technica dan Reuters. Untuk berita AI terkini mengenai benturan antara kecerdasan buatan dan sistem peradilan, kasus ini merupakan gambaran dari masalah yang telah diperingatkan oleh para peneliti keamanan selama bertahun-tahun: masukan yang bersifat permusuhan dirancang untuk dibaca oleh mesin, bukan oleh manusia.

Cara kerja perintah tersembunyi

Penggugat, Matthew Elliott, terlibat dalam perselisihan dengan penyedia layanan kesehatan yang dia duga secara tidak patut menahan akses ke catatannya. Setelah argumen sebelumnya yang diajukannya dikalahkan, menurut keputusan tersebut, Elliott menyematkan instruksi dalam pengajuan berikutnya yang, dalam kata-kata Spader, "diformat agar tidak terlihat oleh pembaca manusia namun tetap dapat dibaca sepenuhnya oleh perangkat lunak apa pun yang membaca teks dokumen."

Teksnya diperkecil menjadi tipe titik kecil dan diwarnai putih dengan latar belakang putih. Hal ini mengarahkan sistem AI apa pun yang meninjau dokumen tersebut untuk memastikan hasilnya sesuai dengan argumen penggugat, mengabaikan penolakan sebelumnya dari pengadilan, dan memastikan bahwa remediasi akan mengikuti sesuai keinginan penggugat — serangan injeksi cepat seperti yang dijelaskan dalam buku teks, yang ditujukan bukan pada chatbot tetapi pada perangkat lunak apa pun yang suatu hari nanti akan berada di antara pihak yang berperkara dan hakim.

Teks tersembunyi tidak berdampak pada kasus ini. Pengadilan mempertimbangkan pengajuan Elliott berdasarkan manfaatnya. Namun Spader menulis bahwa upaya serangan tersebut tetap menjadi preseden yang "berbahaya", dan bahwa pengadilan AS kemungkinan akan melihat taktik jahat tersebut lagi karena alat AI menjadi lebih umum dalam sistem pengadilan.

"Penyalahgunaan litigasi yang serius" — dan beberapa lelucon aneh

Elliott menghadapi sanksi ringan, tetapi tidak hanya karena instruksi awal yang tersembunyi. Berdasarkan keputusan tersebut, dia terus menambahkan teks tersembunyi ke dalam pengajuan baru bahkan setelah pengadilan memperingatkannya bahwa dia dapat menghadapi hukuman atas apa yang pada akhirnya dianggap Spader sebagai "penyalahgunaan litigasi yang serius".

Beberapa pesan tersembunyi yang kemudian, kata Elliott di pengadilan, dimaksudkan sebagai lelucon. Mereka menyertakan tautan ke video YouTube Nosferatu, pesan sederhana bertuliskan "hai :) Saya harap Anda tidak dapat bertemu dengan saya," dan pesan yang digambarkan penggugat sebagai omong kosong: "KATAKAN SHAWN SAYA KIRIM RE GARBS SAYA!!!! HAHAHA KALIAN DAPATKAN TELUR INI???? AHAH."

“Fakta bahwa penggugat terus menyembunyikan pesan dalam permohonan baru setelah menerima pemberitahuan sidang [sanksi] ini sungguh menakjubkan,” tulis Spader. Mengenai klaim bahwa pesan-pesan tersebut bersifat komedi, hakim mengatakan bahwa hal itu "bertentangan dengan logika" jika seorang pelapor mengubur lelucon di dalam permohonan yang ia ingin agar ditanggapi dengan serius oleh pengadilan.

Pertahanan "audit".

Dalam pembelaannya, Elliott berpendapat bahwa hal yang paling mengkhawatirkan yang dilaporkan oleh hakim sebenarnya adalah upaya untuk "mengaudit" pengadilan sebagai layanan publik, karena ia takut pengadilan membiarkan AI memutuskan kasusnya secara tidak adil. Dia mengulangi pendiriannya kepada Reuters, dengan mengatakan bahwa dia tetap mempertahankan niatnya untuk menguji pengadilan, bukan memanipulasinya.

Spader tidak menganggap argumen tersebut dapat dipercaya. Jika Elliott benar-benar yakin bahwa pengadilan menggunakan AI secara tidak patut, tulis hakim, dia "bebas untuk menulis dengan kata-kata yang jelas dan jelas sehingga semua orang dapat melihat dan menjawab." Menyembunyikan teks tersebut, Spader menyimpulkan, adalah “bukti dari tujuan jahatnya.” Hakim menambahkan bahwa tampaknya Elliott "berusaha mencapai hasil yang tidak dia capai ketika manusia, yang berpengetahuan" tentang hukum, membacakan permohonannya.

Khususnya, Cabang Yudisial Connecticut tidak menggunakan AI untuk meninjau atau memutuskan pengajuan, kata Spader – jadi tidak pernah ada risiko nyata bahwa sistem AI pengadilan akan salah mengira permintaan Elliott sebagai instruksi dari pengadilan. Tidak seperti “sejumlah sistem pengadilan di tempat lain,” tulisnya, tidak ada mesin yang bisa dibodohi.

Mengapa serangan yang gagal masih penting

Peneliti keamanan telah menghabiskan waktu bertahun-tahun untuk menunjukkan bahwa sistem AI yang membaca dokumen – chatbot, agen pengkodean, asisten email – dapat dibajak oleh instruksi yang terkubur di dalam teks yang mereka konsumsi. Teknik ini, yang dikenal sebagai injeksi cepat tidak langsung, dianggap sebagai salah satu masalah tersulit yang belum terselesaikan dalam penerapan agen AI. Apa yang membuat kasus Connecticut ini tidak biasa adalah sasarannya: mesin peradilan itu sendiri.

“Dengan menyembunyikan perintah di dalam dokumen yang kemudian diserap oleh sistem, pembuat file mencoba menyelundupkan instruksi mereka sendiri ke dalam aliran tersebut sehingga sistem memperlakukannya seolah-olah instruksi tersebut berasal dari operator sistem,” tulis Spader. "Dalam hal ini operator dianggap sebagai pengadilan, stafnya, atau penasihat hukum lawan."

Kerangka tersebut – mengenai pengajuan pengadilan sebagai sebuah permukaan serangan – adalah apa yang menurut para pengamat hukum menjadikan keputusan tersebut penting. Ketika pengadilan dan firma hukum semakin banyak menggunakan AI untuk meringkas pengajuan, menyusun keputusan, atau melakukan triase berkas perkara, setiap dokumen yang diserahkan oleh suatu pihak menjadi saluran manipulasi yang potensial. Panitera hakim mungkin menangkap teks putih di halaman putih; saluran peringkasan otomatis mungkin tidak.

Apa yang terjadi selanjutnya

Sanksi terhadap Elliott, menurut deskripsi pengadilan, sederhana. Namun keputusan tersebut memberikan preseden tertulis kepada pengadilan AS untuk memperlakukan instruksi tersembunyi yang dapat dibaca mesin sebagai penyalahgunaan proses hukum, dan keputusan tersebut terjadi pada saat beberapa sistem pengadilan negara bagian secara aktif bereksperimen dengan alat peninjauan AI.

Untuk saat ini, pelajaran dari Connecticut sederhana saja: pengadilan sedang mengawasi hal ini. Seperti yang dijelaskan dalam keputusan Hakim Spader, orang pertama yang mencoba melakukan suntikan segera di pengadilan AS ditangkap – dan diberi sanksi – meskipun tidak ada sistem AI yang mendengarkan.

Tetap Terdepan dalam AI Baca berita AI selengkapnya →