Lelaki Sembunyikan Invisible AI Gesa dalam Pemfailan Mahkamah untuk Memenangi Kesnya - AS Pertama, Kata Hakim

Seorang hakim Connecticut telah mengenal pasti apa yang nampaknya kali pertama seorang plaintif AS cuba menyembunyikan teks dalam pemfailan mahkamah yang hanya boleh dibaca oleh sistem kecerdasan buatan, dalam usaha untuk memenangi kesnya. Skim itu gagal, pihak yang berperkara telah dibenarkan, dan keputusan itu kini menarik perhatian di seluruh dunia teknologi perundangan apabila mahkamah di seluruh negara mula menggunakan alat AI mereka sendiri.

Keputusan itu diterbitkan minggu lepas oleh Hakim Walter Spader Jr. dari Mahkamah Tinggi Connecticut dan diperincikan minggu ini oleh Ars Technica dan Reuters. Untuk berita terbaharu AI mengenai perlanggaran antara kecerdasan buatan dan sistem keadilan, kes ini adalah pratonton masalah yang telah dimaklumkan oleh penyelidik keselamatan selama bertahun-tahun: input musuh yang direka untuk dibaca oleh mesin dan bukannya manusia.

Cara gesaan tersembunyi berfungsi

Plaintif, Matthew Elliott, telah dikunci dalam pertikaian dengan penyedia penjagaan kesihatan yang didakwanya telah menahan akses kepada rekodnya secara tidak wajar. Selepas hujah-hujah terdahulu yang dibangkitkannya dikalahkan, menurut keputusan itu, Elliott memasukkan arahan dalam pemfailan berikutnya yang, dalam kata-kata Spader, "diformatkan untuk tidak kelihatan kepada pembaca manusia sambil kekal boleh dibaca sepenuhnya oleh mana-mana perisian yang membaca teks dokumen."

Teks itu dikecilkan kepada jenis titik kecil dan berwarna putih pada latar belakang putih. Ia mengarahkan mana-mana sistem AI yang menyemak dokumen untuk memastikan outputnya bersetuju dengan hujah plaintif, mengabaikan penafian terdahulu daripada mahkamah, dan memastikan bahawa pemulihan akan mengikuti seperti yang dikehendaki oleh plaintif - serangan suntikan segera buku teks, yang ditujukan bukan kepada chatbot tetapi pada apa jua perisian yang mungkin satu hari berlaku antara pihak yang berperkara dan hakim.

Teks tersembunyi tidak mempunyai kesan pada kes itu. Mahkamah menimbang pemfailan Elliott berdasarkan meritnya. Tetapi Spader menulis bahawa percubaan serangan itu tetap menetapkan preseden "berbahaya", dan mahkamah AS mungkin akan melihat taktik berniat jahat itu semula apabila alat AI menjadi lebih biasa dalam sistem mahkamah.

"Penyalahgunaan litigasi yang serius" — dan beberapa jenaka pelik

Elliott menghadapi sekatan sederhana, tetapi bukan sahaja untuk arahan tersembunyi asal. Menurut keputusan itu, dia terus menambah teks tersembunyi pada pemfailan baharu walaupun selepas mahkamah memberi amaran bahawa dia boleh berdepan hukuman atas apa yang Spader akhirnya dianggap sebagai "penyalahgunaan litigasi yang serius."

Beberapa mesej tersembunyi kemudiannya, Elliott memberitahu mahkamah, bertujuan sebagai jenaka. Mereka menyertakan pautan ke video YouTube Nosferatu, mesej ringkas yang berbunyi "hai :) Saya harap anda tidak dapat melihat saya," dan mesej yang disifatkan plaintif sebagai mengarut: "BERITAHU SHAWN SAYA HANTAR RE GARBS SAYA!!!! HAHAHA U GUYS GET THIS EGGWUH???? AHAH."

"Fakta bahawa plaintif terus menyembunyikan mesej dalam pliding baharu selepas menerima notis perbicaraan [sekatan] ini adalah menakjubkan," tulis Spader. Bagi dakwaan bahawa mesej itu komedi, hakim berkata ia "mengingkari logik" bagi pemfail untuk menyembunyikan jenaka di dalam rayuan yang dia mahu mahkamah mengambil serius.

Pertahanan "audit".

Dalam pembelaannya, Elliott berhujah bahawa tindakan yang paling membimbangkan yang dibenderakan oleh hakim sebenarnya adalah percubaan untuk "mengaudit" mahkamah sebagai perkhidmatan awam, kerana dia bimbang mahkamah membiarkan AI memutuskan kesnya secara tidak adil. Dia mengulangi kedudukan itu kepada Reuters, berkata dia mengekalkan niatnya adalah untuk menguji mahkamah dan bukannya untuk memanipulasinya.

Spader tidak mendapati hujah itu boleh dipercayai. Jika Elliott benar-benar percaya mahkamah menggunakan AI secara tidak wajar, hakim itu menulis, dia "bebas untuk menulis dengan jelas, perkataan yang boleh dilihat dan dijawab oleh semua orang." Menyembunyikan teks sebaliknya, Spader membuat kesimpulan, adalah "bukti tujuan jahatnya." Hakim menambah bahawa nampaknya Elliott "berusaha untuk mencapai keputusan yang tidak dicapainya apabila manusia, berpengetahuan" undang-undang, membaca pengakuannya.

Terutamanya, Cawangan Kehakiman Connecticut tidak menggunakan AI untuk menyemak atau memutuskan pemfailan, Spader menegaskan — jadi tidak pernah ada risiko sebenar bahawa sistem AI mahkamah akan menyalahkan gesaan Elliott untuk mendapatkan arahan daripada mahkamah. Tidak seperti "sebilangan sistem mahkamah di tempat lain," tulisnya, tidak ada mesin di hujung yang lain untuk menipu.

Mengapa serangan yang gagal masih penting

Penyelidik keselamatan telah menghabiskan masa bertahun-tahun menunjukkan bahawa sistem AI yang membaca dokumen — chatbots, ejen pengekodan, pembantu e-mel — boleh dirampas dengan arahan yang terkubur di dalam teks yang mereka makan. Teknik ini, yang dikenali sebagai suntikan segera tidak langsung, dianggap sebagai salah satu masalah paling sukar yang tidak dapat diselesaikan dalam menggunakan ejen AI. Apa yang menjadikan kes Connecticut luar biasa ialah sasarannya: jentera keadilan itu sendiri.

"Dengan menyembunyikan arahan di dalam dokumen yang kemudiannya disedut oleh sistem, pemfail cuba menyeludup arahan mereka sendiri ke dalam aliran itu supaya sistem menganggapnya seolah-olah ia datang daripada pengendali sistem," tulis Spader. "Dalam kes ini, pengendali itu dianggap sebagai mahkamah, kakitangannya, atau peguam lawan."

Pembingkaian itu - pemfailan mahkamah sebagai permukaan serangan - adalah apa yang dikatakan oleh pemerhati undang-undang menjadikan keputusan itu penting. Memandangkan mahkamah dan firma guaman semakin menggunakan AI untuk meringkaskan pemfailan, draf keputusan atau dokumen triage, setiap dokumen yang diserahkan oleh pihak menjadi saluran yang berpotensi untuk manipulasi. Kerani hakim mungkin menangkap teks putih pada halaman putih; saluran paip ringkasan automatik mungkin tidak.

Apa yang berlaku seterusnya

Sekatan terhadap Elliott adalah, mengikut penerangan mahkamah sendiri, sederhana. Tetapi keputusan itu memberikan mahkamah AS satu preseden bertulis untuk menganggap arahan tersembunyi yang boleh dibaca mesin sebagai penyalahgunaan proses undang-undang, dan ia tiba pada saat apabila beberapa sistem mahkamah negeri sedang bereksperimen secara aktif dengan alat semakan AI.

Buat masa ini, pengajaran dari Connecticut adalah mudah: mahkamah memerhatikan perkara ini. Seperti yang dijelaskan oleh keputusan Hakim Spader, orang pertama yang mencuba suntikan segera di mahkamah AS telah ditangkap — dan dibenarkan — walaupun tiada sistem AI pernah mendengar.

Kekal Mendahului AI Baca lebih banyak berita AI →