Un bărbat a ascuns solicitări invizibile ale inteligenței artificiale în dosarele instanței pentru a-și câștiga dosarul – o primă în SUA, spune judecătorul

Un judecător din Connecticut a identificat ceea ce pare a fi prima dată când un reclamant american a încercat să ascundă în dosarele instanței un text pe care doar un sistem de inteligență artificială îl poate citi, în încercarea de a-și câștiga cazul. Schema a eșuat, justițiabilul a fost sancționat, iar hotărârea atrage acum atenția în lumea tehnologiei juridice, pe măsură ce instanțele din întreaga țară încep să adopte instrumente AI proprii.

Decizia a fost publicată săptămâna trecută de judecătorul Walter Spader Jr. de la Curtea Superioară din Connecticut și detaliată săptămâna aceasta de Ars Technica și Reuters. Pentru știri de ultimă oră AI despre coliziunea dintre inteligența artificială și sistemul de justiție, cazul este o previzualizare a unei probleme despre care cercetătorii în domeniul securității au avertizat-o de ani de zile: intrările adverse concepute pentru a fi citite de mașini, mai degrabă decât de oameni.

Cum au funcționat solicitările ascunse

Reclamantul, Matthew Elliott, a fost blocat într-o dispută cu un furnizor de asistență medicală despre care a pretins că a reținut în mod necorespunzător accesul la înregistrările sale. După ce argumentele anterioare pe care le-a invocat au fost înfrânte, conform hotărârii, Elliott a încorporat instrucțiuni în dosarele ulterioare care au fost, în cuvintele lui Spader, „formatate pentru a fi invizibile pentru un cititor uman, rămânând în același timp pe deplin lizibile pentru orice software care citește textul documentului”.

Textul a fost micșorat la litere mici și colorat în alb pe un fundal alb. A direcționat orice sistem de inteligență artificială care revizuiește documentul pentru a se asigura că rezultatele sale sunt de acord cu argumentele reclamantului, a ignorat refuzurile anterioare din partea instanței și s-a asigurat că remedierea va urma așa cum a dorit reclamantul - un atac de injecție promptă de manual, care vizează nu un chatbot, ci orice software care ar putea sta într-o zi între un justițiabil și un judecător.

Textul ascuns nu a avut niciun impact asupra cazului. Curtea a cântărit dosarul lui Elliott pe fond. Dar Spader a scris că tentativa de atac creează totuși un precedent „periculos” și că instanțele din SUA vor vedea probabil din nou tactica rău intenționată, pe măsură ce instrumentele AI devin mai comune în sistemele judiciare.

„Abuz grav în litigiu” — și câteva glume ciudate

Elliott s-a confruntat cu sancțiuni modeste, dar nu numai pentru instrucțiunile ascunse inițiale. Potrivit hotărârii, el a continuat să adauge text ascuns la noile dosare, chiar și după ce instanța l-a avertizat că se poate confrunta cu sancțiuni pentru ceea ce Spader a considerat în cele din urmă „abuz grav în litigiu”.

Unele dintre mesajele ascunse de mai târziu au fost, a spus Elliott instanței, concepute ca glume. Au inclus un link către un videoclip de pe YouTube Nosferatu, un mesaj simplu care scria „bună :) Sper că nu mă vezi” și un mesaj pe care reclamantul l-a descris drept o prostie: „Spune-i lui Shawn că-mi trimit hainele mele!!!!

„Faptul că reclamantul a continuat să ascundă mesaje în noi pledoarii după ce a primit înștiințarea acestei audieri [pentru sancțiuni] este uimitor”, a scris Spader. În ceea ce privește afirmația că mesajele sunt comice, judecătorul a spus că „sfidează logica” ca un depus să îngroape glume în pledoariile pe care dorește ca instanța să le ia în serios.

Apărarea „auditului”.

În apărarea sa, Elliott a susținut că cel mai îngrijorător prompt semnalat de judecător a fost de fapt o încercare de a „audita” instanța ca serviciu public, deoarece se temea că instanța lasă AI să decidă în mod nedrept cazul. El a repetat această poziție pentru Reuters, spunând că susține că intenția sa a fost de a testa instanța mai degrabă decât de a o manipula.

Spader nu a găsit argumentul credibil. Dacă Elliott credea cu adevărat că instanța folosea în mod necorespunzător inteligența artificială, a scris judecătorul, el era „liber să scrie așa în cuvinte clare, vizibile, pe care toată lumea să le poată vedea și să răspundă”. În schimb, ascunderea textului, a concluzionat Spader, este „dovada scopului său rău intenționat”. Judecătorul a adăugat că se pare că Elliott „încearcă să obțină un rezultat pe care nu l-a obținut atunci când oamenii, cunoscători” de lege, i-au citit pledoariile.

În special, filiala judiciară din Connecticut nu folosește AI pentru a revizui sau a decide dosarele, a subliniat Spader – așa că nu a existat niciodată un risc real ca un sistem AI al instanței să confunde solicitările lui Elliott pentru instrucțiuni din partea instanței. Spre deosebire de „un număr de sisteme judiciare din altă parte”, a scris el, nu exista nicio mașină la celălalt capăt care să păcălească.

De ce contează încă un atac eșuat

Cercetătorii în domeniul securității au petrecut ani de zile demonstrând că sistemele AI care citesc documente — chatboți, agenți de codare, asistenți de e-mail — pot fi deturnate prin instrucțiuni îngropate în textul pe care îl ingerează. Tehnica, cunoscută sub numele de injectare promptă indirectă, este considerată una dintre cele mai grele probleme nerezolvate în desfășurarea agenților AI. Ceea ce face cazul din Connecticut neobișnuit este ținta: mașina justiției în sine.

„Prin ascunderea unei comenzi în interiorul unui document pe care sistemul îl ingerează ulterior, filerul încearcă să introducă în mod ilegal propriile instrucțiuni în acel flux, astfel încât sistemul să o trateze ca și cum ar fi venit de la operatorul sistemului”, a scris Spader. „În acest caz, se presupune că operatorul este instanța, personalul acesteia sau avocatul advers”.

Acea încadrare - a unui dosar în instanță ca suprafață de atac - este ceea ce observatorii legali spun că face decizia semnificativă. Pe măsură ce instanțele și firmele de avocatură folosesc din ce în ce mai mult AI pentru a rezuma dosarele, proiectele de decizii sau dosarele de triaj, fiecare document transmis de o parte devine un potențial canal de manipulare. Grefierul unui judecător ar putea prinde text alb pe o pagină albă; o conductă de rezumare automată s-ar putea să nu.

Ce se întâmplă în continuare

Sancțiunile împotriva lui Elliott sunt, după propria descriere a instanței, modeste. Dar decizia oferă instanțelor americane un precedent scris pentru tratarea instrucțiunilor ascunse care pot fi citite de mașină ca pe un abuz al procesului legal și vine într-un moment în care mai multe sisteme judecătorești de stat experimentează în mod activ instrumente de revizuire a inteligenței artificiale.

Deocamdată, lecția din Connecticut este simplă: instanțele urmăresc acest lucru. După cum arată decizia judecătorului Spader, prima persoană care a încercat injectarea promptă într-un tribunal american a fost prinsă – și sancționată – chiar dacă niciun sistem AI nu a ascultat vreodată.

Rămâneți înaintea AI Citiți mai multe știri AI →