Muž skryl neviditelnou umělou inteligenci v soudních podáních, aby vyhrál svůj případ – jako první v USA, říká soudce

Soudce z Connecticutu identifikoval to, co se zdá být prvním případem, kdy se americký žalobce pokusil v soudních spisech skrýt text, který může číst pouze systém umělé inteligence, ve snaze vyhrát svůj případ. Tento plán selhal, strana byla sankcionována a rozsudek nyní přitahuje pozornost celého legálního technologického světa, protože soudy po celé zemi začínají přijímat vlastní nástroje umělé inteligence.

Rozhodnutí zveřejnil minulý týden soudce Walter Spader Jr. z Nejvyššího soudu v Connecticutu a tento týden jej upřesnily Ars Technica a Reuters. Pro aktuální zprávy o AI o kolizi mezi umělou inteligencí a justičním systémem je případ ukázkou problému, na který výzkumníci v oblasti bezpečnosti upozorňovali roky: nepřátelské vstupy navržené tak, aby je četly spíše stroje než lidé.

Jak fungovaly skryté výzvy

Žalobce, Matthew Elliott, byl uzavřen ve sporu s poskytovatelem zdravotní péče, o kterém tvrdil, že nesprávně zadržoval přístup k jeho záznamům. Poté, co byly dřívější argumenty, které vznesl, podle rozsudku poraženy, Elliott vložil instrukce do následných spisů, které byly Spaderovými slovy „naformátovány tak, aby byly neviditelné pro lidského čtenáře, a přitom zůstaly plně čitelné pro jakýkoli software, který čte text dokumentu“.

Text byl smrštěn na drobný bodový písmo a obarven bíle na bílém pozadí. Nařídil jakémukoli systému umělé inteligence, který dokument přezkoumával, aby zajistil, že jeho výstupy budou souhlasit s argumenty žalobce, ignoroval předchozí zamítnutí ze strany soudu a zajistil, že náprava bude následovat, jak si žalobce přeje – učebnicový rychlý injekční útok, zaměřený nikoli na chatbota, ale na jakýkoli software, který by jednoho dne mohl sedět mezi stranou sporu a soudcem.

Skrytý text neměl na případ žádný vliv. Soud zvážil Elliottovo podání z hlediska jeho podstaty. Spader ale napsal, že pokus o útok přesto vytváří „nebezpečný“ precedens a že americké soudy pravděpodobně znovu uvidí zákeřnou taktiku, jakmile se nástroje umělé inteligence v soudních systémech stanou běžnějšími.

„Vážné zneužívání soudních sporů“ – a některé podivné vtipy

Elliott čelil mírným sankcím, ale nejen za původní skryté instrukce. Podle rozsudku stále přidával skrytý text do nových podání i poté, co ho soud varoval, že může čelit sankcím za to, co Spader nakonec považoval za „vážné zneužití soudních sporů“.

Některé z pozdějších skrytých zpráv byly, řekl Elliott soudu, zamýšleny jako vtipy. Obsahovaly odkaz na video Nosferatu na YouTube, jednoduchou zprávu „ahoj :) Doufám, že mě nevidíš,“ a zprávu, kterou žalobce označil za nesmysl: „ŘEKNI SHAWNOVI I SEND MY RE GARBS!!!! HAHAHA U GUYS GET THIS EGGWUH???? AHAH.“

„Skutečnost, že žalobce po obdržení oznámení o tomto [sankčním] slyšení nadále skrývala zprávy v nových žalobách, je ohromující,“ napsal Spader. Pokud jde o tvrzení, že zprávy byly komediální, soudce řekl, že to „odporuje logice“, aby dokumentátor pohřbil vtipy do proseb, které chce, aby soud bral vážně.

Obhajoba "audit".

Na svou obranu Elliott tvrdil, že nejvíce znepokojivá výzva označená soudcem byl ve skutečnosti pokus „audit“ soudu jako veřejné služby, protože se obával, že soud nechal AI nespravedlivě rozhodnout jeho případ. Zopakoval toto stanovisko agentuře Reuters s tím, že trvá na tom, že jeho záměrem bylo soud otestovat spíše než s ním manipulovat.

Spader neshledal argument věrohodným. Pokud Elliott skutečně věřil, že soud nesprávně používá AI, soudce napsal, „může psát tak jasnými a viditelnými slovy, aby je každý viděl a mohl odpovědět“. Skrytí textu místo toho, uzavřel Spader, je „důkazem jeho škodlivého účelu“. Soudce dodal, že se zdálo, že se Elliott "pokoušel dosáhnout výsledku, kterého nedosáhl, když lidé znalí" práva četli jeho žaloby.

Je pozoruhodné, že justiční pobočka v Connecticutu nepoužívá AI ke kontrole nebo rozhodování o podáních, upozornil Spader – takže nikdy neexistovalo skutečné riziko, že by soudní systém AI zaměnil Elliottovy výzvy za pokyny od soudu. Na rozdíl od „řady soudních systémů jinde“, napsal, na druhém konci nebyl žádný stroj, který by se dal oklamat.

Proč na neúspěšném útoku stále záleží

Bezpečnostní výzkumníci strávili roky demonstrací, že systémy umělé inteligence, které čtou dokumenty – chatboti, kódovací agenti, e-mailoví asistenti – mohou být uneseny instrukcemi skrytými v textu, který přijímají. Technika, známá jako nepřímá rychlá injekce, je považována za jeden z nejtěžších nevyřešených problémů při nasazování agentů AI. Co dělá případ z Connecticutu neobvyklým, je cíl: samotná mašinérie spravedlnosti.

"Skrytím příkazu v dokumentu, který systém později zpracuje, se souborový program pokusí propašovat do tohoto proudu vlastní instrukce, takže systém s nimi zachází, jako by přišly od operátora systému," napsal Spader. "V tomto případě se předpokládá, že operátorem je soud, jeho zaměstnanci nebo oponující právník."

Toto zarámování – soudního podání jako útočné plochy – je to, co podle právních pozorovatelů činí rozhodnutí významným. Vzhledem k tomu, že soudy a advokátní kanceláře stále častěji používají AI k shrnutí podání, návrhů rozhodnutí nebo třídicích listin, každý dokument předložený stranou se stává potenciálním kanálem pro manipulaci. Soudní úředník může zachytit bílý text na bílé stránce; automatizovaný souhrnný kanál nemusí.

Co bude dál

Sankce proti Elliottovi jsou podle vlastního popisu soudu skromné. Rozhodnutí však dává americkým soudům písemný precedens pro zacházení se skrytými strojově čitelnými instrukcemi jako se zneužitím právního procesu a přichází ve chvíli, kdy několik státních soudních systémů aktivně experimentuje s nástroji pro kontrolu AI.

Poučení z Connecticutu je prozatím jednoduché: soudy to sledují. Jak jasně ukazuje rozhodnutí soudce Spadera, první člověk, který se pokusil o okamžitou injekci u soudu v USA, byl dopaden – a potrestán – i když žádný systém umělé inteligence nikdy neposlouchal.

Stay Ahead of AI Přečtěte si další zprávy o AI →