Man Gömde Invisible AI uppmanar i domstolsansökningar att vinna hans mål - en amerikansk först, säger domaren

En domare i Connecticut har identifierat vad som verkar vara första gången en amerikansk målsägande har försökt dölja text i domstolshandlingar som bara ett artificiellt intelligenssystem kan läsa, i ett försök att vinna hans fall. Systemet misslyckades, den tvistande sanktionerades och domen uppmärksammas nu i den juridiska teknikvärlden när domstolar över hela landet börjar använda sina egna AI-verktyg.

Beslutet publicerades förra veckan av domare Walter Spader Jr. vid Connecticut Superior Court och detaljerade denna vecka av Ars Technica och Reuters. För brytande AI-nyheter om kollisionen mellan artificiell intelligens och rättsväsendet är fallet en förhandstitt på ett problem som säkerhetsforskare har varnat för i åratal: kontradiktoriska indata utformade för att läsas av maskiner snarare än människor.

Hur de dolda uppmaningarna fungerade

Målsäganden, Matthew Elliott, var låst i en tvist med en vårdgivare som han påstod att han på ett felaktigt sätt undanhöll tillgång till hans register. Efter att tidigare argument som han tog upp hade besegrats, enligt domen, bäddade Elliott in instruktioner i efterföljande arkiv som var, med Spaders ord, "formaterade för att vara osynliga för en mänsklig läsare samtidigt som de förblev fullt läsbara för all programvara som läser dokumentets text."

Texten krymptes till liten punkttyp och färgades vit på en vit bakgrund. Den riktade alla AI-system som granskade dokumentet för att säkerställa att dess utdata överensstämde med kärandens argument, ignorerade tidigare avslag från domstolen och säkerställde att åtgärdande skulle följa som käranden önskade - en läroboksprompt injektionsattack, inte riktad mot en chatbot utan mot vilken programvara som helst som en dag kan sitta mellan en tvistande och en domare.

Den dolda texten hade ingen inverkan på fallet. Rätten vägde Elliotts ansökan utifrån dess meriter. Men Spader skrev att attackförsöket ändå skapar ett "farligt" prejudikat, och att amerikanska domstolar sannolikt kommer att se den skadliga taktiken igen när AI-verktyg blir vanligare i domstolssystem.

"Seriös rättstvist missbruk" — och några konstiga skämt

Elliott stod inför blygsamma sanktioner, men inte bara för de ursprungliga dolda instruktionerna. Enligt domen fortsatte han att lägga till dold text till nya anmälningar även efter att domstolen varnade honom för att han skulle kunna få straff för vad Spader i slutändan ansåg "allvarligt missbruk av rättstvister".

Några av de senare dolda meddelandena var, berättade Elliott för domstolen, avsedda som skämt. De inkluderade en länk till en Nosferatu YouTube-video, ett enkelt meddelande som läser "hej :) Jag hoppas att du inte kan se mig" och ett meddelande som målsäganden beskrev som nonsens: "BETALA SHAWN ATT JAG SÄNDER MINA KLÄDER!!!! HAHAHA U GUYS GET THIS EGGWUH???? AHAH."

"Det faktum att målsäganden fortsatte att dölja meddelanden i nya inlagor efter att ha fått besked om denna [sanktions]förhandling är fantastiskt," skrev Spader. När det gäller påståendet att meddelandena var komiska, sa domaren att det "trotsar logiken" för en filur att begrava skämt i inlaga han vill att domstolen ska ta på allvar.

"revision"-försvaret

Till sitt försvar hävdade Elliott att den mest oroande uppmaningen som domaren flaggade faktiskt var ett försök att "revidera" domstolen som en offentlig tjänst, eftersom han fruktade att domstolen lät AI orättvist avgöra hans fall. Han upprepade den ståndpunkten för Reuters och sa att han vidhåller att hans avsikt var att testa domstolen snarare än att manipulera den.

Spader fann inte argumentet trovärdigt. Om Elliott verkligen trodde att domstolen använde AI på ett felaktigt sätt, skrev domaren, var han "fri att skriva så i enkla, synliga ord att alla kunde se och svara." Att dölja texten istället, drog Spader slutsatsen, är "bevis på dess skadliga syfte." Domaren tillade att det verkade som att Elliott "försökte uppnå ett resultat han inte uppnådde när människor, kunniga" om lagen, läste hans inlagor.

Noterbart är att Connecticut Judicial Branch inte använder AI för att granska eller besluta om ansökningar, påpekade Spader - så det fanns aldrig en verklig risk att ett domstols AI-system skulle missta Elliotts uppmaningar om instruktioner från domstolen. Till skillnad från "ett antal domstolssystem på andra håll", skrev han, fanns det ingen maskin i andra änden att lura.

Varför en misslyckad attack fortfarande spelar roll

Säkerhetsforskare har ägnat flera år åt att demonstrera att AI-system som läser dokument – ​​chatbotar, kodningsagenter, e-postassistenter – kan kapas av instruktioner begravda i texten de äter. Tekniken, känd som indirekt snabbinjektion, anses vara ett av de svåraste olösta problemen med att distribuera AI-agenter. Det som gör Connecticut-fallet ovanligt är målet: själva rättvisans maskineri.

"Genom att gömma ett kommando inuti ett dokument som systemet senare tar in, försöker filerna att smuggla in sin egen instruktion i den strömmen så att systemet behandlar den som om den hade kommit från systemets operatör", skrev Spader. "I det här fallet antas den operatören vara domstolen, dess personal eller motsatt ombud."

Den inramningen - av en domstolsanmälan som en attackyta - är vad juridiska observatörer säger gör avgörandet betydelsefullt. Eftersom domstolar och advokatbyråer i allt högre grad använder AI för att sammanfatta anmälningar, utkast till beslut eller prövningshandlingar, blir varje dokument som lämnas in av en part en potentiell kanal för manipulation. En domare kan fånga vit text på en vit sida; en automatisk summeringspipeline kanske inte.

Vad händer härnäst

Sanktionerna mot Elliott är, enligt domstolens egen beskrivning, blygsamma. Men beslutet ger amerikanska domstolar ett skriftligt prejudikat för att behandla dolda maskinläsbara instruktioner som ett missbruk av den rättsliga processen, och det kommer i ett ögonblick då flera statliga domstolssystem aktivt experimenterar med AI-granskningsverktyg.

För närvarande är lärdomen från Connecticut enkel: domstolarna håller utkik efter detta. Som domare Spaders avgörande klargör, fångades – och sanktionerades – den första personen som prövade en snabb injektion i en amerikansk domstol, trots att inget AI-system någonsin lyssnade.

Stay ahead of AI Läs mer AI-nyheter →