Man verborg onzichtbare AI-prompts in gerechtelijke dossiers om zijn zaak te winnen – een primeur in de VS, zegt rechter

Een rechter uit Connecticut heeft vastgesteld wat de eerste keer lijkt te zijn dat een Amerikaanse aanklager heeft geprobeerd tekst in rechtszaken te verbergen die alleen een kunstmatige-intelligentiesysteem kan lezen, in een poging zijn zaak te winnen. Het plan mislukte, de procederende partij kreeg sancties en de uitspraak trekt nu de aandacht in de wereld van de juridische technologie nu rechtbanken in het hele land hun eigen AI-instrumenten beginnen te adopteren.

De beslissing werd vorige week gepubliceerd door rechter Walter Spader Jr. van het Superior Court van Connecticut en deze week gedetailleerd door Ars Technica en Reuters. Voor breaking AI news over de botsing tussen kunstmatige intelligentie en het rechtssysteem is de zaak een voorproefje van een probleem waar veiligheidsonderzoekers al jaren voor waarschuwen: vijandige input die is ontworpen om door machines te worden gelezen in plaats van door mensen.

Hoe de verborgen aanwijzingen werkten

De eiser, Matthew Elliott, was verwikkeld in een geschil met een zorgverlener die volgens hem ten onrechte de toegang tot zijn dossiers onthield. Nadat eerdere argumenten die hij naar voren had gebracht waren verworpen, heeft Elliott volgens de uitspraak instructies in de daaropvolgende documenten opgenomen die, in de woorden van Spader, "geformatteerd waren om onzichtbaar te zijn voor een menselijke lezer, terwijl ze volledig leesbaar bleven voor elke software die de tekst van het document leest."

De tekst werd verkleind tot kleine puntletters en wit gekleurd op een witte achtergrond. Het gaf elk AI-systeem dat het document beoordeelde de opdracht om ervoor te zorgen dat de uitkomsten overeenkwamen met de argumenten van de eiser, negeerde eerdere ontkenningen van de rechtbank en zorgde ervoor dat herstel zou volgen zoals de eiser wilde: een prompte injectie-aanval uit het leerboek, niet gericht op een chatbot, maar op welke software dan ook die op een dag tussen een procederende partij en een rechter zou kunnen zitten.

De verborgen tekst had geen invloed op de zaak. De rechtbank heeft de aanvraag van Elliott op zijn merites beoordeeld. Maar Spader schreef dat de poging tot aanval niettemin een ‘gevaarlijk’ precedent schept, en dat Amerikaanse rechtbanken de kwaadaardige tactiek waarschijnlijk opnieuw zullen zien naarmate AI-hulpmiddelen steeds gebruikelijker worden in rechtssystemen.

"Ernstig misbruik van rechtszaken" — en enkele vreemde grappen

Elliott kreeg te maken met bescheiden sancties, maar niet alleen vanwege de oorspronkelijke verborgen instructies. Volgens de uitspraak bleef hij verborgen tekst toevoegen aan nieuwe documenten, zelfs nadat de rechtbank hem had gewaarschuwd dat hij straffen kon krijgen voor wat Spader uiteindelijk als 'ernstig procesmisbruik' beschouwde.

Sommige van de later verborgen berichten waren, zo zei Elliott tegen de rechtbank, bedoeld als grapjes. Ze bevatten een link naar een YouTube-video van Nosferatu, een eenvoudig bericht met de tekst "Hallo :) Ik hoop dat je me niet kunt zien", en een bericht dat de aanklager als onzin omschreef: "VERTEL SHAWN DAT IK MIJN KLEDING STUUR!!!! HAHAHA JONGENS KRIJGEN DIT EGGWUH???? AHAH."

“Het feit dat de aanklager berichten in nieuwe pleidooien bleef verbergen nadat hij op de hoogte was gesteld van deze hoorzitting [sancties] is verbluffend”, schreef Spader. Wat betreft de bewering dat de berichten komisch waren, zei de rechter dat het “in strijd is met de logica” als een indiener grappen verbergt in pleidooien waarvan hij wil dat de rechtbank deze serieus neemt.

De "audit"-verdediging

In zijn verdediging voerde Elliott aan dat de meest zorgwekkende prompt van de rechter feitelijk een poging was om de rechtbank als een openbare dienst te ‘auditen’, omdat hij vreesde dat de rechtbank AI op oneerlijke wijze over zijn zaak zou laten beslissen. Hij herhaalde dat standpunt tegenover Reuters en zei dat hij volhield dat het zijn bedoeling was om de rechtbank op de proef te stellen in plaats van deze te manipuleren.

Spader vond het argument niet geloofwaardig. Als Elliott werkelijk geloofde dat de rechtbank AI op ongepaste wijze gebruikte, zo schreef de rechter, was hij “vrij om dit in duidelijke, zichtbare bewoordingen te schrijven zodat iedereen het kon zien en beantwoorden.” Het verbergen van de tekst in plaats daarvan, zo concludeerde Spader, is “een bewijs van het kwaadaardige doel ervan”. De rechter voegde eraan toe dat het erop leek dat Elliott "probeerde een resultaat te bereiken dat hij niet bereikte toen mensen, met kennis van de wet", zijn pleidooien lazen.

Met name de Connecticut Judicial Branch maakt geen gebruik van AI om dossiers te beoordelen of te beslissen, benadrukt Spader – er was dus nooit een reëel risico dat een AI-systeem van de rechtbank de aanwijzingen van Elliott voor instructies van de rechtbank zou verwarren. In tegenstelling tot ‘een aantal rechtssystemen elders’, schreef hij, was er aan de andere kant geen machine om voor de gek te houden.

Waarom een ​​mislukte aanval er nog steeds toe doet

Beveiligingsonderzoekers hebben jarenlang aangetoond dat AI-systemen die documenten lezen – chatbots, codeeragenten, e-mailassistenten – kunnen worden gekaapt door instructies die verborgen zijn in de tekst die ze binnenkrijgen. De techniek, bekend als indirecte snelle injectie, wordt beschouwd als een van de moeilijkste onopgeloste problemen bij de inzet van AI-agenten. Wat de zaak Connecticut ongebruikelijk maakt, is het doelwit: het rechtsapparaat zelf.

"Door een commando te verbergen in een document dat het systeem later opneemt, probeert de filer zijn eigen instructies in die stroom te smokkelen, zodat het systeem het behandelt alsof het afkomstig is van de systeemoperator", schreef Spader. "In dit geval wordt aangenomen dat de exploitant de rechtbank, het personeel of de tegenpartij is."

Dat kader – van een rechtszaak als aanvalsoppervlak – is wat juridische waarnemers zeggen dat de uitspraak betekenisvol maakt. Nu rechtbanken en advocatenkantoren steeds vaker AI gebruiken om dossiers samen te vatten, besluiten op te stellen of triagedossiers op te stellen, wordt elk document dat door een partij wordt ingediend een potentieel kanaal voor manipulatie. De griffier van een rechter kan witte tekst op een witte pagina opmerken; een geautomatiseerde samenvattingspijplijn is dat misschien niet.

Wat gebeurt er daarna

De sancties tegen Elliott zijn, volgens de omschrijving van de rechtbank, bescheiden. Maar het besluit geeft Amerikaanse rechtbanken een schriftelijk precedent voor het behandelen van verborgen machinaal leesbare instructies als misbruik van het juridische proces, en komt op een moment waarop verschillende staatsrechtbanken actief experimenteren met AI-beoordelingsinstrumenten.

Voorlopig is de les uit Connecticut eenvoudig: de rechtbanken houden dit in de gaten. Zoals de uitspraak van rechter Spader duidelijk maakt, werd de eerste persoon die een snelle injectie bij een Amerikaanse rechtbank probeerde, opgepakt – en bestraft – ook al luisterde geen enkel AI-systeem ooit.

Blijf AI een stap voor Lees meer AI-nieuws →