Mann versteckte unsichtbare KI-Aufforderungen in Gerichtsakten, um seinen Fall zu gewinnen – ein US-Premiere, sagt Richter

Ein Richter aus Connecticut hat offenbar zum ersten Mal festgestellt, dass ein US-Kläger versucht hat, Text in Gerichtsakten zu verbergen, den nur ein System künstlicher Intelligenz lesen kann, um seinen Fall zu gewinnen. Der Plan scheiterte, der Kläger wurde sanktioniert, und das Urteil erregt nun Aufmerksamkeit in der gesamten Welt der Rechtstechnologie, da Gerichte im ganzen Land damit beginnen, eigene KI-Tools einzuführen.

Die Entscheidung wurde letzte Woche von Richter Walter Spader Jr. vom Connecticut Superior Court veröffentlicht und diese Woche von Ars Technica und Reuters detailliert beschrieben. Für aktuelle KI-Nachrichten zur Kollision zwischen künstlicher Intelligenz und dem Justizsystem ist der Fall ein Vorgeschmack auf ein Problem, vor dem Sicherheitsforscher seit Jahren warnen: gegnerische Eingaben, die eher von Maschinen als von Menschen gelesen werden sollen.

Wie die versteckten Eingabeaufforderungen funktionierten

Der Kläger, Matthew Elliott, war in einen Streit mit einem Gesundheitsdienstleister verwickelt, der seiner Ansicht nach den Zugang zu seinen Unterlagen zu Unrecht verweigert hatte. Nachdem frühere von ihm vorgebrachte Argumente zurückgewiesen worden waren, fügte Elliott dem Urteil zufolge Anweisungen in spätere Einreichungen ein, die, wie Spader es ausdrückte, „so formatiert waren, dass sie für einen menschlichen Leser unsichtbar waren, während sie für jede Software, die den Text des Dokuments liest, vollständig lesbar blieben“.

Der Text wurde auf Kleinpunktschrift verkleinert und weiß auf weißem Hintergrund eingefärbt. Es wies jedes KI-System, das das Dokument überprüfte, an, sicherzustellen, dass seine Ergebnisse mit den Argumenten des Klägers übereinstimmten, ignorierte frühere Ablehnungen des Gerichts und stellte sicher, dass die Abhilfe wie vom Kläger gewünscht erfolgen würde – ein lehrbuchmäßiger Prompt-Injection-Angriff, der nicht auf einen Chatbot, sondern auf jede Software abzielte, die eines Tages zwischen einem Prozessbeteiligten und einem Richter stehen könnte.

Der versteckte Text hatte keinen Einfluss auf den Fall. Das Gericht prüfte die Begründetheit von Elliotts Antrag. Spader schrieb jedoch, dass der versuchte Angriff dennoch einen „gefährlichen“ Präzedenzfall darstellt und dass US-Gerichte die böswillige Taktik wahrscheinlich erneut erleben werden, da KI-Tools in Gerichtssystemen immer häufiger zum Einsatz kommen.

„Schwerer Prozessmissbrauch“ – und einige seltsame Witze

Elliott musste mit bescheidenen Sanktionen rechnen, aber nicht nur wegen der ursprünglichen versteckten Anweisungen. Dem Urteil zufolge fügte er weiterhin versteckten Text zu neuen Akten hinzu, selbst nachdem das Gericht ihn gewarnt hatte, ihm könnten Strafen für etwas drohen, das Spader letztendlich als „schwerwiegenden Prozessmissbrauch“ ansah.

Einige der später versteckten Nachrichten seien, so Elliott vor Gericht, als Witze gedacht gewesen. Sie enthielten einen Link zu einem Nosferatu-YouTube-Video, eine einfache Nachricht mit der Aufschrift „Hallo :) Ich hoffe, Sie können mich nicht sehen“ und eine Nachricht, die der Kläger als Unsinn bezeichnete: „SAGEN SIE SHAWN, ICH SCHICKE MEINE RE-KLEIDUNGEN!!!

„Die Tatsache, dass der Kläger weiterhin Botschaften in neuen Schriftsätzen verheimlichte, nachdem er von dieser [Sanktions-]Anhörung erfahren hatte, ist verblüffend“, schrieb Spader. Was die Behauptung angeht, die Nachrichten seien komödiantisch gewesen, sagte der Richter, dass es „unlogisch“ sei, wenn ein Antragsteller Witze in Schriftsätzen verstecke, die er vom Gericht ernst nehmen wolle.

Die „Audit“-Verteidigung

Zu seiner Verteidigung argumentierte Elliott, dass die vom Richter am meisten besorgniserregende Aufforderung tatsächlich ein Versuch war, das Gericht als öffentliche Dienstleistung zu „überprüfen“, weil er befürchtete, das Gericht würde KI seinen Fall unfair entscheiden lassen. Gegenüber Reuters wiederholte er diese Position und sagte, dass es seine Absicht sei, das Gericht auf die Probe zu stellen und nicht, es zu manipulieren.

Spader hielt das Argument nicht für glaubwürdig. Wenn Elliott wirklich glaubte, dass das Gericht KI unrechtmäßig einsetzte, so schrieb der Richter, stehe es ihm „frei, so in klaren, sichtbaren Worten zu schreiben, dass jeder es sehen und antworten konnte“. Den Text stattdessen zu verbergen, schlussfolgerte Spader, sei „ein Beweis für seine böswillige Absicht“. Der Richter fügte hinzu, dass Elliott offenbar „versuchte, ein Ergebnis zu erzielen, das er nicht erreichte, als Menschen, die sich mit dem Gesetz auskennten“, seine Schriftsätze lasen.

Spader betonte, dass die Justizbehörde von Connecticut insbesondere keine KI zur Prüfung oder Entscheidung von Akten einsetze – es bestehe also nie ein wirkliches Risiko, dass ein KI-System eines Gerichts Elliotts Aufforderungen mit Anweisungen des Gerichts verwechseln würde. Im Gegensatz zu „einer Reihe anderer Gerichtssysteme anderswo“, schrieb er, gab es am anderen Ende keine Maschine, die man täuschen konnte.

Warum ein fehlgeschlagener Angriff immer noch wichtig ist

Sicherheitsforscher haben jahrelang nachgewiesen, dass KI-Systeme, die Dokumente lesen – Chatbots, Programmieragenten, E-Mail-Assistenten – durch Anweisungen gekapert werden können, die in den von ihnen aufgenommenen Texten verborgen sind. Die als indirekte Prompt-Injection bekannte Technik gilt als eines der schwierigsten ungelösten Probleme beim Einsatz von KI-Agenten. Was den Fall Connecticut ungewöhnlich macht, ist das Ziel: die Justizmaschinerie selbst.

„Indem der Filer einen Befehl in einem Dokument versteckt, das das System später aufnimmt, versucht er, seine eigenen Anweisungen in diesen Stream einzuschleusen, sodass das System sie so behandelt, als kämen sie vom Systembetreiber“, schrieb Spader. „In diesem Fall wird davon ausgegangen, dass es sich bei diesem Betreiber um das Gericht, seine Mitarbeiter oder den gegnerischen Anwalt handelt.“

Diese Formulierung – eine gerichtliche Klage als Angriffsfläche – ist es, was Rechtsbeobachtern sagen, dass das Urteil bedeutsam ist. Da Gerichte und Anwaltskanzleien zunehmend KI zur Zusammenfassung von Akten, Entscheidungsentwürfen oder Triage-Akten einsetzen, wird jedes von einer Partei eingereichte Dokument zu einem potenziellen Manipulationskanal. Der Gerichtsschreiber könnte weißen Text auf einer weißen Seite entdecken; Bei einer automatisierten Zusammenfassungspipeline ist dies möglicherweise nicht der Fall.

Was passiert als nächstes?

Die Sanktionen gegen Elliott sind nach eigener Aussage des Gerichts bescheiden. Aber die Entscheidung gibt US-Gerichten einen schriftlichen Präzedenzfall dafür, versteckte maschinenlesbare Anweisungen als Missbrauch des Rechtsverfahrens zu behandeln, und kommt zu einem Zeitpunkt, an dem mehrere staatliche Gerichtssysteme aktiv mit KI-Überprüfungstools experimentieren.

Im Moment ist die Lehre aus Connecticut einfach: Die Gerichte achten darauf. Wie das Urteil von Richter Spader deutlich macht, wurde die erste Person, die vor einem US-Gericht eine sofortige Injektion versuchte, gefasst – und sanktioniert –, obwohl kein KI-System jemals zuhörte.

Der KI einen Schritt voraus sein Weitere KI-Neuigkeiten lesen →