Un homme a caché des invites invisibles d’IA dans les dossiers déposés devant le tribunal pour gagner sa cause – une première aux États-Unis, selon le juge

Un juge du Connecticut a identifié ce qui semble être la première fois qu'un plaignant américain tente de cacher dans des documents judiciaires un texte que seul un système d'intelligence artificielle peut lire, dans le but de gagner sa cause. Le stratagème a échoué, le justiciable a été sanctionné et la décision attire désormais l’attention du monde de la technologie juridique alors que les tribunaux de tout le pays commencent à adopter leurs propres outils d’IA.

La décision a été publiée la semaine dernière par le juge Walter Spader Jr. de la Cour supérieure du Connecticut et détaillée cette semaine par Ars Technica et Reuters. Pour les dernières nouvelles sur l'IA (https://aibuzzwire.news) sur la collision entre l'intelligence artificielle et le système judiciaire, cette affaire est un aperçu d'un problème contre lequel les chercheurs en sécurité mettent en garde depuis des années : les entrées contradictoires conçues pour être lues par des machines plutôt que par des humains.

Comment fonctionnaient les invites masquées

Le plaignant, Matthew Elliott, était en conflit avec un prestataire de soins de santé qui, selon lui, refusait indûment l'accès à ses dossiers. Après que les arguments antérieurs qu'il avait soulevés aient été rejetés, selon la décision, Elliott a intégré des instructions dans les documents déposés ultérieurement qui étaient, selon les mots de Spader, "formatés pour être invisibles pour un lecteur humain tout en restant entièrement lisibles pour tout logiciel qui lit le texte du document".

Le texte a été réduit en caractères minuscules et coloré en blanc sur fond blanc. Il a ordonné à tout système d'IA examinant le document de s'assurer que ses résultats concordaient avec les arguments du plaignant, d'ignorer les refus antérieurs du tribunal et de garantir que la remédiation suivrait comme le plaignant le souhaitait – une attaque par injection rapide de manuel, visant non pas un chatbot mais tout logiciel qui pourrait un jour se trouver entre un justiciable et un juge.

Le texte caché n’a eu aucune incidence sur l’affaire. Le tribunal a évalué le dossier d'Elliott selon son bien-fondé. Mais Spader a écrit que la tentative d'attaque crée néanmoins un précédent « dangereux » et que les tribunaux américains verront probablement à nouveau cette tactique malveillante à mesure que les outils d'IA deviendront plus courants dans les systèmes judiciaires.

"De graves abus en matière de litige" — et quelques blagues étranges

Elliott a fait face à de modestes sanctions, mais pas seulement pour les instructions cachées originales. Selon la décision, il a continué à ajouter du texte caché aux nouveaux documents, même après que le tribunal l'ait averti qu'il risquait des sanctions pour ce que Spader a finalement considéré comme un « abus judiciaire grave ».

Certains des messages cachés ultérieurs étaient, a déclaré Elliott au tribunal, destinés à être des blagues. Ils comprenaient un lien vers une vidéo YouTube de Nosferatu, un simple message disant "salut :) J'espère que vous ne me verrez pas" et un message que le plaignant a décrit comme un non-sens : "DITES À SHAWN J'ENVOIE MES VÊTEMENTS !!!! HAHAHA VOUS LES GARS OBTENEZ CET ŒUF ???? AHAH."

"Le fait que le plaignant ait continué à cacher des messages dans de nouveaux plaidoiries après avoir reçu l'avis de cette audience [sur les sanctions] est stupéfiant", a écrit Spader. Quant à l'affirmation selon laquelle les messages étaient comiques, le juge a déclaré qu'il « défie la logique » pour un déposant d'enterrer des blagues dans des plaidoiries qu'il souhaite que le tribunal prenne au sérieux.

La défense "audit"

Pour sa défense, Elliott a fait valoir que l'incitation la plus inquiétante signalée par le juge était en fait une tentative de « auditer » le tribunal en tant que service public, car il craignait que le tribunal ne laisse AI décider injustement de son cas. Il a réitéré cette position à Reuters, affirmant qu'il maintenait que son intention était de tester le tribunal plutôt que de le manipuler.

Spader n'a pas trouvé l'argument crédible. Si Elliott croyait sincèrement que le tribunal utilisait l'IA de manière inappropriée, a écrit le juge, il était "libre d'écrire cela avec des mots clairs et visibles que tout le monde puisse voir et répondre". Cacher le texte, a conclu Spader, est « une preuve de son objectif malveillant ». Le juge a ajouté qu'il semblait qu'Elliott « tentait d'obtenir un résultat qu'il n'avait pas obtenu lorsque des humains, connaissant » la loi, lisaient ses plaidoiries.

Notamment, le pouvoir judiciaire du Connecticut n'utilise pas l'IA pour examiner ou décider des dossiers, a souligné Spader – il n'y a donc jamais eu de risque réel qu'un système d'IA judiciaire confonde les invites d'Elliott avec des instructions du tribunal. Contrairement à « un certain nombre de systèmes judiciaires ailleurs », écrit-il, il n’y avait pas de machine à tromper à l’autre bout du fil.

Pourquoi une attaque ratée est toujours importante

Les chercheurs en sécurité ont passé des années à démontrer que les systèmes d’IA qui lisent des documents – chatbots, agents de codage, assistants de messagerie – peuvent être détournés par des instructions enfouies dans le texte qu’ils ingèrent. Cette technique, connue sous le nom d’injection rapide indirecte, est considérée comme l’un des problèmes non résolus les plus difficiles liés au déploiement d’agents d’IA. Ce qui rend l’affaire du Connecticut inhabituelle, c’est la cible : l’appareil judiciaire lui-même.

"En cachant une commande dans un document que le système ingère ensuite, le filer tente d'introduire clandestinement sa propre instruction dans ce flux afin que le système la traite comme si elle provenait de l'opérateur du système", a écrit Spader. "Dans ce cas, cet opérateur est présumé être le tribunal, son personnel ou l'avocat de la partie adverse."

C’est cette présentation – d’un dossier judiciaire comme surface d’attaque – qui, selon les observateurs juridiques, rend la décision significative. Alors que les tribunaux et les cabinets d’avocats utilisent de plus en plus l’IA pour résumer les dossiers, rédiger des décisions ou trier les dossiers, chaque document soumis par une partie devient un canal potentiel de manipulation. Le greffier d'un juge peut saisir du texte blanc sur une page blanche ; un pipeline de synthèse automatisé pourrait ne pas l'être.

Que se passe-t-il ensuite

Les sanctions contre Elliott sont, selon la propre description du tribunal, modestes. Mais la décision donne aux tribunaux américains un précédent écrit pour traiter les instructions cachées lisibles par machine comme un abus de la procédure judiciaire, et elle arrive à un moment où plusieurs systèmes judiciaires d’État expérimentent activement des outils de contrôle de l’IA.

Pour l’instant, la leçon tirée du Connecticut est simple : les tribunaux sont aux aguets. Comme le montre clairement la décision du juge Spader, la première personne à avoir tenté une injection rapide devant un tribunal américain a été arrêtée – et sanctionnée – même si aucun système d'IA n'était à l'écoute.

Gardez une longueur d'avance sur l'IA Lire plus d'actualités sur l'IA →