Un juez de Connecticut ha identificado lo que parece ser la primera vez que un demandante estadounidense intenta ocultar texto en documentos judiciales que sólo un sistema de inteligencia artificial puede leer, en un intento de ganar su caso. El plan fracasó, el litigante fue sancionado y el fallo ahora está atrayendo la atención en todo el mundo de la tecnología legal a medida que los tribunales de todo el país comienzan a adoptar sus propias herramientas de inteligencia artificial.

La decisión fue publicada la semana pasada por el juez Walter Spader Jr. del Tribunal Superior de Connecticut y detallada esta semana por Ars Technica y Reuters. Para breaking AI news sobre la colisión entre la inteligencia artificial y el sistema judicial, el caso es un anticipo de un problema sobre el que los investigadores de seguridad han advertido durante años: entradas adversas diseñadas para ser leídas por máquinas en lugar de humanos.

Cómo funcionaron las indicaciones ocultas

El demandante, Matthew Elliott, estaba envuelto en una disputa con un proveedor de atención médica que, según él, estaba reteniendo indebidamente el acceso a sus registros. Después de que los argumentos anteriores que planteó fueran rechazados, según el fallo, Elliott incorporó instrucciones en presentaciones posteriores que, en palabras de Spader, estaban "formateadas para ser invisibles para un lector humano y al mismo tiempo permanecer completamente legibles para cualquier software que lea el texto del documento".

El texto se redujo a letra de punto diminuto y se coloreó de blanco sobre un fondo blanco. Dirigió a cualquier sistema de inteligencia artificial que revisara el documento para garantizar que sus resultados coincidieran con los argumentos del demandante, ignoró las denegaciones anteriores del tribunal y garantizó que se aplicara la reparación que el demandante deseaba: un ataque de inyección rápida de libro de texto, dirigido no a un chatbot sino a cualquier software que algún día pudiera interponerse entre un litigante y un juez.

El texto oculto no tuvo ningún impacto en el caso. El tribunal sopesó la presentación de Elliott según sus méritos. Pero Spader escribió que, no obstante, el intento de ataque sienta un precedente "peligroso" y que los tribunales estadounidenses probablemente volverán a ver la táctica maliciosa a medida que las herramientas de inteligencia artificial se vuelvan más comunes en los sistemas judiciales.

"Abusos graves en litigios" y algunos chistes extraños

Elliott enfrentó sanciones modestas, pero no sólo por las instrucciones ocultas originales. Según el fallo, siguió agregando texto oculto a nuevas presentaciones incluso después de que el tribunal le advirtió que podría enfrentar sanciones por lo que Spader finalmente consideró "abuso de litigio grave".

Algunos de los mensajes ocultos posteriores, según dijo Elliott al tribunal, pretendían ser bromas. They included a link to a Nosferatu YouTube video, a simple message reading "hi :) I hope yo ucant see me," and a message the plaintiff described as nonsense: "TELL SHAWN I SEND MY RE GARBS!!!! HAHAHA U GUYS GET THIS EGGWUH???? AHAH."

"El hecho de que el demandante continuara ocultando mensajes en nuevos alegatos después de recibir notificación de esta audiencia [de sanciones] es sorprendente", escribió Spader. En cuanto a la afirmación de que los mensajes eran cómicos, el juez dijo que "desafía la lógica" que un declarante entierre chistes dentro de los alegatos que quiere que el tribunal tome en serio.

La defensa de la "auditoría"

En su defensa, Elliott argumentó que el mensaje más preocupante señalado por el juez era en realidad un intento de "auditar" al tribunal como un servicio público, porque temía que el tribunal estuviera permitiendo que AI decidiera injustamente su caso. Repitió esa posición a Reuters, diciendo que sostiene que su intención era poner a prueba al tribunal en lugar de manipularlo.

Spader no encontró creíble el argumento. Si Elliott realmente creía que el tribunal estaba utilizando indebidamente la IA, escribió el juez, era "libre de escribir con palabras claras y visibles que todos pudieran ver y responder". En cambio, ocultar el texto, concluyó Spader, es "evidencia de su propósito malicioso". El juez añadió que parecía que Elliott estaba "intentando lograr un resultado que no logró cuando humanos, conocedores" de la ley, leyeron sus alegatos.

En particular, el Poder Judicial de Connecticut no utiliza IA para revisar o decidir presentaciones, señaló Spader, por lo que nunca hubo un riesgo real de que un sistema de IA judicial confundiera las indicaciones de Elliott con instrucciones del tribunal. A diferencia de "varios sistemas judiciales en otros lugares", escribió, no había ninguna máquina al otro lado a quien engañar.

Por qué un ataque fallido sigue siendo importante

Los investigadores de seguridad han pasado años demostrando que los sistemas de inteligencia artificial que leen documentos (chatbots, agentes de codificación, asistentes de correo electrónico) pueden ser secuestrados mediante instrucciones enterradas dentro del texto que ingieren. La técnica, conocida como inyección inmediata indirecta, se considera uno de los problemas sin resolver más difíciles en el despliegue de agentes de IA. Lo que hace que el caso de Connecticut sea inusual es el objetivo: la propia maquinaria de justicia.

"Al ocultar un comando dentro de un documento que el sistema luego ingiere, el archivador intenta pasar de contrabando sus propias instrucciones a esa secuencia para que el sistema las trate como si provinieran del operador del sistema", escribió Spader. "En este caso se presume que ese operador es el tribunal, su personal o el abogado de la parte contraria".

Ese marco –un expediente judicial como superficie de ataque– es lo que, según los observadores legales, hace que el fallo sea significativo. A medida que los tribunales y los bufetes de abogados utilizan cada vez más la IA para resumir presentaciones, borradores de decisiones o expedientes de clasificación, cada documento presentado por una parte se convierte en un canal potencial de manipulación. El secretario de un juez podría captar texto blanco en una página blanca; una canalización de resumen automatizada podría no hacerlo.

¿Qué pasa después?

Las sanciones contra Elliott son, según la propia descripción del tribunal, modestas. Pero la decisión sienta un precedente escrito para los tribunales estadounidenses al tratar las instrucciones ocultas legibles por máquina como un abuso del proceso legal, y llega en un momento en que varios sistemas judiciales estatales están experimentando activamente con herramientas de revisión de IA.

Por ahora, la lección de Connecticut es simple: los tribunales están atentos a esto. Como deja claro el fallo del juez Spader, la primera persona que intentó la inyección rápida en un tribunal de EE. UU. fue capturada (y sancionada) a pesar de que ningún sistema de inteligencia artificial estuvo escuchando.

Manténgase a la vanguardia de la IA Leer más noticias sobre IA →