Homem escondeu instruções invisíveis de IA em processos judiciais para ganhar seu caso – uma inovação nos EUA, afirma o juiz

Um juiz de Connecticut identificou o que parece ser a primeira vez que um demandante dos EUA tentou ocultar texto em processos judiciais que apenas um sistema de inteligência artificial pode ler, na tentativa de ganhar o seu caso. O esquema falhou, o litigante foi sancionado e a decisão está agora a chamar a atenção em todo o mundo da tecnologia jurídica, à medida que os tribunais de todo o país começam a adotar as suas próprias ferramentas de IA.

A decisão foi publicada na semana passada pelo juiz Walter Spader Jr. do Tribunal Superior de Connecticut e detalhada esta semana pela Ars Technica e pela Reuters. Para as notícias de última hora sobre IA sobre a colisão entre a inteligência artificial e o sistema judiciário, o caso é uma prévia de um problema sobre o qual os pesquisadores de segurança alertam há anos: informações adversárias projetadas para serem lidas por máquinas e não por humanos.

Como funcionavam os prompts ocultos

O demandante, Matthew Elliott, estava envolvido em uma disputa com um profissional de saúde que ele alegou estar retendo indevidamente o acesso aos seus registros. Depois que os argumentos anteriores que ele levantou foram derrotados, de acordo com a decisão, Elliott incorporou instruções em registros subsequentes que foram, nas palavras de Spader, “formatadas para serem invisíveis para um leitor humano, permanecendo totalmente legíveis para qualquer software que leia o texto do documento”.

O texto foi reduzido para letras minúsculas e colorido de branco sobre fundo branco. Ele orientou qualquer sistema de IA que revisasse o documento para garantir que seus resultados concordassem com os argumentos do reclamante, ignorou negações anteriores do tribunal e garantiu que a remediação seguiria como o reclamante desejava - um ataque de injeção imediata de livro didático, direcionado não a um chatbot, mas a qualquer software que um dia pudesse ficar entre um litigante e um juiz.

O texto oculto não teve impacto no caso. O tribunal avaliou o pedido de Elliott quanto aos seus méritos. Mas Spader escreveu que a tentativa de ataque, no entanto, estabelece um precedente “perigoso” e que os tribunais dos EUA provavelmente verão a tática maliciosa novamente à medida que as ferramentas de IA se tornarem mais comuns nos sistemas judiciais.

"Abuso de litígio grave" — e algumas piadas estranhas

Elliott enfrentou sanções modestas, mas não apenas pelas instruções ocultas originais. De acordo com a decisão, ele continuou adicionando textos ocultos a novos processos, mesmo depois que o tribunal o avisou que poderia enfrentar penalidades pelo que Spader acabou por considerar “grave abuso de litígio”.

Algumas das mensagens ocultas posteriores foram, disse Elliott ao tribunal, como piadas. Eles incluíram um link para um vídeo do Nosferatu no YouTube, uma mensagem simples dizendo "oi :) Espero que você não me veja" e uma mensagem que o reclamante descreveu como sem sentido: "DIGA A SHAWN QUE ENVIO MEU RE GARBS!!!! HAHAHA, VOCÊS PEGARAM ESTE OVO???? AHAH."

“O fato de o demandante ter continuado a ocultar mensagens em novas petições depois de receber a notificação desta audiência [de sanções] é impressionante”, escreveu Spader. Quanto à alegação de que as mensagens eram cômicas, o juiz disse que “desafia a lógica” um arquivador enterrar piadas dentro de alegações que deseja que o tribunal leve a sério.

A defesa da "auditoria"

Em sua defesa, Elliott argumentou que a solicitação mais preocupante sinalizada pelo juiz foi na verdade uma tentativa de “auditar” o tribunal como um serviço público, porque temia que o tribunal estivesse deixando a IA decidir injustamente o seu caso. Ele repetiu essa posição à Reuters, dizendo que afirma que sua intenção era testar o tribunal, em vez de manipulá-lo.

Spader não achou o argumento confiável. Se Elliott realmente acreditasse que o tribunal estava usando IA indevidamente, escreveu o juiz, ele estava “livre para escrever em palavras claras e visíveis que todos pudessem ver e responder”. Em vez disso, ocultar o texto, concluiu Spader, é “uma prova de seu propósito malicioso”. O juiz acrescentou que parecia que Elliott estava “tentando alcançar um resultado que não alcançou quando humanos, conhecedores” da lei, leram seus argumentos.

Notavelmente, o Poder Judicial de Connecticut não usa IA para revisar ou decidir processos, destacou Spader – portanto, nunca houve um risco real de que um sistema de IA do tribunal confundisse as instruções de Elliott com instruções do tribunal. Ao contrário de “uma série de sistemas judiciais em outros lugares”, escreveu ele, não havia nenhuma máquina do outro lado para enganar.

Por que um ataque fracassado ainda é importante

Pesquisadores de segurança passaram anos demonstrando que os sistemas de IA que leem documentos – chatbots, agentes de codificação, assistentes de e-mail – podem ser sequestrados por instruções enterradas no texto que ingerem. A técnica, conhecida como injeção indireta imediata, é considerada um dos problemas não resolvidos mais difíceis na implantação de agentes de IA. O que torna o caso de Connecticut incomum é o alvo: a própria máquina da justiça.

“Ao ocultar um comando dentro de um documento que o sistema ingere posteriormente, o arquivador tenta contrabandear suas próprias instruções para esse fluxo para que o sistema as trate como se tivessem vindo do operador do sistema”, escreveu Spader. “Neste caso, presume-se que o operador seja o tribunal, seus funcionários ou o advogado da oposição.”

Esse enquadramento – de um processo judicial como uma superfície de ataque – é o que os observadores jurídicos dizem que torna a decisão significativa. À medida que os tribunais e escritórios de advocacia utilizam cada vez mais a IA para resumir processos, projetos de decisões ou processos de triagem, cada documento apresentado por uma parte torna-se um canal potencial de manipulação. O escrivão de um juiz pode encontrar texto branco em uma página branca; um pipeline de resumo automatizado talvez não.

O que acontece a seguir

As sanções contra Elliott são, segundo a descrição do próprio tribunal, modestas. Mas a decisão dá aos tribunais dos EUA um precedente escrito para tratar instruções ocultas legíveis por máquinas como um abuso do processo legal, e chega num momento em que vários sistemas judiciais estaduais estão a experimentar ativamente ferramentas de revisão de IA.

Por enquanto, a lição de Connecticut é simples: os tribunais estão atentos a isso. Tal como a decisão do juiz Spader deixa claro, a primeira pessoa a tentar a injeção imediata num tribunal dos EUA foi apanhada – e sancionada – apesar de nenhum sistema de IA estar alguma vez a ouvir.

Fique à frente da IA Leia mais notícias sobre IA →