À medida que os documentos jurídicos são cada vez mais redigidos com grandes modelos de linguagem, as citações falsificadas tornaram-se um problema real para os tribunais e para os advogados que comparecem perante eles. Os pesquisadores da Georgia Tech criaram uma ferramenta de código aberto projetada para capturar essas referências fabricadas antes que cheguem a um juiz.
A ferramenta, chamada Mellea Legal Requirements Checker (Mellea-LRC), pode identificar e verificar citações de jurisprudência, com foco específico em citações alucinadas por IA. Ele foi criado por meio de um programa de bolsas no Centro de Engenharia de Software Científico (CSSE) da Georgia Tech e no Open Source Program Office (OSPO), financiado por uma doação da IBM, de acordo com o anúncio da universidade. Para mais contexto sobre esta história, confira nossa notícias de IA.
Os alunos de mestrado Adrian Lozada e Di Wu foram selecionados como bolsistas para construir a ferramenta com mentores do CSSE e OSPO. Seu objetivo, disse a universidade, era fornecer aos advogados e outras pessoas da área jurídica uma maneira simples de verificar citações legais.
Como funciona
Mellea-LRC combina grandes modelos de linguagem com a estrutura de código aberto Mellea da IBM, que é construída em torno de um paradigma de "instruir, verificar, reparar": os desenvolvedores escrevem as regras que a saída de um LLM deve satisfazer como código comum, e a estrutura tenta novamente as chamadas de modelo até que a saída as atenda.
"A estrutura Mellea da IBM foi a base sobre a qual a construímos. O trabalho de Mellea é tornar as chamadas de modelo previsíveis: você escreve as regras que a saída deve satisfazer como código comum, e a estrutura tenta novamente até que a saída do LLM as atenda. Nosso trabalho era aproveitar a estrutura para construir a aplicação legal de ponta a ponta", disse Wu no anúncio.
A ferramenta processa um documento em cerca de oito minutos. Primeiro extrai citações de jurisprudência de um processo legal e depois verifica se cada citação é autêntica e se realmente apoia o conteúdo do documento – sendo a segunda parte o que distingue uma citação alucinada de uma meramente falsa. Um caso fabricado que não existe falha na primeira verificação; um caso real que não diz o que o pedido alega falha no segundo.
Testado contra limalhas fabricadas reais
A equipe avaliou Mellea-LRC em 26 documentos públicos arquivados em tribunais conhecidos por conterem citações falsificadas – a mesma classe de incidentes que atraiu sanções e escrutínio nos tribunais à medida que os resumos elaborados pela IA se espalharam.
O problema que Mellea-LRC visa está bem documentado: os LLMs geram nomes de casos, citações e citações de aparência plausível que não correspondem a nenhum precedente real, e os advogados enfrentaram penalidades após enviar tais registros sem verificá-los.
Código aberto por design
Um requisito fundamental do projeto era que o código da ferramenta fosse de código aberto. Juntamente com a ferramenta, a equipe lançou um novo conjunto de dados de teste e validação no Hugging Face para futuros estudos de benchmarking.
“A Agentic AI está crescendo rapidamente, e grande parte do crescimento acontece em projetos de código aberto, onde qualquer pessoa pode ler, usar e melhorar o trabalho”, disse Lozada.
Jeff Young, diretor do OSPO e principal cientista pesquisador da Georgia Tech, disse que a estrutura Mellea da IBM foi crítica para o trabalho porque sua abordagem de “instruir, verificar, reparar” permite a criação de loops LLM confiáveis.
A arquitetura por trás da produção confiável
O que torna a abordagem Mellea notável é onde ela coloca o fardo da confiabilidade. A maioria das estratégias de mitigação de alucinações pede que o próprio modelo seja mais cuidadoso – por meio de estímulos, ajustes finos ou aumento de recuperação. Mellea-LRC inverte isso: os requisitos de correção residem no código comum fora do modelo, e a estrutura continua chamando o modelo até que a saída os satisfaça comprovadamente.
Esse design tem duas consequências práticas. Primeiro, a lógica de verificação é auditável – um advogado ou um tribunal pode ler exactamente quais as regras que uma citação teve de passar, em vez de confiar num modelo de julgamento opaco. Em segundo lugar, o mesmo padrão generaliza-se para além das citações legais, para qualquer domínio onde os resultados possam ser verificados mecanicamente, que é precisamente a propriedade que tornou as estruturas de agência atractivas para os promotores empresariais.
A estrutura da bolsa também merece destaque. Em vez de um laboratório corporativo fechado, o projeto reuniu dois alunos de mestrado, orientação do CSSE e OSPO e financiamento da IBM em torno de um problema de verificação restrito e bem definido – e produziu uma ferramenta de trabalho além de um conjunto de dados de referência público.
Por que é importante para o setor jurídico
Os tribunais tornaram-se um ponto crítico para problemas de confiabilidade da IA. O fluxo de trabalho de verificação que o Mellea-LRC automatiza – confirmar a existência de uma citação e verificar se ela diz o que o redator afirma – é exatamente a etapa de diligência que os revisores humanos ignoram quando os prazos são apertados.
Um tempo de processamento de oito minutos por documento torna prático a execução antes do arquivamento, em vez de um exercício forense depois que um juiz sinaliza um caso inexistente. E como tanto a ferramenta como o seu conjunto de dados de avaliação são de código aberto, outras equipas podem auditar o seu funcionamento, estendê-lo a jurisdições e formatos de citação adicionais e melhorar os parâmetros de referência — uma abordagem que contrasta com os verificadores de alucinações proprietários e fechados.
O projeto também sinaliza para onde as ferramentas de IA empresariais estão indo: em vez de tentar fazer com que os modelos tenham menos alucinações, equipes como a da Georgia Tech estão construindo camadas de verificação em torno deles, usando regras estruturadas e novas tentativas automatizadas para tornar a saída do modelo previsível o suficiente para profissões de alto risco.
Para o setor jurídico, o cálculo é simples. A IA pode redigir um resumo em minutos, e ferramentas como o Mellea-LRC podem verificar suas citações quase ao mesmo tempo. A variável restante é se as empresas tornam essa verificação uma etapa obrigatória – antes do pedido, e não depois da sanção.
---
Fique à Frente da IAAs últimas notícias, análises e avanços em inteligência artificial — tudo em um só lugar.
Ler mais notícias de IA →
