A medida que los documentos legales se redactan cada vez más con modelos de lenguaje grandes, las citas falsificadas se han convertido en un verdadero problema para los tribunales y los abogados que comparecen ante ellos. Los investigadores de Georgia Tech han creado una herramienta de código abierto diseñada para detectar esas referencias fabricadas antes de que lleguen a un juez.
La herramienta, denominada Comprobador de requisitos legales de Mellea (Mellea-LRC), puede identificar y verificar citas de jurisprudencia, con un enfoque específico en las citas alucinadas por IA. Fue creado a través de un programa de becas en el Centro de Ingeniería de Software Científico (CSSE) de Georgia Tech y la Oficina del Programa de Código Abierto (OSPO), financiado por una donación de IBM, según el anuncio de la universidad. Para más contexto sobre esta historia, consulta nuestra actualidad de inteligencia artificial.
Los estudiantes de maestría Adrián Lozada y Di Wu fueron seleccionados como becarios para desarrollar la herramienta con mentores de CSSE y OSPO. Su objetivo, dijo la universidad, era brindar a los abogados y otras personas en el campo legal una forma sencilla de verificar las citaciones legales.
Cómo funciona
Mellea-LRC combina grandes modelos de lenguaje con el marco de código abierto Mellea de IBM, que se basa en un paradigma de "instruir, verificar, reparar": los desarrolladores escriben las reglas que la salida de un LLM debe satisfacer como código ordinario, y el marco vuelve a intentar las llamadas al modelo hasta que la salida las cumple.
"El marco Mellea de IBM fue la base sobre la que lo construimos. El trabajo de Mellea es hacer que las llamadas al modelo sean predecibles: se escriben las reglas que la salida debe satisfacer como código ordinario, y el marco vuelve a intentarlo hasta que la salida LLM las cumpla. Nuestro trabajo era aprovechar el marco para construir la aplicación legal de un extremo a otro", dijo Wu en el anuncio.
La herramienta procesa un documento en unos ocho minutos. Primero extrae citas de jurisprudencia de un expediente legal, luego verifica que cada cita sea auténtica y que realmente respalde el contenido del documento; la segunda parte es lo que distingue una cita alucinada de una simplemente falsa. Un caso inventado que no existe no pasa la primera verificación; Un caso real que no dice lo que pretende la presentación que falla el segundo.
Probado contra presentaciones reales fabricadas
El equipo evaluó Mellea-LRC en 26 documentos públicos presentados ante los tribunales que se sabe que contienen citaciones falsificadas, la misma clase de incidentes que ha generado sanciones y escrutinio en los tribunales a medida que se difunden los escritos redactados por AI.
El problema al que se enfrenta Mellea-LRC está bien documentado: los LLM generan nombres de casos, citas y citas que parecen plausibles que no corresponden a ningún precedente real, y los abogados se han enfrentado a sanciones después de presentar dichas presentaciones sin verificarlas.
Código abierto por diseño
Un requisito central del proyecto era que el código de la herramienta fuera de código abierto. Además de la herramienta, el equipo lanzó un nuevo conjunto de datos de prueba y validación de Hugging Face para futuros estudios de evaluación comparativa.
"La IA agente está creciendo rápidamente y gran parte del crecimiento ocurre en proyectos de código abierto, donde cualquiera puede leer, usar y mejorar el trabajo", dijo Lozada.
Jeff Young, director de OSPO y científico investigador principal de Georgia Tech, dijo que el marco Mellea de IBM era fundamental para el trabajo porque su enfoque de "instruir, verificar y reparar" permite la creación de bucles LLM confiables.
La arquitectura detrás de una producción confiable
Lo que hace notable el enfoque de Mellea es dónde coloca la carga de la confiabilidad. La mayoría de las estrategias de mitigación de alucinaciones exigen que el propio modelo sea más cuidadoso, mediante indicaciones, ajustes o aumento de la recuperación. Mellea-LRC invierte eso: los requisitos de corrección se encuentran en el código ordinario fuera del modelo, y el marco sigue llamando al modelo hasta que el resultado los satisface de manera demostrable.
Ese diseño tiene dos consecuencias prácticas. En primer lugar, la lógica de verificación es auditable: un abogado o un tribunal pueden leer exactamente qué reglas tuvo que pasar una citación, en lugar de confiar en un modelo de sentencia opaco. En segundo lugar, el mismo patrón se generaliza más allá de las citaciones legales a cualquier dominio donde los resultados puedan verificarse mecánicamente, que es precisamente la propiedad que ha hecho que los marcos agentes sean atractivos para los desarrolladores empresariales.
También cabe destacar la estructura de las becas. En lugar de un laboratorio corporativo cerrado, el proyecto reunió a dos estudiantes de maestría, la tutoría de CSSE y OSPO y la financiación de IBM en torno a un problema de verificación limitado y bien definido, y produjo una herramienta de trabajo más un conjunto de datos de referencia públicos.
Por qué es importante para la industria legal
Los tribunales se han convertido en un foco de problemas de confiabilidad de la IA. El flujo de trabajo de verificación que Mellea-LRC automatiza (confirmar que existe una cita y verificar que diga lo que afirma el redactor) es exactamente el paso de diligencia que los revisores humanos omiten cuando los plazos son ajustados.
Un tiempo de procesamiento de ocho minutos por documento hace que sea práctico ejecutarlo antes de presentarlo, en lugar de como un ejercicio forense después de que un juez señala un caso inexistente. Y debido a que tanto la herramienta como su conjunto de datos de evaluación son de código abierto, otros equipos pueden auditar cómo funciona, extenderla a jurisdicciones y formatos de citación adicionales, y comparar mejoras, un enfoque que contrasta con los verificadores de alucinaciones cerrados y propietarios.
El proyecto también señala hacia dónde se dirigen las herramientas de IA empresarial: en lugar de intentar hacer que los modelos alucinen menos, equipos como el de Georgia Tech están construyendo capas de verificación a su alrededor, utilizando reglas estructuradas y reintentos automatizados para hacer que la salida del modelo sea lo suficientemente predecible para profesiones de alto riesgo.
Para la industria jurídica, el cálculo es sencillo. La IA puede redactar un resumen en minutos y herramientas como Mellea-LRC pueden verificar sus citas aproximadamente al mismo tiempo. La variable restante es si las empresas hacen de esa verificación un paso obligatorio: antes de la presentación, no después de la sanción.
---
Mantente al Día con la IALas últimas noticias, análisis y avances de inteligencia artificial, en un solo lugar.
Leer más noticias de IA →
