Omdat juridische documenten steeds vaker worden opgesteld met grote taalmodellen, zijn vervalste citaten een reëel probleem geworden voor rechtbanken en de advocaten die voor hen verschijnen. Georgia Tech-onderzoekers hebben een open-sourcetool ontwikkeld die is ontworpen om deze verzonnen referenties te onderscheppen voordat ze bij de rechter terechtkomen.
De tool, genaamd de Mellea Legal Requirements Checker (Mellea-LRC), kan citaten uit de jurisprudentie identificeren en verifiëren, met een specifieke focus op citaten die door AI worden gehallucineerd. Het is tot stand gekomen via een fellowship-programma bij Georgia Tech's Center for Scientific Software Engineering (CSSE) en Open Source Program Office (OSPO), gefinancierd door een donatie van IBM, aldus de aankondiging van de universiteit. Voor meer context over dit verhaal, zie ons meer AI-verhalen.
Masterstudenten Adrian Lozada en Di Wu werden geselecteerd als fellows om de tool te bouwen met mentoren van CSSE en OSPO. Hun doel, aldus de universiteit, was om advocaten en anderen op juridisch gebied een eenvoudige manier te bieden om juridische citaten te verifiëren.
Hoe het werkt
Mellea-LRC combineert grote taalmodellen met IBM's Mellea open-source raamwerk, dat is gebouwd rond een 'instrueren, verifiëren, repareren'-paradigma: ontwikkelaars schrijven de regels waaraan de uitvoer van een LLM moet voldoen als gewone code, en het raamwerk probeert opnieuw modelaanroepen totdat de uitvoer eraan voldoet.
"Het Mellea-framework van IBM was de basis waarop we het hebben gebouwd. Mellea's taak is om modelaanroepen voorspelbaar te maken: je schrijft de regels waaraan de uitvoer moet voldoen als gewone code, en het raamwerk probeert het opnieuw totdat de LLM-uitvoer hieraan voldoet. Het was onze taak om het raamwerk te gebruiken om de juridische applicatie van begin tot eind te bouwen", zei Wu in de aankondiging.
De tool verwerkt een document in ongeveer acht minuten. Het haalt eerst citaten uit de jurisprudentie uit een juridisch document en verifieert vervolgens dat elke citatie authentiek is en dat deze feitelijk de inhoud van het document ondersteunt. Het tweede deel is wat een gehallucineerde citatie onderscheidt van een louter nepcitaat. Een verzonnen geval dat niet bestaat, doorstaat de eerste controle niet; een echte zaak die niet zegt wat de indieningsclaims zijn, faalt in de tweede.
Getest tegen echte verzonnen dossiers
Het team evalueerde Mellea-LRC op basis van 26 openbare gerechtelijke documenten waarvan bekend was dat ze vervalste citaten bevatten – dezelfde klasse van incidenten die tot sancties en controle in de rechtbanken heeft geleid als door AI opgestelde instructies zich hebben verspreid.
Het probleem waar Mellea-LRC zich op richt is goed gedocumenteerd: LLM's genereren plausibel ogende zaaknamen, citaten en citaten die niet overeenkomen met een reëel precedent, en advocaten kregen te maken met straffen nadat ze dergelijke dossiers hadden ingediend zonder ze te controleren.
Open source door ontwerp
Een kernvereiste van het project was dat de code van de tool open source zou zijn. Naast de tool heeft het team een nieuwe test- en validatiedataset over Hugging Face vrijgegeven voor toekomstige benchmarkingstudies.
"Agentic AI groeit snel, en een groot deel van de groei vindt plaats in open-sourceprojecten, waar iedereen het werk kan lezen, gebruiken en verbeteren", aldus Lozada.
Jeff Young, OSPO-directeur en hoofdonderzoeker bij Georgia Tech, zei dat IBM's Mellea-framework van cruciaal belang was voor het werk omdat de "instrueren, verifiëren, repareren"-aanpak het creëren van betrouwbare LLM-loops mogelijk maakt.
De architectuur achter betrouwbare output
Wat de Mellea-aanpak opmerkelijk maakt, is waar het de last van betrouwbaarheid legt. De meeste strategieën voor het beperken van hallucinaties vragen het model zelf om voorzichtiger te zijn – door middel van aanwijzingen, verfijning of retrieval augmentation. Mellea-LRC keert dat om: de correctheidsvereisten leven in gewone code buiten het model, en het raamwerk blijft het model aanroepen totdat de uitvoer er aantoonbaar aan voldoet.
Dat ontwerp heeft twee praktische gevolgen. Ten eerste is de verificatielogica controleerbaar: een advocaat of een rechtbank kan precies lezen aan welke regels een citaat moet voldoen, in plaats van te vertrouwen op een ondoorzichtig modeloordeel. Ten tweede generaliseert hetzelfde patroon zich voorbij juridische citaten naar elk domein waar de output mechanisch kan worden gecontroleerd, wat precies de eigenschap is die agentische raamwerken aantrekkelijk heeft gemaakt voor bedrijfsontwikkelaars.
Ook de fellowshipstructuur is het vermelden waard. In plaats van een gesloten bedrijfslaboratorium bracht het project twee masterstudenten, mentorschap van CSSE en OSPO, en IBM-financiering samen rond een smal, goed gedefinieerd verificatieprobleem – en produceerde het een werkinstrument plus een openbare benchmarkdataset.
Waarom het belangrijk is voor de juridische sector
Rechtbanken zijn een brandpunt geworden voor AI-betrouwbaarheidsproblemen. De verificatieworkflow die Mellea-LRC automatiseert – bevestigen dat een citaat bestaat en controleren of er staat wat de opsteller beweert – is precies de zorgvuldigheidsstap die menselijke reviewers overslaan als de deadlines krap zijn.
Dankzij een verwerkingstijd van acht minuten per document is het praktisch om dit uit te voeren voordat het wordt ingediend, in plaats van als een forensische oefening nadat een rechter een niet-bestaande zaak heeft gesignaleerd. En omdat zowel de tool als de evaluatiedataset open source zijn, kunnen andere teams controleren hoe het werkt, het uitbreiden naar aanvullende rechtsgebieden en citatieformaten, en verbeteringen benchmarken – een aanpak die contrasteert met gesloten, eigen hallucinatiecheckers.
Het project geeft ook aan waar de AI-tooling voor bedrijven naartoe gaat: in plaats van te proberen modellen minder te laten hallucineren, bouwen teams als Georgia Tech verificatielagen om hen heen, met behulp van gestructureerde regels en geautomatiseerde nieuwe pogingen om de modeluitvoer voorspelbaar genoeg te maken voor beroepen met hoge inzet.
Voor de juridische sector is de berekening eenvoudig. AI kan binnen enkele minuten een briefing opstellen, en tools als Mellea-LRC kunnen de citaten in ongeveer dezelfde tijd controleren. De resterende variabele is of bedrijven deze controle verplicht stellen – vóór de indiening, en niet na de sanctie.
---
Blijf Voorop met AIHet laatste AI-nieuws, analyses en doorbraken — allemaal op één plek.
Lees meer AI-nieuws →
