Vzhledem k tomu, že právní dokumenty jsou stále častěji vypracovávány pomocí velkých jazykových modelů, falšované citace se staly skutečným problémem pro soudy a právníky, kteří před nimi stojí. Výzkumníci z Georgia Tech vytvořili nástroj s otevřeným zdrojovým kódem navržený tak, aby zachytil tyto vymyšlené reference dříve, než se dostanou k soudci.
Nástroj nazvaný Mellea Legal Requirements Checker (Mellea-LRC) dokáže identifikovat a ověřit citace judikatury se zvláštním zaměřením na citace halucinované AI. Podle oznámení univerzity byl vytvořen prostřednictvím stipendijního programu v Centru vědeckého softwarového inženýrství (CSSE) a Open Source Program Office (OSPO) v Georgia Tech, financovaném z daru od IBM. For more context on this story, see our ongoing breaking AI news.
Studenti magisterského studia Adrian Lozada a Di Wu byli vybráni jako stipendisté k vytvoření nástroje s mentory z CSSE a OSPO. Jejich cílem, uvedla univerzita, bylo poskytnout právníkům a dalším v právní oblasti jednoduchý způsob, jak ověřit právní citace.
Jak to funguje
Mellea-LRC kombinuje velké jazykové modely s open-source frameworkem Mellea od IBM, který je postaven na paradigmatu „instruovat, ověřovat, opravovat“: vývojáři píší pravidla, která musí výstup LLM splňovat jako běžný kód, a framework opakuje volání modelu, dokud je výstup nesplní.
"Základem, na kterém jsme jej postavili, byl rámec IBM Mellea. Úkolem Mellea je učinit volání modelu předvídatelná: napíšete pravidla, která musí výstup splňovat, jako běžný kód, a rámec se opakuje, dokud je výstup LLM nesplní. Naším úkolem bylo využít rámec k vybudování právní aplikace od konce do konce," řekl Wu v oznámení.
Nástroj zpracuje dokument přibližně za osm minut. Nejprve extrahuje citace judikatury z právního spisu, poté ověří, že každá citace je autentická a že skutečně podporuje obsah dokumentu – druhá část je to, co odlišuje halucinační citaci od pouhé falešné. Vymyšlený případ, který neexistuje, neprojde první kontrolou; skutečný případ, který neříká, co podání tvrdí, selže.
Testováno proti skutečným vyrobeným pilinám
Tým vyhodnotil Mellea-LRC na 26 veřejných soudních dokumentech, o nichž je známo, že obsahují zfalšované citace – stejná třída incidentů, která vyvolala sankce a kontrolu u soudů, jako se rozšířily briefy navržené AI.
Problém, na který se Mellea-LRC zaměřuje, je dobře zdokumentován: LLM generují věrohodně vypadající názvy případů, citace a citace, které neodpovídají žádnému skutečnému precedentu, a právníci čelili sankcím po podání takových podání, aniž by je zkontrolovali.
Open Source by Design
Základním požadavkem projektu bylo, aby kód nástroje byl open source. Spolu s tímto nástrojem tým vydal nový testovací a ověřovací soubor dat pro Hugging Face pro budoucí srovnávací studie.
„Agentická umělá inteligence rychle roste a velká část růstu se odehrává v projektech s otevřeným zdrojovým kódem, kde může kdokoli číst, používat a zlepšovat práci,“ řekl Lozada.
Jeff Young, ředitel OSPO a hlavní vědecký pracovník v Georgia Tech, řekl, že IBM Mellea framework je pro práci kritický, protože jeho přístup „instruovat, ověřovat, opravovat“ umožňuje vytvářet spolehlivé LLM smyčky.
Architektura za spolehlivým výstupem
Co dělá přístup Mellea pozoruhodným, je to, kde klade břemeno spolehlivosti. Většina strategií zmírňování halucinací vyžaduje od samotného modelu, aby byl opatrnější – prostřednictvím nabádání, jemného ladění nebo augmentace vyhledávání. Mellea-LRC to invertuje: požadavky na správnost žijí v běžném kódu mimo model a framework neustále volá model, dokud je výstup prokazatelně nesplňuje.
Tento design má dva praktické důsledky. Za prvé, ověřovací logika je auditovatelná – právník nebo soud může přesně přečíst, jakými pravidly musela citace projít, místo aby důvěřoval neprůhlednému vzorovému rozsudku. Zadruhé, stejný vzorec se zobecňuje nad rámec zákonných citací na jakoukoli doménu, kde lze výstupy kontrolovat mechanicky, což je právě vlastnost, díky které jsou agentní rámce atraktivní pro podnikové vývojáře.
Za zmínku stojí i struktura společenství. Spíše než uzavřenou podnikovou laboratoř dal projekt dohromady dva magisterské studenty, mentorství od CSSE a OSPO a financování IBM kolem úzkého, dobře definovaného problému ověřování – a vytvořil pracovní nástroj plus veřejný srovnávací datový soubor.
Proč je to pro právní odvětví důležité
Soudy se staly ohniskem problémů se spolehlivostí AI. Ověřovací pracovní postup, který Mellea-LRC automatizuje – potvrzení, že citace existuje, a kontrola, že říká to, co navrhovatel tvrdí – je přesně tím pečlivým krokem, který lidští recenzenti přeskakují, když jsou krátké termíny.
Osmiminutová doba zpracování na jeden dokument usnadňuje spuštění před podáním, spíše než jako forenzní cvičení poté, co soudce označí neexistující případ. And because both the tool and its evaluation dataset are open source, other teams can audit how it works, extend it to additional jurisdictions and citation formats, and benchmark improvements — an approach that contrasts with closed, proprietary hallucination checkers.
Projekt také signalizuje, kam směřuje nástroj podnikové umělé inteligence: spíše než se snažit, aby modely měly méně halucinací, týmy jako Georgia Tech kolem nich budují ověřovací vrstvy pomocí strukturovaných pravidel a automatických opakování, aby byl výstup modelu dostatečně předvídatelný pro vysoce sázkové profese.
Pro právní odvětví je tento kalkul jednoduchý. Umělá inteligence dokáže navrhnout brief během několika minut a nástroje jako Mellea-LRC mohou zkontrolovat jeho citace přibližně ve stejnou dobu. Zbývající proměnnou je, zda firmy tuto kontrolu učiní povinným krokem – před podáním, nikoli po sankci.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
