Pe măsură ce actele juridice sunt din ce în ce mai întocmite cu modele lingvistice mari, citațiile falsificate au devenit o problemă reală pentru instanțe și avocații care se prezintă în fața lor. Cercetătorii Georgia Tech au construit un instrument open-source conceput pentru a prinde acele referințe fabricate înainte de a ajunge la un judecător.
Instrumentul, numit Mellea Legal Requirements Checker (Mellea-LRC), poate identifica și verifica citările din jurisprudență, cu un accent special pe citațiile halucinate de AI. A fost creat printr-un program de burse la Centrul pentru Inginerie Științifică a Software-ului (CSSE) și Open Source Program Office (OSPO) al Georgia Tech, finanțat printr-o donație de la IBM, potrivit anunțului universității. For more context on this story, see our ongoing breaking AI news.
Studenții de master Adrian Lozada și Di Wu au fost selectați ca bursieri pentru a construi instrumentul cu mentori de la CSSE și OSPO. Scopul lor, a spus universitatea, a fost să ofere avocaților și altor persoane din domeniul juridic o modalitate simplă de a verifica citațiile legale.
Cum funcționează
Mellea-LRC combină modele mari de limbaj cu framework-ul open-source de la IBM, care este construit în jurul unei paradigme „instrucționează, verifică, repară”: dezvoltatorii scriu regulile pe care ieșirea unui LLM trebuie să le îndeplinească ca cod obișnuit, iar cadrul reîncearcă apelurile modelului până când rezultatul le îndeplinește.
„Cadru-ul IBM Mellea a fost fundamentul pe care l-am construit. Sarcina lui Mellea este de a face apelurile modelului predictibile: scrieți regulile pe care ieșirea trebuie să le îndeplinească ca cod obișnuit, iar cadrul reîncearcă până când rezultatul LLM le îndeplinește. Sarcina noastră a fost să folosim cadrul pentru a construi aplicația legală de la capăt la capăt”, a spus Wu în anunț.
Instrumentul procesează un document în aproximativ opt minute. Mai întâi extrage citate din jurisprudență dintr-un dosar juridic, apoi verifică dacă fiecare citare este autentică și că susține de fapt conținutul documentului - a doua parte fiind ceea ce distinge o citare halucinată de una pur și simplu falsă. O carcasă fabricată care nu există eșuează la prima verificare; un caz real care nu spune ceea ce susține depunerea eșuează al doilea.
Testat împotriva dosarelor reale fabricate
Echipa a evaluat Mellea-LRC pe 26 de documente publice de depunere a instanței despre care se știe că conțin citații falsificate - aceeași clasă de incidente care a atras sancțiuni și control în instanțe pe măsură ce s-au răspândit briefurile elaborate de AI.
Problema vizată de Mellea-LRC este bine documentată: LLM-urile generează nume de cazuri cu aspect plauzibil, citări și citate care nu corespund niciunui precedent real, iar avocații s-au confruntat cu sancțiuni după depunerea unor astfel de dosare fără a le verifica.
Open Source prin design
O cerință de bază a proiectului a fost ca codul instrumentului să fie open source. Alături de instrument, echipa a lansat un nou set de date de testare și validare pe Hugging Face pentru viitoare studii comparative.
„AI agentic crește rapid și o mare parte din creștere are loc în proiecte open-source, în care oricine poate citi, utiliza și îmbunătăți munca”, a spus Lozada.
Jeff Young, director OSPO și cercetător principal la Georgia Tech, a declarat că cadrul IBM Mellea a fost esențial pentru lucru, deoarece abordarea sa de „instruire, verificare, reparare” permite crearea de bucle LLM fiabile.
Arhitectura din spatele producției de încredere
Ceea ce face ca abordarea Mellea să fie notabilă este locul în care plasează povara fiabilității. Cele mai multe strategii de atenuare a halucinațiilor cer modelului însuși să fie mai atent - prin stimulare, reglare fină sau mărire de recuperare. Mellea-LRC inversează faptul că: cerințele de corectitudine trăiesc în codul obișnuit în afara modelului, iar cadrul continuă să apeleze modelul până când rezultatul le satisface în mod demonstrat.
Acest design are două consecințe practice. În primul rând, logica de verificare este auditabilă - un avocat sau o instanță poate citi exact ce reguli trebuie să respecte o citare, mai degrabă decât să aibă încredere într-un model de judecată opac. În al doilea rând, același tipar se generalizează dincolo de citările legale la orice domeniu în care rezultatele pot fi verificate mecanic, care este tocmai proprietatea care a făcut cadrele agentice atractive pentru dezvoltatorii de întreprinderi.
Structura bursei este, de asemenea, de remarcată. Mai degrabă decât un laborator corporativ închis, proiectul a reunit doi studenți de master, mentorat de la CSSE și OSPO și finanțare IBM în jurul unei probleme de verificare restrânse și bine definite - și a produs un instrument de lucru plus un set de date de referință public.
De ce contează pentru industria juridică
Instanțele au devenit un punct de foc pentru problemele de fiabilitate AI. Fluxul de lucru de verificare automatizat de Mellea-LRC – confirmând existența unei citate și verificarea acesteia spune ceea ce susține redactorul – este exact pasul de diligență pe care recenzorii umani îl sar peste când termenele limită sunt strânse.
Un timp de procesare de opt minute per document face ca acesta să fie practic înainte de depunere, mai degrabă decât ca un exercițiu criminalistic după ce un judecător semnalează un caz inexistent. Și deoarece atât instrumentul, cât și setul de date de evaluare sunt open source, alte echipe pot audita modul în care funcționează, îl pot extinde la jurisdicții suplimentare și formate de citare și pot face îmbunătățiri de referință - o abordare care contrastează cu verificatoarele de halucinații închise, proprietare.
Proiectul semnalează, de asemenea, spre ce se îndreaptă instrumentele de inteligență artificială pentru întreprinderi: în loc să încerce să facă modelele să halucineze mai puțin, echipe precum Georgia Tech construiesc straturi de verificare în jurul lor, folosind reguli structurate și reîncercări automate pentru a face rezultatele modelului suficient de previzibile pentru profesiile cu mize mari.
Pentru industria juridică, calculul este simplu. AI poate redacta un brief în câteva minute, iar instrumente precum Mellea-LRC își pot verifica citările în aproximativ același timp. Variabila rămasă este dacă firmele fac această verificare un pas obligatoriu - înainte de depunere, nu după sancțiune.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
