Minangka dokumen legal tambah akeh karo model basa gedhe, kutipan palsu wis dadi masalah nyata kanggo pengadilan lan pengacara sing katon ing ngarepe. Peneliti Georgia Tech wis nggawe alat open-source sing dirancang kanggo nyekel referensi sing digawe sadurunge tekan hakim.
Alat kasebut, sing diarani Mellea Legal Requirements Checker (Mellea-LRC), bisa ngenali lan verifikasi kutipan hukum kasus, kanthi fokus khusus ing kutipan halusinasi AI. Iki digawe liwat program persahabatan ing Georgia Tech's Center for Scientific Software Engineering (CSSE) lan Open Source Program Office (OSPO), sing didanai dening sumbangan saka IBM, miturut woro-woro universitas kasebut. For more context on this story, see our ongoing AI industry coverage.
Siswa master Adrian Lozada lan Di Wu dipilih minangka fellows kanggo mbangun alat karo mentor saka CSSE lan OSPO. Tujuane, ujare universitas, yaiku menehi pengacara lan liya-liyane ing bidang hukum kanthi cara sing gampang kanggo verifikasi kutipan sah.
Cara Kerjane
Mellea-LRC nggabungke model basa gedhe karo kerangka mbukak-sumber Mellea IBM, sing dibangun ing saubengé paradigma "instruct, verifikasi, ndandani": pangembang nulis aturan sing output LLM kudu marem minangka kode biasa, lan framework retries model telpon nganti output ketemu.
"Framework Mellea IBM minangka pondasi sing dibangun. Tugas Mellea yaiku nggawe telpon model sing bisa ditebak: sampeyan nulis aturan sing kudu ditindakake output minangka kode biasa, lan kerangka kasebut nyoba maneh nganti output LLM ketemu. Tugas kita yaiku nggunakake kerangka kanggo mbangun aplikasi legal saka mburi nganti pungkasan, "ujare Wu ing woro-woro kasebut.
Alat kasebut ngolah dokumen sajrone wolung menit. Iki pisanan ngekstrak kutipan hukum kasus saka pengajuan hukum, banjur verifikasi manawa saben kutipan kasebut asli lan bener ndhukung isi dokumen kasebut - bagean kapindho yaiku sing mbedakake kutipan halusinasi saka kutipan sing mung palsu. Kasus palsu sing ora ana gagal mriksa pisanan; kasus nyata sing ora ngomong apa claims filing gagal kaloro.
Diuji Nglawan File Fabrikasi Nyata
Tim kasebut ngevaluasi Mellea-LRC babagan 26 dokumen pengajuan pengadilan umum sing dikawruhi ngemot kutipan palsu - kelas sing padha karo kedadean sing nggawe sanksi lan pengawasan ing pengadilan amarga ringkesan rancangan AI wis nyebar.
Masalah target Mellea-LRC didokumentasikan kanthi apik: LLM ngasilake jeneng kasus, kutipan, lan kutipan sing katon bisa dipercaya sing ora cocog karo preseden sing nyata, lan pengacara wis ngadhepi paukuman sawise ngirim file kasebut tanpa mriksa.
Open Source dening Desain
Syarat utama proyek kasebut yaiku kode alat kasebut minangka sumber terbuka. Saliyane alat kasebut, tim kasebut ngetokake set data tes lan validasi anyar ing Hugging Face kanggo pasinaon benchmarking ing mangsa ngarep.
"Agentic AI tuwuh kanthi cepet, lan akeh wutah sing kedadeyan ing proyek sumber terbuka, ing ngendi sapa wae bisa maca, nggunakake, lan nambah karya," ujare Lozada.
Jeff Young, direktur OSPO lan ilmuwan riset utama ing Georgia Tech, ngandika kerangka Mellea IBM iku kritis kanggo karya amarga sawijining "instruct, verifikasi, ndandani" pendekatan ngidini nggawe puteran LLM dipercaya.
Arsitektur Dibalik Output sing Bisa Dipercaya
Sing ndadekake pendekatan Mellea misuwur yaiku ing ngendi beban linuwih. Umume strategi mitigasi halusinasi njaluk model kasebut supaya luwih ati-ati - liwat panyuwunan, fine-tuning, utawa augmentation retrieval. Mellea-LRC inverts sing: syarat bener manggon ing kode biasa njaba model, lan framework terus nelpon model nganti output provably gawe marem wong.
Desain kasebut duwe rong akibat praktis. Kaping pisanan, logika verifikasi bisa diaudit - pengacara utawa pengadilan bisa maca persis apa aturan sing kudu ditindakake kutipan, tinimbang ngandelake keputusan model sing ora jelas. Kapindho, pola sing padha umume ngluwihi kutipan hukum menyang domain apa wae ing ngendi output bisa dicenthang kanthi mekanis, yaiku properti sing nggawe kerangka agen menarik kanggo pangembang perusahaan.
Struktur paseduluran uga kudu digatekake. Tinimbang laboratorium perusahaan sing ditutup, proyek kasebut nyedhiyakake rong siswa master, bimbingan saka CSSE lan OSPO, lan pendanaan IBM bebarengan ing masalah verifikasi sing sempit lan jelas - lan ngasilake alat sing bisa digunakake ditambah dataset pathokan umum.
Apa Iku Penting kanggo Industri Hukum
Pengadilan wis dadi titik nyala kanggo masalah linuwih AI. Alur kerja verifikasi Mellea-LRC ngotomatisasi - ngonfirmasi yen ana kutipan lan mriksa apa sing diklaim dening drafter - persis minangka langkah rajin sing dilewati dening reviewer manungsa nalika tenggat wektu sing ketat.
Wektu pangolahan wolung menit saben dokumen ndadekake praktis kanggo mbukak sadurunge ngajokake, tinimbang minangka latihan forensik sawise hakim nyatakake kasus sing ora ana. Lan amarga alat kasebut lan set data evaluasi minangka sumber terbuka, tim liyane bisa ngawasi cara kerjane, ngluwihi yurisdiksi lan format kutipan tambahan, lan perbaikan pathokan - pendekatan sing kontras karo pemeriksa halusinasi tertutup.
Proyèk kasebut uga menehi tandha ing endi alat AI perusahaan: tinimbang nyoba nggawe model kurang halusinasi, tim kaya Georgia Tech nggawe lapisan verifikasi ing saubengé, nggunakake aturan terstruktur lan nyoba maneh otomatis kanggo nggawe output model cukup bisa diprediksi kanggo profesi taruhan dhuwur.
Kanggo industri hukum, kalkulus kasebut gampang. AI bisa ngrancang ringkes ing sawetara menit, lan alat kaya Mellea-LRC bisa mriksa kutipan ing wektu sing padha. Variabel sing isih ana yaiku apa perusahaan nggawe mriksa kasebut minangka langkah wajib - sadurunge diajukake, dudu sawise sanksi.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
