Ketika dokumen hukum semakin banyak disusun dengan model bahasa yang besar, kutipan yang dipalsukan telah menjadi masalah nyata bagi pengadilan dan pengacara yang hadir di hadapan mereka. Peneliti Georgia Tech telah membangun alat sumber terbuka yang dirancang untuk menangkap referensi palsu tersebut sebelum sampai ke hakim.
Alat tersebut, yang disebut Mellea Legal Persyaratan Checker (Mellea-LRC), dapat mengidentifikasi dan memverifikasi kutipan kasus hukum, dengan fokus khusus pada kutipan yang dihalusinasi oleh AI. Itu dibuat melalui program fellowship di Pusat Rekayasa Perangkat Lunak Ilmiah (CSSE) Georgia Tech dan Open Source Program Office (OSPO), yang didanai oleh sumbangan dari IBM, menurut pengumuman universitas. For more context on this story, see our ongoing AI industry coverage.
Siswa master Adrian Lozada dan Di Wu dipilih sebagai rekan untuk membangun alat ini dengan mentor dari CSSE dan OSPO. Tujuan mereka, kata universitas, adalah memberikan cara sederhana kepada pengacara dan pihak lain di bidang hukum untuk memverifikasi kutipan hukum.
Cara Kerjanya
Mellea-LRC menggabungkan model bahasa besar dengan kerangka kerja sumber terbuka Mellea IBM, yang dibangun berdasarkan paradigma "instruksikan, verifikasi, perbaikan": pengembang menulis aturan yang harus dipenuhi oleh keluaran LLM sebagai kode biasa, dan kerangka tersebut mencoba ulang panggilan model hingga keluaran memenuhinya.
“Kerangka kerja Mellea IBM adalah fondasi tempat kami membangunnya. Tugas Mellea adalah membuat panggilan model dapat diprediksi: Anda menulis aturan yang harus dipenuhi oleh keluaran sebagai kode biasa, dan kerangka tersebut mencoba ulang hingga keluaran LLM memenuhinya. Tugas kami adalah memanfaatkan kerangka kerja untuk membangun aplikasi legal dari ujung ke ujung,” kata Wu dalam pengumumannya.
Alat ini memproses dokumen dalam waktu sekitar delapan menit. Pertama-tama, ia mengekstraksi kutipan kasus hukum dari pengajuan hukum, kemudian memverifikasi bahwa setiap kutipan adalah asli dan benar-benar mendukung konten dokumen — bagian kedua adalah yang membedakan kutipan halusinasi dari kutipan palsu. Kasus palsu yang tidak ada gagal dalam pemeriksaan pertama; kasus nyata yang tidak menyebutkan apa yang gagal dalam pengajuan klaim kedua.
Diuji Terhadap Pengajuan Buatan Nyata
Tim tersebut mengevaluasi Mellea-LRC berdasarkan 26 dokumen pengajuan pengadilan publik yang diketahui berisi kutipan palsu – jenis insiden yang sama yang telah menarik sanksi dan pengawasan di pengadilan karena laporan yang dirancang oleh AI telah menyebar.
Masalah yang ditargetkan Mellea-LRC didokumentasikan dengan baik: LLM menghasilkan nama kasus, kutipan, dan kutipan yang tampak masuk akal yang tidak sesuai dengan preseden sebenarnya, dan pengacara menghadapi hukuman setelah menyerahkan pengajuan tersebut tanpa memeriksanya.
Sumber Terbuka berdasarkan Desain
Persyaratan inti proyek ini adalah kode alat tersebut bersifat open source. Bersamaan dengan alat tersebut, tim juga merilis kumpulan data pengujian dan validasi baru pada Hugging Face untuk studi benchmarking di masa mendatang.
“Agentic AI berkembang pesat, dan sebagian besar pertumbuhan terjadi pada proyek sumber terbuka, di mana siapa pun dapat membaca, menggunakan, dan meningkatkan pekerjaannya,” kata Lozada.
Jeff Young, direktur OSPO dan ilmuwan riset utama di Georgia Tech, mengatakan kerangka kerja Mellea IBM sangat penting untuk pekerjaan ini karena pendekatan "instruksikan, verifikasi, perbaikan" memungkinkan terciptanya loop LLM yang andal.
Arsitektur di Balik Hasil yang Andal
Apa yang membuat pendekatan Mellea menonjol adalah pendekatan ini menempatkan beban keandalan. Sebagian besar strategi mitigasi halusinasi meminta model itu sendiri untuk lebih berhati-hati — melalui dorongan, penyesuaian, atau augmentasi pengambilan. Mellea-LRC membalikkan hal tersebut: persyaratan kebenaran berada dalam kode biasa di luar model, dan kerangka kerja terus memanggil model hingga keluarannya terbukti memuaskan.
Rancangan tersebut mempunyai dua konsekuensi praktis. Pertama, logika verifikasi dapat diaudit - pengacara atau pengadilan dapat membaca dengan tepat aturan apa yang harus disahkan oleh sebuah kutipan, daripada mempercayai model penilaian yang tidak jelas. Kedua, pola yang sama menggeneralisasi melampaui kutipan hukum ke domain mana pun di mana output dapat diperiksa secara mekanis, yang justru merupakan properti yang membuat kerangka agen menarik bagi pengembang perusahaan.
Struktur persekutuan juga perlu diperhatikan. Daripada laboratorium perusahaan yang tertutup, proyek ini menempatkan dua mahasiswa master, bimbingan dari CSSE dan OSPO, dan pendanaan IBM bersama-sama untuk mengatasi masalah verifikasi yang sempit dan terdefinisi dengan baik — dan menghasilkan alat kerja ditambah kumpulan data tolok ukur publik.
Mengapa Hal Ini Penting bagi Industri Hukum
Pengadilan telah menjadi titik nyala masalah keandalan AI. Alur kerja verifikasi yang diotomatiskan Mellea-LRC — mengonfirmasi keberadaan kutipan dan memeriksa apakah kutipan tersebut menyatakan apa yang diklaim oleh pembuatnya — merupakan langkah ketekunan yang dilewati oleh pengulas manusia ketika tenggat waktu sangat ketat.
Waktu pemrosesan delapan menit per dokumen menjadikannya praktis untuk dijalankan sebelum diajukan, dibandingkan sebagai latihan forensik setelah hakim menandai kasus yang tidak ada. Dan karena alat dan kumpulan data evaluasinya bersifat open source, tim lain dapat mengaudit cara kerjanya, memperluasnya ke yurisdiksi tambahan dan format kutipan, serta peningkatan tolok ukur — sebuah pendekatan yang kontras dengan pemeriksa halusinasi yang bersifat tertutup dan eksklusif.
Proyek ini juga memberi sinyal ke arah mana alat AI perusahaan akan mengarah: alih-alih mencoba mengurangi halusinasi model, tim seperti Georgia Tech membangun lapisan verifikasi di sekitar model tersebut, menggunakan aturan terstruktur dan percobaan ulang otomatis untuk membuat keluaran model cukup dapat diprediksi untuk profesi berisiko tinggi.
Bagi industri hukum, perhitungannya sangatlah mudah. AI dapat menyusun ringkasan dalam hitungan menit, dan alat seperti Mellea-LRC dapat memeriksa kutipannya dalam waktu yang hampir bersamaan. Variabel yang tersisa adalah apakah perusahaan menjadikan pemeriksaan tersebut sebagai langkah wajib – sebelum pengajuan, bukan setelah sanksi.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
