Memandangkan dokumen undang-undang semakin digubal dengan model bahasa yang besar, petikan yang dipalsukan telah menjadi masalah sebenar bagi mahkamah dan peguam yang hadir di hadapan mereka. Penyelidik Georgia Tech telah membina alat sumber terbuka yang direka untuk menangkap rujukan rekaan tersebut sebelum mereka sampai kepada hakim.
Alat yang dipanggil Mellea Legal Requirements Checker (Mellea-LRC), boleh mengenal pasti dan mengesahkan petikan undang-undang kes, dengan tumpuan khusus pada petikan yang dikhayalkan oleh AI. Ia dicipta melalui program persahabatan di Pusat Kejuruteraan Perisian Saintifik Georgia Tech (CSSE) dan Pejabat Program Sumber Terbuka (OSPO), yang dibiayai oleh derma daripada IBM, menurut pengumuman universiti itu. For more context on this story, see our ongoing artificial intelligence updates.
Pelajar sarjana Adrian Lozada dan Di Wu telah dipilih sebagai felo untuk membina alat dengan mentor dari CSSE dan OSPO. Matlamat mereka, kata universiti itu, adalah untuk memberi peguam dan orang lain dalam bidang undang-undang cara mudah untuk mengesahkan petikan undang-undang.
Cara Ia Berfungsi
Mellea-LRC menggabungkan model bahasa besar dengan rangka kerja sumber terbuka Mellea IBM, yang dibina berdasarkan paradigma "arahkan, sahkan, baiki": pembangun menulis peraturan yang output LLM mesti dipenuhi sebagai kod biasa dan rangka kerja itu mencuba semula panggilan model sehingga output memenuhinya.
"Rangka kerja Mellea IBM ialah asas yang kami bina. Tugas Mellea adalah untuk membuat panggilan model boleh diramal: anda menulis peraturan yang output mesti dipenuhi sebagai kod biasa, dan rangka kerja itu mencuba semula sehingga output LLM memenuhinya. Tugas kami adalah untuk memanfaatkan rangka kerja untuk membina aplikasi undang-undang dari hujung ke hujung, "kata Wu dalam pengumuman itu.
Alat ini memproses dokumen dalam kira-kira lapan minit. Ia mula-mula mengekstrak petikan undang-undang kes daripada pemfailan undang-undang, kemudian mengesahkan bahawa setiap petikan adalah sahih dan ia sebenarnya menyokong kandungan dokumen — bahagian kedua ialah perkara yang membezakan petikan halusinasi daripada petikan palsu semata-mata. Kes rekaan yang tidak wujud gagal dalam pemeriksaan pertama; kes sebenar yang tidak menyatakan apa tuntutan pemfailan gagal yang kedua.
Diuji Terhadap Pemfailan Fabrikasi Sebenar
Pasukan itu menilai Mellea-LRC pada 26 dokumen pemfailan mahkamah awam yang diketahui mengandungi petikan yang dipalsukan — kelas insiden yang sama yang telah dikenakan sekatan dan penelitian di mahkamah apabila taklimat yang digubal AI telah tersebar.
Masalah sasaran Mellea-LRC didokumentasikan dengan baik: LLM menjana nama kes yang kelihatan munasabah, petikan dan petikan yang tidak sepadan dengan mana-mana duluan sebenar, dan peguam telah menghadapi penalti selepas menyerahkan pemfailan sedemikian tanpa menyemaknya.
Sumber Terbuka oleh Reka Bentuk
Keperluan teras projek ialah kod alat menjadi sumber terbuka. Di samping alat itu, pasukan mengeluarkan set data ujian dan pengesahan baharu pada Hugging Face untuk kajian penanda aras masa hadapan.
"Agentic AI berkembang dengan cepat, dan kebanyakan pertumbuhan berlaku dalam projek sumber terbuka, di mana sesiapa sahaja boleh membaca, menggunakan dan menambah baik kerja," kata Lozada.
Jeff Young, pengarah OSPO dan saintis penyelidikan utama di Georgia Tech, berkata rangka kerja Mellea IBM adalah penting untuk kerja itu kerana pendekatan "mengarahkan, mengesahkan, membaiki" membolehkan penciptaan gelung LLM yang boleh dipercayai.
Seni Bina Di Sebalik Output Dipercayai
Apa yang menjadikan pendekatan Mellea terkenal adalah di mana ia meletakkan beban kebolehpercayaan. Kebanyakan strategi pengurangan halusinasi meminta model itu sendiri untuk lebih berhati-hati — melalui gesaan, penalaan halus, atau penambahan perolehan semula. Mellea-LRC membalikkan bahawa: keperluan ketepatan hidup dalam kod biasa di luar model, dan rangka kerja terus memanggil model sehingga output terbukti memuaskannya.
Reka bentuk itu mempunyai dua akibat praktikal. Pertama, logik pengesahan boleh diaudit — peguam atau mahkamah boleh membaca dengan tepat peraturan yang perlu diluluskan oleh petikan, dan bukannya mempercayai penghakiman model legap. Kedua, corak yang sama menyamaratakan melangkaui petikan undang-undang kepada mana-mana domain di mana output boleh disemak secara mekanikal, yang merupakan sifat yang telah menjadikan rangka kerja agen menarik kepada pemaju perusahaan.
Struktur persekutuan juga patut diberi perhatian. Daripada makmal korporat tertutup, projek itu meletakkan dua pelajar sarjana, bimbingan daripada CSSE dan OSPO, dan pembiayaan IBM bersama-sama mengatasi masalah pengesahan yang sempit dan jelas — dan menghasilkan alat yang berfungsi serta set data penanda aras awam.
Mengapa Ia Penting untuk Industri Undang-undang
Mahkamah telah menjadi titik kilat untuk masalah kebolehpercayaan AI. Aliran kerja pengesahan Mellea-LRC mengautomasikan — mengesahkan petikan wujud dan menyemaknya menyatakan perkara yang didakwa oleh penggubal — adalah betul-betul langkah ketekunan yang dilangkau oleh penyemak manusia apabila tarikh akhir yang ketat.
Masa pemprosesan selama lapan minit bagi setiap dokumen menjadikannya praktikal untuk dijalankan sebelum memfailkan, dan bukannya sebagai latihan forensik selepas hakim menandai kes yang tidak wujud. Dan kerana kedua-dua alat dan set data penilaiannya adalah sumber terbuka, pasukan lain boleh mengaudit cara ia berfungsi, melanjutkannya kepada bidang kuasa tambahan dan format petikan serta penambahbaikan penanda aras — pendekatan yang berbeza dengan penyemak halusinasi proprietari tertutup.
Projek ini juga memberi isyarat ke mana alat AI perusahaan menuju: daripada cuba menjadikan model kurang berhalusinasi, pasukan seperti Georgia Tech sedang membina lapisan pengesahan di sekeliling mereka, menggunakan peraturan berstruktur dan percubaan semula automatik untuk menjadikan output model cukup boleh diramal untuk profesion berkepentingan tinggi.
Untuk industri undang-undang, kalkulus adalah mudah. AI boleh merangka ringkasan dalam beberapa minit dan alatan seperti Mellea-LRC boleh menyemak petikannya dalam masa yang sama. Pembolehubah selebihnya ialah sama ada firma menjadikan semakan itu sebagai langkah wajib — sebelum pemfailan, bukan selepas sekatan.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
