เนื่องจากเอกสารทางกฎหมายมีการร่างขึ้นโดยใช้แบบจำลองภาษาขนาดใหญ่มากขึ้น การอ้างอิงที่เป็นเท็จจึงกลายเป็นปัญหาที่แท้จริงสำหรับศาลและทนายความที่ปรากฏต่อหน้าพวกเขา นักวิจัยของ Georgia Tech ได้สร้างเครื่องมือโอเพ่นซอร์สที่ออกแบบมาเพื่อจับข้อมูลอ้างอิงที่ปลอมแปลงเหล่านั้นก่อนที่จะถึงผู้พิพากษา

เครื่องมือนี้เรียกว่า Mellea Legal Requirements Checker (Mellea-LRC) สามารถระบุและตรวจสอบการอ้างอิงกฎหมายคดีได้ โดยเน้นไปที่การอ้างอิงที่ทำให้เกิดภาพหลอนโดย AI โดยเฉพาะ ถูกสร้างขึ้นผ่านโครงการคบหาที่ศูนย์วิศวกรรมซอฟต์แวร์วิทยาศาสตร์ (CSSE) ของจอร์เจียเทค และสำนักงานโปรแกรมโอเพ่นซอร์ส (OSPO) ซึ่งได้รับทุนสนับสนุนจากการบริจาคจาก IBM ตามประกาศของมหาวิทยาลัย For more context on this story, see our ongoing AI industry coverage.

นักศึกษาระดับปริญญาโท Adrian Lozada และ Di Wu ได้รับเลือกให้เป็นเพื่อนในการสร้างเครื่องมือนี้ร่วมกับที่ปรึกษาจาก CSSE และ OSPO มหาวิทยาลัยกล่าวว่าเป้าหมายของพวกเขาคือการให้ทนายความและคนอื่นๆ ในสาขากฎหมายมีวิธีง่ายๆ ในการตรวจสอบการอ้างอิงทางกฎหมาย

มันทำงานอย่างไร

Mellea-LRC รวมโมเดลภาษาขนาดใหญ่เข้ากับเฟรมเวิร์กโอเพ่นซอร์ส Mellea ของ IBM ซึ่งสร้างขึ้นโดยใช้กระบวนทัศน์ "สั่งสอน ตรวจสอบ และซ่อมแซม": นักพัฒนาเขียนกฎที่เอาต์พุตของ LLM ต้องเป็นไปตามโค้ดธรรมดา และเฟรมเวิร์กจะพยายามเรียกโมเดลอีกครั้งจนกว่าเอาต์พุตจะตรงตามข้อกำหนด

“เฟรมเวิร์ก Mellea ของ IBM เป็นรากฐานที่เราสร้างขึ้น หน้าที่ของ Mellea คือการทำให้การเรียกโมเดลคาดเดาได้: คุณเขียนกฎที่เอาต์พุตจะต้องเป็นไปตามโค้ดธรรมดา และเฟรมเวิร์กจะลองใหม่จนกว่าเอาต์พุต LLM จะเป็นไปตามนั้น งานของเราคือการใช้ประโยชน์จากเฟรมเวิร์กเพื่อสร้างแอปพลิเคชันทางกฎหมายตั้งแต่ต้นจนจบ” Wu กล่าวในการประกาศ

เครื่องมือนี้จะประมวลผลเอกสารภายในเวลาประมาณแปดนาที ขั้นแรกจะแยกการอ้างอิง case law ออกจากการยื่นฟ้องทางกฎหมาย จากนั้นตรวจสอบว่าการอ้างอิงแต่ละรายการมีความถูกต้องและสนับสนุนเนื้อหาของเอกสารจริงๆ ส่วนที่สองคือสิ่งที่ทำให้การอ้างอิงที่หลอนประสาทแตกต่างจากการอ้างอิงปลอม กรณีที่สร้างขึ้นซึ่งไม่มีอยู่จะไม่ผ่านการตรวจสอบครั้งแรก เป็นกรณีจริงที่ไม่ได้บอกว่าการยื่นคำร้องประการใดล้มเหลวประการที่สอง

ทดสอบกับเอกสารที่ยื่นแบบประดิษฐ์จริง

ทีมงานประเมิน Mellea-LRC ในเอกสารยื่นต่อศาลสาธารณะ 26 ฉบับที่ทราบกันว่ามีการอ้างอิงที่เป็นเท็จ ซึ่งเป็นเหตุการณ์ประเภทเดียวกับที่มีการคว่ำบาตรและการตรวจสอบข้อเท็จจริงในศาลในขณะที่บทสรุปที่ร่างโดย AI แพร่กระจาย

ปัญหาที่เป้าหมายของ Mellea-LRC ได้รับการบันทึกไว้อย่างดี: LLM สร้างชื่อคดี การอ้างอิง และใบเสนอราคาที่ดูน่าเชื่อถือ ซึ่งไม่สอดคล้องกับกรณีตัวอย่างจริงใดๆ และทนายความต้องเผชิญกับบทลงโทษหลังจากยื่นเอกสารดังกล่าวโดยไม่ตรวจสอบ

โอเพ่นซอร์สโดยการออกแบบ

ข้อกำหนดหลักของโครงการคือโค้ดของเครื่องมือต้องเป็นโอเพ่นซอร์ส นอกเหนือจากเครื่องมือนี้แล้ว ทีมงานยังได้เปิดตัวชุดข้อมูลการทดสอบและการตรวจสอบความถูกต้องใหม่บน Hugging Face สำหรับการศึกษาการเปรียบเทียบในอนาคต

“Agentic AI กำลังเติบโตอย่างรวดเร็ว และการเติบโตส่วนใหญ่เกิดขึ้นในโปรเจ็กต์โอเพ่นซอร์ส ซึ่งใครๆ ก็สามารถอ่าน ใช้งาน และปรับปรุงงานได้” Lozada กล่าว

Jeff Young ผู้อำนวยการ OSPO และนักวิทยาศาสตร์การวิจัยหลักของ Georgia Tech กล่าวว่าเฟรมเวิร์ก Mlea ของ IBM มีความสำคัญอย่างยิ่งต่องานนี้ เนื่องจากแนวทาง "สั่งสอน ตรวจสอบ และซ่อมแซม" ช่วยให้สามารถสร้างลูป LLM ที่เชื่อถือได้

สถาปัตยกรรมเบื้องหลังผลลัพธ์ที่เชื่อถือได้

สิ่งที่ทำให้แนวทางของ Mellea โดดเด่นคือจุดที่ทำให้เกิดภาระด้านความน่าเชื่อถือ กลยุทธ์การลดภาพหลอนส่วนใหญ่ขอให้ตัวแบบระมัดระวังมากขึ้น — ผ่านการแจ้ง การปรับแต่งแบบละเอียด หรือการดึงข้อมูลเสริม Mellea-LRC กลับด้านว่า: ข้อกำหนดด้านความถูกต้องอยู่ในโค้ดปกติภายนอกโมเดล และเฟรมเวิร์กจะเรียกโมเดลต่อไปจนกว่าเอาต์พุตจะเป็นไปตามข้อกำหนดที่พิสูจน์ได้

การออกแบบดังกล่าวมีผลในทางปฏิบัติสองประการ ประการแรก ตรรกะในการตรวจสอบสามารถตรวจสอบได้ ทนายความหรือศาลสามารถอ่านได้อย่างแน่ชัดว่าการอ้างอิงต้องผ่านกฎเกณฑ์ใด แทนที่จะเชื่อถือคำตัดสินของแบบจำลองที่ไม่ชัดเจน ประการที่สอง รูปแบบเดียวกันนี้ครอบคลุมมากกว่าการอ้างอิงทางกฎหมายไปยังโดเมนใดๆ ที่สามารถตรวจสอบผลลัพธ์ทางกลไกได้ ซึ่งเป็นคุณสมบัติที่ทำให้เฟรมเวิร์กเอเจนต์น่าสนใจสำหรับนักพัฒนาระดับองค์กร

โครงสร้างการคบหาก็น่าสังเกตเช่นกัน แทนที่จะเป็นห้องปฏิบัติการขององค์กรแบบปิด โครงการนี้ให้นักศึกษาปริญญาโทสองคน ได้รับคำปรึกษาจาก CSSE และ OSPO และ IBM ระดมทุนร่วมกันเพื่อแก้ปัญหาการตรวจสอบที่แคบและมีการกำหนดชัดเจน และสร้างเครื่องมือที่ใช้งานได้พร้อมชุดข้อมูลมาตรฐานสาธารณะ

เหตุใดจึงสำคัญสำหรับอุตสาหกรรมกฎหมาย

ศาลได้กลายเป็นจุดวาบไฟสำหรับปัญหาความน่าเชื่อถือของ AI ขั้นตอนการตรวจสอบ Mellea-LRC จะดำเนินการโดยอัตโนมัติ การยืนยันการอ้างอิงที่มีอยู่และการตรวจสอบสิ่งที่ผู้ร่างอ้าง ถือเป็นขั้นตอนการตรวจสอบที่ผู้ตรวจสอบที่เป็นมนุษย์ข้ามไปเมื่อกำหนดเวลาที่จำกัด

ระยะเวลาดำเนินการแปดนาทีต่อเอกสารทำให้การดำเนินการก่อนยื่นฟ้องได้จริง แทนที่จะเป็นการฝึกทางนิติเวชหลังจากที่ผู้พิพากษาแจ้งว่าคดีไม่มีอยู่จริง และเนื่องจากทั้งเครื่องมือและชุดข้อมูลการประเมินเป็นโอเพ่นซอร์ส ทีมอื่นๆ จึงสามารถตรวจสอบวิธีการทำงาน ขยายไปยังเขตอำนาจศาลและรูปแบบการอ้างอิงเพิ่มเติม และการปรับปรุงเกณฑ์มาตรฐาน ซึ่งเป็นแนวทางที่แตกต่างกับเครื่องตรวจสอบภาพหลอนแบบปิดที่เป็นกรรมสิทธิ์

โครงการยังส่งสัญญาณว่าเครื่องมือ AI ระดับองค์กรกำลังมุ่งหน้าไปที่ใด แทนที่จะพยายามทำให้โมเดลเห็นภาพหลอนน้อยลง ทีมเช่น Georgia Tech กำลังสร้างเลเยอร์การตรวจสอบรอบๆ ตัวพวกเขา โดยใช้กฎที่มีโครงสร้างและการลองใหม่โดยอัตโนมัติเพื่อให้โมเดลเอาท์พุตสามารถคาดเดาได้เพียงพอสำหรับอาชีพที่มีความเสี่ยงสูง

สำหรับอุตสาหกรรมกฎหมาย แคลคูลัสเป็นแบบตรงไปตรงมา AI สามารถร่างบรีฟได้ในเวลาไม่กี่นาที และเครื่องมืออย่าง Mellea-LRC ก็สามารถตรวจสอบการอ้างอิงได้ในเวลาเดียวกัน ตัวแปรที่เหลือคือบริษัทต่างๆ ตรวจสอบขั้นตอนบังคับหรือไม่ — ก่อนการยื่นฟ้อง ไม่ใช่หลังการคว่ำบาตร

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →