Khi các văn bản pháp luật ngày càng được soạn thảo với các mô hình ngôn ngữ lớn, các trích dẫn giả mạo đã trở thành một vấn đề thực sự đối với tòa án và các luật sư đứng trước họ. Các nhà nghiên cứu của Georgia Tech đã xây dựng một công cụ nguồn mở được thiết kế để nắm bắt những tài liệu tham khảo bịa đặt đó trước khi chúng đến tay thẩm phán.

Công cụ này có tên là Công cụ kiểm tra yêu cầu pháp lý Mellea (Mellea-LRC), có thể xác định và xác minh các trích dẫn án lệ, tập trung cụ thể vào các trích dẫn do AI gây ảo giác. Theo thông báo của trường đại học, nó được tạo ra thông qua chương trình học bổng tại Trung tâm Kỹ thuật Phần mềm Khoa học (CSSE) và Văn phòng Chương trình Nguồn Mở (OSPO) của Georgia Tech, được tài trợ bởi sự đóng góp của IBM. For more context on this story, see our ongoing breaking AI news.

Các sinh viên thạc sĩ Adrian Lozada và Di Wu đã được chọn làm nghiên cứu sinh để xây dựng công cụ này với sự hướng dẫn của các cố vấn từ CSSE và OSPO. Trường đại học cho biết mục tiêu của họ là cung cấp cho các luật sư và những người khác trong lĩnh vực pháp lý một cách đơn giản để xác minh các trích dẫn pháp lý.

Nó hoạt động như thế nào

Mellea-LRC kết hợp các mô hình ngôn ngữ lớn với khung công tác nguồn mở Mellea của IBM, được xây dựng dựa trên mô hình "hướng dẫn, xác minh, sửa chữa": các nhà phát triển viết các quy tắc mà đầu ra của LLM phải đáp ứng như mã thông thường và khung thử lại các lệnh gọi mô hình cho đến khi đầu ra đáp ứng chúng.

"Khuôn khổ Mellea của IBM là nền tảng mà chúng tôi xây dựng nó. Công việc của Mellea là làm cho các cuộc gọi mô hình có thể dự đoán được: bạn viết các quy tắc mà đầu ra phải đáp ứng như mã thông thường và khung thử lại cho đến khi đầu ra LLM đáp ứng chúng. Công việc của chúng tôi là tận dụng khuôn khổ để xây dựng ứng dụng pháp lý từ đầu đến cuối", Wu nói trong thông báo.

Công cụ này xử lý một tài liệu trong khoảng tám phút. Đầu tiên, nó trích xuất các trích dẫn án lệ từ một hồ sơ pháp lý, sau đó xác minh rằng mỗi trích dẫn là xác thực và nó thực sự hỗ trợ nội dung của tài liệu - phần thứ hai là yếu tố phân biệt một trích dẫn ảo giác với một trích dẫn đơn thuần là giả mạo. Trường hợp bịa đặt không tồn tại trong lần kiểm tra đầu tiên; một trường hợp thực tế không nói rõ việc nộp đơn yêu cầu bồi thường thất bại lần thứ hai.

Đã được thử nghiệm đối với các hồ sơ bịa đặt thực sự

Nhóm đã đánh giá Mellea-LRC trên 26 tài liệu nộp hồ sơ công khai cho tòa án được biết là có chứa các trích dẫn giả mạo - cùng một loại sự cố đã dẫn đến các biện pháp trừng phạt và giám sát tại tòa án khi các bản tóm tắt do AI soạn thảo lan rộng.

Vấn đề mà Mellea-LRC nhắm đến đã được ghi chép rõ ràng: LLM tạo ra các tên vụ việc, trích dẫn và trích dẫn có vẻ hợp lý nhưng không tương ứng với bất kỳ tiền lệ thực tế nào và các luật sư đã phải đối mặt với các hình phạt sau khi gửi hồ sơ như vậy mà không kiểm tra chúng.

Mã nguồn mở theo thiết kế

Yêu cầu cốt lõi của dự án là mã của công cụ phải là nguồn mở. Cùng với công cụ này, nhóm đã phát hành một tập dữ liệu thử nghiệm và xác thực mới về Ôm mặt để nghiên cứu điểm chuẩn trong tương lai.

Lozada cho biết: “Agent AI đang phát triển nhanh chóng và phần lớn sự tăng trưởng diễn ra trong các dự án nguồn mở, nơi bất kỳ ai cũng có thể đọc, sử dụng và cải thiện công việc”.

Jeff Young, giám đốc OSPO và nhà khoa học nghiên cứu chính tại Georgia Tech, cho biết khuôn khổ Mellea của IBM rất quan trọng đối với công việc này vì cách tiếp cận "hướng dẫn, xác minh, sửa chữa" của nó cho phép tạo ra các vòng LLM đáng tin cậy.

Kiến trúc đằng sau đầu ra đáng tin cậy

Điều làm cho phương pháp tiếp cận Mellea trở nên đáng chú ý là ở chỗ nó đặt gánh nặng về độ tin cậy. Hầu hết các chiến lược giảm thiểu ảo giác đều yêu cầu bản thân mô hình phải cẩn thận hơn - thông qua nhắc nhở, tinh chỉnh hoặc tăng cường truy xuất. Mellea-LRC đảo ngược rằng: các yêu cầu về tính chính xác tồn tại trong mã thông thường bên ngoài mô hình và khung tiếp tục gọi mô hình cho đến khi đầu ra có thể chứng minh được chúng.

Thiết kế đó có hai hệ quả thực tế. Đầu tiên, logic xác minh có thể kiểm tra được - luật sư hoặc tòa án có thể đọc chính xác những quy tắc mà một trích dẫn phải vượt qua, thay vì tin vào một phán quyết mẫu không rõ ràng. Thứ hai, mô hình tương tự khái quát hóa ngoài các trích dẫn pháp lý đối với bất kỳ lĩnh vực nào mà đầu ra có thể được kiểm tra một cách máy móc, đây chính xác là đặc tính đã làm cho các khung tác vụ trở nên hấp dẫn đối với các nhà phát triển doanh nghiệp.

Cơ cấu học bổng cũng đáng chú ý. Thay vì một phòng thí nghiệm khép kín của công ty, dự án tập hợp hai sinh viên thạc sĩ, sự cố vấn từ CSSE và OSPO, và nguồn tài trợ của IBM cùng nhau giải quyết một vấn đề xác minh hẹp, được xác định rõ ràng — và tạo ra một công cụ làm việc cùng với tập dữ liệu điểm chuẩn công khai.

Tại sao nó lại quan trọng đối với ngành pháp lý

Tòa án đã trở thành điểm nóng cho các vấn đề về độ tin cậy của AI. Quy trình xác minh mà Mellea-LRC tự động hóa - xác nhận một trích dẫn tồn tại và kiểm tra xem nó cho biết những gì người soạn thảo tuyên bố - chính xác là bước thẩm định mà người đánh giá bỏ qua khi thời hạn eo hẹp.

Thời gian xử lý tám phút cho mỗi tài liệu giúp việc chạy trước khi nộp hồ sơ trở nên thiết thực hơn thay vì như một bài tập pháp lý sau khi thẩm phán đánh dấu một vụ án không tồn tại. Và vì cả công cụ và tập dữ liệu đánh giá của nó đều là nguồn mở nên các nhóm khác có thể kiểm tra cách thức hoạt động của nó, mở rộng nó sang các khu vực pháp lý và định dạng trích dẫn bổ sung cũng như cải tiến điểm chuẩn — một cách tiếp cận trái ngược với các công cụ kiểm tra ảo giác độc quyền, khép kín.

Dự án cũng báo hiệu hướng mà công cụ AI dành cho doanh nghiệp đang hướng tới: thay vì cố gắng làm cho các mô hình ít ảo giác hơn, các nhóm như Georgia Tech đang xây dựng các lớp xác minh xung quanh chúng, sử dụng các quy tắc có cấu trúc và số lần thử lại tự động để làm cho đầu ra của mô hình đủ có thể dự đoán được cho các ngành nghề có mức đặt cược cao.

Đối với ngành luật, phép tính rất đơn giản. AI có thể soạn thảo bản tóm tắt trong vài phút và các công cụ như Mellea-LRC có thể kiểm tra các trích dẫn của nó trong cùng khoảng thời gian. Biến số còn lại là liệu các công ty có coi việc kiểm tra đó là một bước bắt buộc hay không - trước khi nộp đơn chứ không phải sau khi xử phạt.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →