از آنجایی که اسناد حقوقی به طور فزاینده ای با مدل های زبانی بزرگ تهیه می شوند، استنادهای جعلی به یک مشکل واقعی برای دادگاه ها و وکلایی که در مقابل آنها حاضر می شوند تبدیل شده است. محققان جورجیا فناوری یک ابزار منبع باز ساخته اند که برای دستگیری آن مراجع ساختگی قبل از رسیدن به قاضی طراحی شده است.

این ابزار که Mellea Legal Requirements Checker (Mellea-LRC) نام دارد، می‌تواند استنادات رویه قضایی را با تمرکز خاص بر استنادهای توهم‌آور هوش مصنوعی شناسایی و تأیید کند. بر اساس اعلام دانشگاه، این برنامه از طریق یک برنامه کمک هزینه تحصیلی در مرکز مهندسی نرم افزار علمی (CSSE) و دفتر برنامه منبع باز (OSPO) در جورجیا تک ایجاد شد که با کمک مالی IBM تأمین مالی شد. For more context on this story, see our ongoing AI industry coverage.

دانشجویان کارشناسی ارشد آدریان لوزادا و دی وو به عنوان همکاران برای ساختن ابزار با مربیان CSSE و OSPO انتخاب شدند. دانشگاه گفت که هدف آنها این بود که به وکلا و سایرین در زمینه حقوقی راه ساده ای برای تأیید استنادات قانونی ارائه دهند.

چگونه کار می کند

Mellea-LRC مدل‌های زبان بزرگ را با چارچوب متن‌باز Mellea IBM ترکیب می‌کند که حول یک پارادایم «آموزش، تأیید، تعمیر» ساخته شده است: توسعه‌دهندگان قوانینی را می‌نویسند که خروجی LLM باید مطابق کد معمولی باشد، و فریم ورک مجدداً مدل را فراخوانی می‌کند تا زمانی که خروجی با آنها مطابقت کند.

وو در این اطلاعیه گفت: "فریم ورک Mellea IBM پایه‌ای بود که ما آن را بر روی آن ساختیم. وظیفه Mellea این است که فراخوانی‌های مدل را قابل پیش‌بینی کند: شما قوانینی را می‌نویسید که خروجی باید مطابق با کد معمولی باشد، و فریم ورک دوباره تلاش می‌کند تا زمانی که خروجی LLM به آنها برسد. کار ما این بود که از چارچوب برای ایجاد برنامه قانونی از انتها به انتها استفاده کنیم."

این ابزار یک سند را در حدود هشت دقیقه پردازش می کند. ابتدا استنادات رویه قضایی را از یک پرونده حقوقی استخراج می‌کند، سپس تأیید می‌کند که هر استنادی معتبر است و واقعاً محتوای سند را پشتیبانی می‌کند - بخش دوم چیزی است که یک استناد توهم‌آمیز را از یک استناد صرفا جعلی متمایز می‌کند. یک مورد ساختگی که وجود ندارد در اولین بررسی شکست می خورد. یک مورد واقعی که نمی گوید چه ادعاهایی بایگانی می کند در مرحله دوم شکست می خورد.

تست شده در برابر براده های ساخته شده واقعی

این تیم Mellea-LRC را بر اساس 26 سند عمومی تشکیل پرونده دادگاه که حاوی استنادات جعلی شناخته شده است، ارزیابی کرد - همان دسته از حوادثی که با انتشار گزارش‌های تهیه‌شده توسط هوش مصنوعی، تحریم‌ها و موشکافی را در دادگاه‌ها به دنبال داشت.

مشکل اهداف Mellea-LRC به خوبی مستند شده است: LLM ها اسامی پرونده ها، نقل قول ها و نقل قول هایی با ظاهری قابل قبول تولید می کنند که با هیچ سابقه واقعی مطابقت ندارد، و وکلا پس از ارسال چنین پرونده هایی بدون بررسی آنها با مجازات هایی روبرو شده اند.

منبع باز با طراحی

یکی از نیازهای اصلی پروژه این بود که کد ابزار منبع باز باشد. در کنار این ابزار، این تیم مجموعه داده آزمایشی و اعتبارسنجی جدیدی را روی Hugging Face برای مطالعات محک زدن آینده منتشر کرد.

لوزادا گفت: "هوش مصنوعی عاملی به سرعت در حال رشد است و بیشتر رشد در پروژه های منبع باز اتفاق می افتد، جایی که هر کسی می تواند کار را بخواند، استفاده کند و بهبود بخشد."

جف یانگ، مدیر OSPO و دانشمند تحقیقاتی اصلی در Georgia Tech، گفت که چارچوب Mellea IBM برای این کار بسیار مهم است زیرا رویکرد "آموزش، تأیید، تعمیر" آن امکان ایجاد حلقه های LLM قابل اعتماد را فراهم می کند.

معماری پشت خروجی قابل اعتماد

چیزی که رویکرد Mellea را قابل توجه می کند این است که بار پایایی را در کجا قرار می دهد. بیشتر استراتژی‌های کاهش توهم از خود مدل می‌خواهند که مراقب باشند - از طریق تحریک، تنظیم دقیق، یا افزایش بازیابی. Mellea-LRC این را معکوس می کند: الزامات صحت در کدهای معمولی خارج از مدل زندگی می کنند، و چارچوب به فراخوانی مدل ادامه می دهد تا زمانی که خروجی به طور قابل اثباتی آنها را برآورده کند.

این طراحی دو نتیجه عملی دارد. اول، منطق راستی‌آزمایی قابل ممیزی است - یک وکیل یا دادگاه می‌تواند دقیقاً قوانینی را که یک استناد باید تصویب کند، بخواند، نه اینکه به یک قضاوت مدل مبهم اعتماد کند. دوم، همین الگو فراتر از استنادهای قانونی به هر حوزه ای تعمیم می یابد که خروجی ها را می توان به صورت مکانیکی بررسی کرد، که دقیقاً همان ویژگی است که چارچوب های عامل را برای توسعه دهندگان سازمانی جذاب کرده است.

ساختار مشارکت نیز قابل توجه است. این پروژه به جای یک آزمایشگاه بسته شرکتی، دو دانشجوی کارشناسی ارشد، راهنمایی از CSSE و OSPO، و بودجه IBM را حول یک مشکل راستی‌آزمایی محدود و کاملاً تعریف شده کنار هم قرار داد - و یک ابزار کار به همراه یک مجموعه داده معیار عمومی را تولید کرد.

چرا برای صنعت حقوقی مهم است

دادگاه ها به نقطه عطفی برای مشکلات قابلیت اطمینان هوش مصنوعی تبدیل شده اند. گردش کار راستی‌آزمایی Mellea-LRC خودکار می‌شود - تأیید وجود استناد و بررسی آن‌چه که پیش‌نویس ادعا می‌کند - دقیقاً همان مرحله اهتمام است که بازبین‌های انسانی در زمانی که ضرب‌الاجل‌ها محدود است از آن عبور می‌کنند.

زمان پردازش هشت دقیقه‌ای برای هر سند، اجرای قبل از تشکیل پرونده را عملی می‌کند، نه به‌عنوان یک تمرین پزشکی قانونی پس از اینکه قاضی یک پرونده غیرموجود را علامت‌گذاری می‌کند. و از آنجایی که هم ابزار و هم مجموعه داده‌های ارزیابی آن منبع باز هستند، تیم‌های دیگر می‌توانند نحوه عملکرد آن را بررسی کنند، آن را به حوزه‌های قضایی و فرمت‌های استناد اضافی گسترش دهند، و معیارهایی را بهبود بخشند - رویکردی که با بررسی‌کننده‌های توهم بسته و اختصاصی در تضاد است.

این پروژه همچنین نشان می‌دهد که ابزار هوش مصنوعی سازمانی به کجا می‌رود: تیم‌هایی مانند Georgia Tech به جای تلاش برای ایجاد توهم کمتر در مدل‌ها، لایه‌های راستی‌آزمایی را در اطراف آن‌ها ایجاد می‌کنند و از قوانین ساختاریافته و تکرار خودکار استفاده می‌کنند تا خروجی مدل را به اندازه کافی برای حرفه‌های پرمخاطب قابل پیش‌بینی کنند.

برای صنعت حقوقی، محاسبات ساده است. هوش مصنوعی می‌تواند در عرض چند دقیقه خلاصه‌ای را پیش‌نویس کند، و ابزارهایی مانند Mellea-LRC می‌توانند نقل قول‌های آن را تقریباً در همان زمان بررسی کنند. متغیر باقیمانده این است که آیا شرکت‌ها این بررسی را یک مرحله اجباری می‌کنند - قبل از تشکیل پرونده، نه بعد از تحریم.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →