مع تزايد صياغة المستندات القانونية باستخدام نماذج لغوية كبيرة، أصبحت الاستشهادات المزورة مشكلة حقيقية للمحاكم والمحامين الذين يمثلون أمامها. قام باحثو معهد جورجيا للتكنولوجيا ببناء أداة مفتوحة المصدر مصممة لالتقاط تلك المراجع الملفقة قبل وصولها إلى القاضي.

يمكن للأداة، التي تسمى مدقق المتطلبات القانونية Mellea (Mellea-LRC)، تحديد الاستشهادات السوابق القضائية والتحقق منها، مع التركيز بشكل خاص على الاستشهادات التي يهلوسها الذكاء الاصطناعي. تم إنشاؤه من خلال برنامج زمالة في مركز جورجيا للتكنولوجيا لهندسة البرمجيات العلمية (CSSE) ومكتب البرامج مفتوحة المصدر (OSPO)، بتمويل من تبرع من شركة IBM، وفقًا لإعلان الجامعة. لمزيد من السياق حول هذه القصة، راجع تغطية صناعة الذكاء الاصطناعي.

تم اختيار طلاب الماجستير Adrian Lozada وDi Wu كزملاء لبناء الأداة مع مرشدين من CSSE وOSPO. وقالت الجامعة إن هدفهم هو منح المحامين وغيرهم من العاملين في المجال القانوني طريقة بسيطة للتحقق من الاستشهادات القانونية.

كيف يعمل

يجمع Mellea-LRC بين نماذج اللغات الكبيرة وإطار عمل Mellea مفتوح المصدر من IBM، والذي تم بناؤه حول نموذج "الإرشاد والتحقق والإصلاح": يكتب المطورون القواعد التي يجب أن تستوفيها مخرجات LLM كرمز عادي، ويعيد الإطار محاولة استدعاء النماذج حتى يلبيها المخرج.

"كان إطار عمل Mellea الخاص بشركة IBM هو الأساس الذي بنينا عليه. تتمثل مهمة Mellea في جعل استدعاءات النماذج قابلة للتنبؤ بها: تكتب القواعد التي يجب أن يفي بها الناتج كرمز عادي، ويعيد إطار العمل المحاولة حتى يلبيها مخرج LLM. وقال وو في الإعلان: "كانت مهمتنا هي الاستفادة من إطار العمل لبناء التطبيق القانوني من النهاية إلى النهاية".

تقوم الأداة بمعالجة مستند في حوالي ثماني دقائق. فهو يقوم أولاً باستخراج الاستشهادات من السوابق القضائية من ملف قانوني، ثم التحقق من أن كل استشهاد حقيقي وأنه يدعم فعليًا محتوى المستند - والجزء الثاني هو ما يميز الاقتباس المهووس عن الاستشهاد المزيف فقط. الحالة الملفقة غير الموجودة تفشل في الفحص الأول؛ دعوى حقيقية لا تقول ما يدعيه الإيداع يفشل الثاني.

تم اختباره ضد الملفات الملفقة الحقيقية

قام الفريق بتقييم Mellea-LRC بناءً على 26 مستندًا عامًا للمحكمة يُعرف أنها تحتوي على استشهادات مزيفة - وهي نفس فئة الحوادث التي أدت إلى فرض عقوبات وتدقيق في المحاكم مع انتشار الملخصات التي صاغها الذكاء الاصطناعي.

إن المشكلة التي يستهدفها مركز Mellea-LRC موثقة بشكل جيد: حيث يقوم حاملو شهادات الماجستير في القانون بإنشاء أسماء قضايا ذات مظهر معقول، واستشهادات، واقتباسات لا تتوافق مع أي سابقة حقيقية، ويواجه المحامون عقوبات بعد تقديم مثل هذه الملفات دون التحقق منها.

المصدر المفتوح حسب التصميم

كان أحد المتطلبات الأساسية للمشروع هو أن يكون كود الأداة مفتوح المصدر. إلى جانب الأداة، أصدر الفريق مجموعة بيانات جديدة للاختبار والتحقق من صحة Hugging Face لدراسات قياس الأداء المستقبلية.

وقال لوزادا: "إن الذكاء الاصطناعي ينمو بسرعة، ويحدث الكثير من النمو في المشاريع مفتوحة المصدر، حيث يمكن لأي شخص قراءة العمل واستخدامه وتحسينه".

قال جيف يونغ، مدير OSPO وعالم الأبحاث الرئيسي في Georgia Tech، إن إطار عمل Mellea الخاص بشركة IBM كان بالغ الأهمية للعمل لأن منهج "الإرشاد والتحقق والإصلاح" الخاص به يسمح بإنشاء حلقات LLM موثوقة.

البنية وراء المخرجات الموثوقة

ما يجعل نهج Mellea ملحوظًا هو أنه يضع عبء الموثوقية. تطلب معظم استراتيجيات تخفيف الهلوسة من النموذج نفسه أن يكون أكثر حذرًا - من خلال التحفيز أو الضبط الدقيق أو زيادة الاسترجاع. يعكس Mellea-LRC ما يلي: متطلبات الصحة تعيش في كود عادي خارج النموذج، ويستمر إطار العمل في استدعاء النموذج حتى يرضيهم الناتج بشكل مثبت.

ولهذا التصميم نتيجتان عمليتان. أولاً، يكون منطق التحقق قابلاً للتدقيق، حيث يمكن للمحامي أو المحكمة أن يقرأ بالضبط القواعد التي يجب أن يمررها الاستشهاد، بدلاً من الثقة في حكم نموذجي مبهم. ثانيًا، يتم تعميم نفس النمط بما يتجاوز الاستشهادات القانونية إلى أي مجال حيث يمكن التحقق من المخرجات ميكانيكيًا، وهي على وجه التحديد الخاصية التي جعلت الأطر الوكيلة جذابة لمطوري المؤسسات.

تجدر الإشارة أيضًا إلى هيكل الزمالة. وبدلاً من مختبر مغلق للشركة، وضع المشروع اثنين من طلاب الماجستير، والإرشاد من CSSE وOSPO، وتمويل IBM معًا حول مشكلة تحقق ضيقة ومحددة جيدًا - وأنتج أداة عمل بالإضافة إلى مجموعة بيانات مرجعية عامة.

سبب أهميته للقطاع القانوني

أصبحت المحاكم نقطة اشتعال لمشاكل موثوقية الذكاء الاصطناعي. إن أتمتة سير عمل التحقق من Mellea-LRC - التأكد من وجود الاقتباس والتحقق من أنه يوضح ما يدعيه المحرر - هي بالضبط خطوة الاجتهاد التي يتخطاها المراجعون البشريون عندما تكون المواعيد النهائية ضيقة.

إن وقت المعالجة الذي يستغرق ثماني دقائق لكل مستند يجعل من العملي إجراءه قبل تقديمه، وليس بمثابة تمرين جنائي بعد أن يشير القاضي إلى قضية غير موجودة. ولأن الأداة ومجموعة بيانات التقييم الخاصة بها مفتوحتان المصدر، يمكن للفرق الأخرى تدقيق كيفية عملها، وتوسيع نطاقها لتشمل ولايات قضائية إضافية وتنسيقات الاستشهادات، وتحسينات معيارية - وهو نهج يتناقض مع أدوات تدقيق الهلوسة المغلقة والمملوكة.

يشير المشروع أيضًا إلى الاتجاه الذي تتجه إليه أدوات الذكاء الاصطناعي المؤسسية: فبدلاً من محاولة جعل النماذج أقل هلوسة، تقوم فرق مثل فريق Georgia Tech ببناء طبقات التحقق حولهم، باستخدام قواعد منظمة وإعادة المحاولة الآلية لجعل مخرجات النموذج قابلة للتنبؤ بما يكفي للمهن عالية المخاطر.

بالنسبة للصناعة القانونية، فإن حساب التفاضل والتكامل واضح ومباشر. يمكن للذكاء الاصطناعي صياغة ملخص في دقائق، ويمكن لأدوات مثل Mellea-LRC التحقق من الاستشهادات في نفس الوقت تقريبًا. المتغير المتبقي هو ما إذا كانت الشركات تجعل هذا التحقق خطوة إلزامية - قبل تقديم الطلب، وليس بعد العقوبة.

---

ابق على اطلاع بأخبار الذكاء الاصطناعي

آخر أخبار وتحليلات وإنجازات الذكاء الاصطناعي — في مكان واحد.

اقرأ المزيد من أخبار الذكاء الاصطناعي →