ככל שמסמכים משפטיים מנוסחים יותר ויותר עם מודלים לשוניים גדולים, ציטוטים מזויפים הפכו לבעיה של ממש עבור בתי המשפט ועורכי הדין המופיעים בפניהם. חוקרי ג'ורג'יה טק בנו כלי קוד פתוח שנועד לתפוס את הפניות המפוברקות לפני שהם מגיעים לשופט.

הכלי, הנקרא Melea Legal Requirements Checker (Mellea-LRC), יכול לזהות ולאמת ציטוטים בפסיקה, תוך התמקדות ספציפית בציטוטים שהוזו על ידי AI. הוא נוצר באמצעות תוכנית מלגות במרכז להנדסת תוכנה מדעית של ג'ורג'יה טק (CSSE) ומשרד תוכניות קוד פתוח (OSPO), במימון תרומה מ-IBM, על פי הודעת האוניברסיטה. For more context on this story, see our ongoing AI news.

סטודנטים לתואר שני אדריאן לוזאדה ודי וו נבחרו כעמיתים לבנות את הכלי עם מנטורים מ-CSSE ו-OSPO. מטרתם, אמרה האוניברסיטה, הייתה לתת לעורכי דין ואחרים בתחום המשפטי דרך פשוטה לאמת ציטוטים משפטיים.

איך זה עובד

Mellea-LRC משלב מודלים של שפה גדולים עם מסגרת הקוד הפתוח של Mellea של IBM, הבנויה סביב פרדיגמת "הוראה, אימות, תיקון": מפתחים כותבים את הכללים שהפלט של LLM חייב לעמוד בהם כקוד רגיל, והמסגרת מנסה שוב לקרוא למודל עד שהפלט פוגש אותם.

"מסגרת Mellea של IBM הייתה הבסיס שעליו בנינו אותה. תפקידה של Mellea הוא להפוך את קריאות המודל לניתנות לחיזוי: אתה כותב את הכללים שהפלט חייב לעמוד בו כקוד רגיל, והמסגרת מנסה שוב עד שפלט LLM פוגש אותם. התפקיד שלנו היה למנף את המסגרת כדי לבנות את היישום המשפטי מקצה לקצה", אמר וו בהכרזה.

הכלי מעבד מסמך תוך כשמונה דקות. תחילה הוא מחלץ ציטוטים בפסיקה מתיק משפטי, ולאחר מכן מוודא שכל ציטוט הוא אותנטי ושהוא אכן תומך בתוכן המסמך - החלק השני הוא מה שמבדיל ציטוט הזוי מציטוט מזויף בלבד. תיק מפוברק שאינו קיים נכשל בבדיקה הראשונה; מקרה אמיתי שלא אומר מה טוענת ההגשה נכשל בשני.

נבדק נגד תיוק מיוצר אמיתי

הצוות העריך את Mellea-LRC על 26 מסמכי הגשת בית המשפט הציבוריים הידועים כמכילים ציטוטים מזויפים - אותו סוג של תקריות שגרר סנקציות ובדיקה בבתי משפט כפי שהתפשטו תקצירי AI.

הבעיה ש-Mlea-LRC מתמקדת בהם מתועדת היטב: LLMs מייצרים שמות תיקים סבירים למראה, ציטוטים וציטוטים שאינם תואמים שום תקדים אמיתי, ועורכי דין התמודדו עם עונשים לאחר שהגישו תיקים כאלה מבלי לבדוק אותם.

קוד פתוח לפי עיצוב

דרישת ליבה של הפרויקט הייתה שהקוד של הכלי יהיה קוד פתוח. לצד הכלי, הצוות פרסם מערך נתונים חדש של בדיקה ואימות ב-Huging Face למחקרי בנצ'מרקינג עתידיים.

"AI Agent גדל במהירות, וחלק ניכר מהצמיחה מתרחש בפרויקטים של קוד פתוח, שבהם כל אחד יכול לקרוא, להשתמש ולשפר את העבודה", אמר לוזאדה.

ג'ף יאנג, מנהל OSPO ומדען מחקר ראשי בג'ורג'יה טק, אמר שהמסגרת של Mellea של יבמ הייתה קריטית לעבודה מכיוון שגישת ה"הוראות, אימות, תיקון" שלה מאפשרת יצירת לולאות LLM אמינות.

הארכיטקטורה שמאחורי פלט אמין

מה שהופך את גישת Mellea לבולטת הוא היכן היא שמה את נטל האמינות. רוב האסטרטגיות להפחתת הזיות מבקשות מהמודל עצמו להיות זהיר יותר - באמצעות הנחיה, כוונון עדין או הגדלה של אחזור. Mellea-LRC הופך את זה: דרישות הנכונות חיות בקוד רגיל מחוץ למודל, והמסגרת ממשיכה לקרוא למודל עד שהפלט מוכיח אותן.

לתכנון הזה יש שתי השלכות מעשיות. ראשית, היגיון האימות ניתן לביקורת - עורך דין או בית משפט יכולים לקרוא בדיוק אילו כללים ציטוט היה צריך לעבור, במקום לסמוך על פסק דין מודל אטום. שנית, אותו דפוס מכליל מעבר לציטוטים משפטיים לכל תחום שבו ניתן לבדוק את התפוקות בצורה מכנית, וזה בדיוק הנכס שהפך את המסגרות הסוכנות לאטרקטיביות עבור מפתחי ארגונים.

ראוי לציין גם את מבנה המלגות. במקום מעבדה ארגונית סגורה, הפרויקט הרכיב שני סטודנטים לתואר שני, חונכות מ-CSSE ו-OSPO ומימון IBM סביב בעיית אימות צרה ומוגדרת היטב - ויצר כלי עבודה בתוספת מערך נתונים ציבורי.

למה זה חשוב עבור התעשייה המשפטית

בתי המשפט הפכו לנקודת הבזק לבעיות אמינות בינה מלאכותית. זרימת העבודה של האימות של Melea-LRC אוטומטית - אישור שקיים ציטוט ובדיקתו אומר את מה שהמנסח טוען - הוא בדיוק שלב החריצות שבודקים אנושיים מדלגים עליו כאשר מועדים קצרים.

זמן עיבוד של שמונה דקות לכל מסמך הופך אותו למעשי לפני ההגשה, במקום כתרגיל משפטי לאחר ששופט מסמן תיק לא קיים. ומכיוון שגם הכלי וגם מערך הנתונים של ההערכה שלו הם קוד פתוח, צוותים אחרים יכולים לבדוק איך הוא עובד, להרחיב אותו לתחומי שיפוט נוספים ולפורמטים של ציטוט, ולשפר שיפורים - גישה שעומדת בניגוד לבודקי הזיות סגורים וקנייניים.

הפרויקט גם מסמן לאן צועד כלי בינה מלאכותית ארגונית: במקום לנסות לגרום למודלים להזות פחות, צוותים כמו ג'ורג'יה טק בונים סביבם שכבות אימות, תוך שימוש בכללים מובנים וניסיונות חוזרים אוטומטיים כדי להפוך את פלט המודל לצפוי מספיק עבור מקצועות בעלי סיכון גבוה.

עבור התעשייה המשפטית, החשבון הוא פשוט. AI יכול לנסח בריף תוך דקות, וכלים כמו Mellea-LRC יכולים לבדוק את הציטוטים שלו בערך באותו זמן. המשתנה הנותר הוא האם החברות מבצעות את הבדיקה הזו כשלב חובה - לפני ההגשה, לא לאחר העיצום.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →