Оскільки юридичні документи все частіше складаються з використанням великих мовних моделей, фальсифіковані цитати стали справжньою проблемою для судів та адвокатів, які постають перед ними. Дослідники Georgia Tech створили інструмент із відкритим кодом, призначений для виявлення цих сфабрикованих посилань до того, як вони потраплять до судді.

Інструмент під назвою Mellea Legal Requirements Checker (Mellea-LRC) може ідентифікувати та перевіряти цитати з прецедентного права, приділяючи особливу увагу цитатам, створеним штучним інтелектом. Згідно з повідомленням університету, його було створено в рамках програми стипендій у Центрі наукової інженерії програмного забезпечення Джорджії (CSSE) та Офісі програм з відкритим кодом (OSPO), що фінансується за рахунок пожертвувань IBM. For more context on this story, see our ongoing more AI stories.

Студенти магістратури Адріан Лозада та Ді Ву були обрані стипендіатами для створення інструменту разом із наставниками з CSSE та OSPO. Їхньою метою, за словами університету, було дати юристам та іншим особам у сфері права простий спосіб перевірки юридичних цитат.

Як це працює

Mellea-LRC поєднує великі мовні моделі з фреймворком Mellea з відкритим вихідним кодом IBM, який побудований навколо парадигми «інструктувати, перевіряти, ремонтувати»: розробники пишуть правила, яким повинен задовольняти вихід LLM, як звичайний код, а фреймворк повторює виклики моделі, доки результат не відповідатиме їм.

«Фреймворк IBM Mellea був основою, на якій ми його побудували. Робота Mellea полягає в тому, щоб зробити виклики моделі передбачуваними: ви пишете правила, яким має задовольняти вихід як звичайний код, і фреймворк повторює спроби, доки вихідні дані LLM не відповідатимуть їм. Наша робота полягала в тому, щоб використати фреймворк для створення законної програми від кінця до кінця», — сказав Ву в повідомленні.

Інструмент обробляє документ приблизно за вісім хвилин. Спочатку він витягує цитати з прецедентного права з юридичної документації, а потім перевіряє, що кожне цитування є автентичним і чи воно дійсно підтверджує зміст документа — друга частина полягає в тому, що відрізняє галюцинацію цитати від просто фальшивої. Сфабрикована справа, якої не існує, не проходить першу перевірку; реальна справа, яка не говорить про те, що подача претензій провалюється другим.

Перевірено на справжні сфабриковані документи

Команда оцінила Mellea-LRC на 26 публічних документах, поданих до суду, які, як відомо, містять фальсифіковані цитати — той самий клас інцидентів, який викликав санкції та ретельну перевірку в судах, оскільки поширювалися звіти, складені ШІ.

Проблема, на яку спрямована Mellea-LRC, добре задокументована: LLM генерують правдоподібні назви справ, цитати та цитати, які не відповідають жодному реальному прецеденту, а адвокати зіткнулися з покараннями після подання таких документів без їх перевірки.

Відкритий код за дизайном

Основна вимога проекту полягала в тому, щоб код інструменту був відкритим. Разом із інструментом команда випустила новий набір даних для тестування та перевірки Hugging Face для майбутніх порівняльних досліджень.

«Agentic AI швидко розвивається, і більша частина зростання відбувається в проектах з відкритим кодом, де будь-хто може читати, використовувати та вдосконалювати роботу», — сказав Лозада.

Джефф Янг, директор OSPO та головний науковий співробітник Georgia Tech, сказав, що платформа IBM Mellea має вирішальне значення для роботи, оскільки її підхід «інструктувати, перевіряти, ремонтувати» дозволяє створювати надійні цикли LLM.

Архітектура, що стоїть за надійним результатом

Що робить підхід Mellea помітним, це те, що він покладає тягар надійності. Більшість стратегій пом’якшення галюцинацій вимагають від самої моделі бути більш обережною — за допомогою підказок, тонкого налаштування або розширення пошуку. Mellea-LRC інвертує це: вимоги до правильності живуть у звичайному коді за межами моделі, і фреймворк продовжує викликати модель, доки вихідні дані не задовольнять їх.

Цей дизайн має два практичних наслідки. По-перше, логіку перевірки можна перевірити — юрист чи суд можуть прочитати, які саме правила мала пройти цитата, замість того, щоб довіряти непрозорому модельному судженню. По-друге, той самий шаблон узагальнює поза межами юридичних цитат до будь-якої області, де результати можна перевіряти механічно, що саме зробило агентські структури привабливими для корпоративних розробників.

Також варто відзначити структуру стипендій. Замість закритої корпоративної лабораторії, проект об’єднав двох студентів магістратури, наставництво від CSSE та OSPO та фінансування IBM навколо вузької, чітко визначеної проблеми перевірки — і створив робочий інструмент плюс загальнодоступний набір порівняльних даних.

Чому це важливо для юридичної галузі

Суди стали спалахом проблем з надійністю ШІ. Процес верифікації, який автоматизує Mellea-LRC — підтвердження наявності цитати та перевірка того, що в ній стверджує розробник — це саме той етап ретельності, який рецензенти пропускають, коли терміни стислі.

Вісім хвилин обробки кожного документа робить його практичним для запуску перед подачею, а не як судово-медичну вправу після того, як суддя позначить неіснуючу справу. А оскільки як інструмент, так і його набір оціночних даних є відкритим вихідним кодом, інші команди можуть перевірити, як він працює, поширити його на додаткові юрисдикції та формати цитування, а також удосконалити контрольні показники — підхід, який контрастує з закритими власними засобами перевірки галюцинацій.

Проект також сигналізує про те, куди рухаються корпоративні інструменти штучного інтелекту: замість того, щоб намагатися змусити моделі менше галюцинувати, такі команди, як Georgia Tech, будують навколо них рівні перевірки, використовуючи структуровані правила та автоматичні повтори, щоб зробити вихід моделі достатньо передбачуваним для професій із високими ставками.

Для юридичної галузі розрахунок простий. ШІ може написати бриф за лічені хвилини, а такі інструменти, як Mellea-LRC, можуть перевірити свої цитати приблизно за той самий час. Інша змінна полягає в тому, чи роблять фірми цю перевірку обов’язковим кроком — до подання заяви, а не після санкцій.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →