Поскольку юридические документы все чаще составляются с использованием больших языковых моделей, фальсифицированные цитаты стали настоящей проблемой для судов и юристов, выступающих перед ними. Исследователи Технологического института Джорджии создали инструмент с открытым исходным кодом, предназначенный для выявления сфабрикованных упоминаний до того, как они дойдут до судьи.
Инструмент, получивший название «Проверка правовых требований Mellea» (Mellea-LRC), может выявлять и проверять цитаты из прецедентного права, уделяя особое внимание цитатам, галлюцинируемым ИИ. Согласно заявлению университета, он был создан в рамках программы стипендий в Центре научной разработки программного обеспечения (CSSE) Технологического института Джорджии и Офисе программ открытого исходного кода (OSPO), финансируемой за счет пожертвования IBM. Подробнее об этой истории — в нашем последние разработки в ИИ.
Студенты магистратуры Адриан Лозада и Ди Ву были выбраны в качестве стипендиатов для создания инструмента под руководством наставников из CSSE и OSPO. Их цель, как заявили в университете, заключалась в том, чтобы предоставить юристам и другим специалистам в юридической сфере простой способ проверки юридических цитат.
Как это работает
Mellea-LRC сочетает в себе большие языковые модели с платформой IBM Mellea с открытым исходным кодом, которая построена на парадигме «инструктировать, проверять, восстанавливать»: разработчики пишут правила, которым выходные данные LLM должны удовлетворять, как обычный код, и платформа повторяет вызовы модели до тех пор, пока выходные данные не будут соответствовать им.
«Фреймворк Mellea от IBM был основой, на которой мы его построили. Задача Mellea — сделать вызовы модели предсказуемыми: вы пишете правила, которым должны удовлетворять выходные данные, как обычный код, и фреймворк повторяет попытки до тех пор, пока выходные данные LLM не будут соответствовать им. Наша задача заключалась в том, чтобы использовать фреймворк для создания юридического приложения от начала до конца», — сказал Ву в объявлении.
Инструмент обрабатывает документ примерно за восемь минут. Сначала он извлекает цитаты из прецедентного права из юридического документа, затем проверяет, что каждая цитата аутентична и действительно подтверждает содержание документа — вторая часть — это то, что отличает галлюцинаторную цитату от просто поддельной. Сфабрикованное дело, которого не существует, не проходит первую проверку; реальный случай, в котором не сказано, какие претензии не поданы во втором случае.
Протестировано на основе реальных сфабрикованных документов
Команда оценила Mellea-LRC на 26 публичных судебных документах, которые, как известно, содержат фальсифицированные цитаты — тот же класс инцидентов, который вызвал санкции и пристальное внимание в судах по мере распространения отчетов, составленных ИИ.
Проблема, с которой сталкивается Mellea-LRC, хорошо документирована: LLM создают правдоподобные на вид названия дел, цитаты и цитаты, которые не соответствуют никакому реальному прецеденту, а адвокаты подвергаются штрафам за подачу таких документов без их проверки.
Открытый исходный код по дизайну
Основным требованием проекта было то, чтобы код инструмента был открытым. Одновременно с этим инструментом команда выпустила новый набор данных для тестирования и проверки Hugging Face для будущих сравнительных исследований.
«Агентный искусственный интеллект быстро развивается, и большая часть роста происходит в проектах с открытым исходным кодом, где каждый может читать, использовать и улучшать работу», — сказал Лозада.
Джефф Янг, директор OSPO и главный научный сотрудник Технологического института Джорджии, сказал, что структура IBM Mellea имеет решающее значение для работы, поскольку ее подход «инструктировать, проверять, восстанавливать» позволяет создавать надежные циклы LLM.
Архитектура надежного вывода
Что делает подход Меллеа примечательным, так это то, где он возлагает бремя надежности. Большинство стратегий смягчения галлюцинаций требуют, чтобы сама модель была более осторожной — посредством подсказок, точной настройки или улучшения воспроизведения. Mellea-LRC меняет это положение: требования корректности живут в обычном коде вне модели, и фреймворк продолжает вызывать модель до тех пор, пока выходные данные не будут им доказуемо удовлетворять.
Этот дизайн имеет два практических последствия. Во-первых, логику проверки можно проверить — юрист или суд могут точно прочитать, какие правила должна была соблюдаться цитата, вместо того, чтобы доверять непрозрачному типовому решению. Во-вторых, та же модель распространяется за пределы юридических ссылок на любую область, где результаты могут быть проверены механически, и это именно то свойство, которое сделало агентные структуры привлекательными для корпоративных разработчиков.
Стоит также отметить структуру стипендий. Вместо закрытой корпоративной лаборатории проект объединил двух магистрантов, наставничество CSSE и OSPO и финансирование IBM для решения узкой, четко определенной задачи проверки — и создал рабочий инструмент плюс общедоступный набор эталонных данных.
Почему это важно для юридической отрасли
Суды стали горячей точкой для проблем надежности ИИ. Рабочий процесс проверки, который автоматизирует Mellea-LRC — подтверждение существования цитаты и проверка того, что утверждает автор, — это именно тот этап проверки, который рецензенты пропускают, когда сроки сжаты.
Восьмиминутное время обработки каждого документа делает его практичным перед подачей заявления, а не в качестве криминалистического упражнения после того, как судья отмечает несуществующее дело. А поскольку и инструмент, и набор его оценочных данных имеют открытый исходный код, другие команды могут проверять, как он работает, распространять его на дополнительные юрисдикции и форматы цитирования, а также улучшать контрольные показатели — подход, который контрастирует с закрытыми, проприетарными средствами проверки галлюцинаций.
Проект также сигнализирует о том, куда движется корпоративный инструментарий искусственного интеллекта: вместо того, чтобы пытаться заставить модели меньше галлюцинировать, такие команды, как Технологический институт Джорджии, создают вокруг них уровни проверки, используя структурированные правила и автоматические повторные попытки, чтобы сделать выходные данные модели достаточно предсказуемыми для профессий с высокими ставками.
Для юридической отрасли расчеты просты. ИИ может составить краткое описание за считанные минуты, а такие инструменты, как Mellea-LRC, могут проверить его цитаты примерно за то же время. Оставшаяся переменная заключается в том, сделают ли компании эту проверку обязательным этапом — до подачи заявления, а не после применения санкций.
---
Будьте в курсе ИИПоследние новости, аналитика и прорывы в сфере ИИ — всё в одном месте.
Читать больше новостей об ИИ →
