随着法律文件越来越多地使用大型语言模型起草，伪造引文已成为法院和出庭律师面临的真正问题。佐治亚理工学院的研究人员开发了一个开源工具，旨在在这些捏造的参考资料到达法官之前将其捕获。

该工具称为 Mellea 法律要求检查器 (Mellea-LRC)，可以识别和验证判例法引文，特别关注人工智能幻觉的引文。根据佐治亚理工学院的公告，它是通过佐治亚理工学院科学软件工程中心 (CSSE) 和开源项目办公室 (OSPO) 的一项奖学金计划创建的，并由 IBM 捐款资助。 更多相关背景，请参阅我们的AI新闻。

硕士生 Adrian Lozada 和 Di Wu 被选为研究员，与 CSSE 和 OSPO 的导师一起构建该工具。该大学表示，他们的目标是为律师和法律领域的其他人提供一种简单的方法来验证法律引用。

它是如何工作的

Mellea-LRC 将大型语言模型与 IBM 的 Mellea 开源框架相结合，该框架围绕“指令、验证、修复”范式构建：开发人员将 LLM 的输出必须满足的规则编写为普通代码，框架会重试模型调用，直到输出满足这些规则。

“IBM 的 Mellea 框架是我们构建它的基础。Mellea 的工作是使模型调用可预测：您像普通代码一样编写输出必须满足的规则，框架会重试，直到 LLM 输出满足这些规则。我们的工作是利用该框架从头到尾构建法律应用程序，”Wu 在公告中说。

该工具在大约八分钟内处理一个文档。它首先从法律文件中提取判例法引文，然后验证每个引文的真实性以及它是否确实支持文档的内容——第二部分是区分幻觉引文和纯粹虚假的引文。捏造的、不存在的案件，初审不通过；一个真实的案例，没有说明提交的索赔内容，第二个失败了。

针对真实伪造的文件进行测试

该团队根据 26 份已知包含伪造引文的公开法庭归档文件对 Mellea-LRC 进行了评估——随着人工智能起草的案情摘要的传播，此类事件已在法庭上受到制裁和审查。

Mellea-LRC 的目标问题是有据可查的：法学硕士生成看似合理的案例名称、引文和引文，但与任何真实的先例都不相符，律师在未经检查的情况下提交此类文件后将面临处罚。

开源设计

该项目的核心要求是该工具的代码是开源的。除了该工具之外，该团队还在 Hugging Face 上发布了一个新的测试和验证数据集，用于未来的基准测试研究。

Lozada 说：“代理人工智能正在快速发展，其中大部分增长发生在开源项目中，任何人都可以阅读、使用和改进工作。”

佐治亚理工学院 OSPO 主任兼首席研究科学家 Jeff Young 表示，IBM 的 Mellea 框架对于这项工作至关重要，因为它的“指导、验证、修复”方法允许创建可靠的 LLM 循环。

可靠输出背后的架构

Mellea 方法的引人注目之处在于它承担了可靠性的重担。大多数幻觉缓解策略要求模型本身更加小心——通过提示、微调或检索增强。 Mellea-LRC 颠倒了这一点：正确性要求存在于模型外部的普通代码中，框架不断调用模型，直到输出证明满足这些要求。

该设计有两个实际后果。首先，验证逻辑是可审计的——律师或法院可以准确地阅读传票必须通过的规则，而不是相信不透明的模型判决。其次，相同的模式超出了法律引用范围，扩展到可以机械检查输出的任何领域，这正是使代理框架对企业开发人员有吸引力的属性。

奖学金结构也值得注意。该项目不是一个封闭的企业实验室，而是将两名硕士生、CSSE 和 OSPO 的指导以及 IBM 的资金围绕一个狭窄的、定义明确的验证问题聚集在一起，并生成了一个工作工具和一个公共基准数据集。

为什么它对法律行业很重要

法院已成为人工智能可靠性问题的爆发点。 Mellea-LRC 自动化的验证工作流程（确认引文存在并检查其内容是否符合起草者的要求）正是人类审稿人在截止日期紧迫时跳过的尽职步骤。

每份文件的处理时间为八分钟，因此可以在归档前运行，而不是在法官标记不存在的案件后进行取证工作。而且由于该工具及其评估数据集都是开源的，因此其他团队可以审核它的工作原理，将其扩展到其他司法管辖区和引文格式，并进行基准改进——这种方法与封闭的专有幻觉检查器形成鲜明对比。

该项目还标志着企业人工智能工具的发展方向：像佐治亚理工学院这样的团队不是试图让模型减少幻觉，而是围绕模型构建验证层，使用结构化规则和自动重试，使模型输出对于高风险职业来说具有足够的可预测性。

对于法律行业来说，计算很简单。人工智能可以在几分钟内起草一份摘要，而像 Mellea-LRC 这样的工具可以在大约相同的时间内检查其引用。剩下的变量是公司是否将检查作为强制性步骤——在申请之前，而不是在制裁之后。

---

掌握AI最新动态

获取最新的AI新闻、分析和突破——尽在一处。

阅读更多AI新闻 →