法的文書が大規模な言語モデルを使用して作成されることが増えているため、引用文の偽造は法廷や法廷に出廷する弁護士にとって深刻な問題となっています。ジョージア工科大学の研究者らは、こうした捏造された参考文献を裁判官に到達する前に捕捉するように設計されたオープンソース ツールを構築した。

Mellea Legal Requirements Checker (Mellea-LRC) と呼ばれるこのツールは、AI によって幻覚された引用に特に焦点を当てて、判例法の引用を識別および検証できます。同大学の発表によると、これはジョージア工科大学の科学ソフトウェア工学センター（CSSE）とオープンソースプログラムオフィス（OSPO）のフェローシッププログラムを通じて作成され、IBMからの寄付で資金提供されたという。 この件の詳細は、AIの最新動向をご覧ください。

修士課程の学生、Adrian Lozada 氏と Di Wu 氏が、CSSE と OSPO のメンターとともにツールを構築するフェローとして選ばれました。同大学によると、彼らの目的は、弁護士や法律分野の人々に法的引用を確認する簡単な方法を提供することだという。

仕組み

Mellea-LRC は、大規模な言語モデルと IBM の Mellea オープンソース フレームワークを組み合わせたもので、このフレームワークは「指示、検証、修復」パラダイムを中心に構築されています。開発者は LLM の出力が満たさなければならないルールを通常のコードとして記述し、フレームワークは出力がルールを満たすまでモデル呼び出しを再試行します。

「IBMのMelleaフレームワークは、私たちがこのフレームワークを構築した基盤でした。Melleaの仕事は、モデル呼び出しを予測可能にすることです。つまり、出力が満たさなければならないルールを通常のコードとして記述し、LLM出力がそれらを満たすまでフレームワークが再試行します。私たちの仕事は、フレームワークを活用して法的アプリケーションをエンドツーエンドで構築することでした」とウー氏は発表の中で述べた。

このツールはドキュメントを約 8 分で処理します。まず、訴訟書類から判例法の引用を抽出し、次に各引用が本物であること、そして文書の内容を実際に裏付けていることを検証します。2 番目の部分は、幻覚による引用と単なる偽物の引用を区別するものです。存在しない捏造されたケースは最初のチェックで不合格になります。提出された主張が何であるかを述べていない実際の訴訟は、2番目に失敗します。

実際に作成されたファイリングに対してテスト済み

チームは、偽造された引用が含まれていることが知られている26件の公の法廷提出文書に基づいてメレア-LRCを評価した。これは、AIが作成した準備書面が広まり、法廷で制裁や精査が行われているのと同じ種類の事件である。

Mellea-LRC がターゲットとしている問題は十分に文書化されています。LLM は実際の判例に対応しない、もっともらしく見える事件名、引用、引用を生成しており、弁護士はそのような申請書を確認せずに提出したため罰則に直面しています。

設計によるオープンソース

プロジェクトの中核となる要件は、ツールのコードがオープンソースであることです。このツールに加えて、チームは将来のベンチマーク研究のために、Hugging Face に関する新しいテストおよび検証データセットをリリースしました。

「Agentic AI は急速に成長しており、その成長の多くは、誰もが作品を読み、使用し、改善できるオープンソース プロジェクトで発生しています」とロザダ氏は述べています。

OSPO ディレクター兼ジョージア工科大学の主任研究員である Jeff Young 氏は、IBM の Mellea フレームワークは「指示、検証、修復」ア​​プローチによって信頼性の高い LLM ループの作成が可能になるため、この作業には不可欠であると述べました。

信頼性の高い出力を支えるアーキテクチャ

Mellea のアプローチが注目に値するのは、信頼性の負担がどこに課されるかということです。ほとんどの幻覚軽減戦略は、プロンプト、微調整、または検索の強化を通じて、モデル自体にさらに注意を払うように求めます。 Mellea-LRC はこれを逆転させます。正確性の要件はモデルの外部の通常のコードに存在し、フレームワークは出力がそれらの要件を満たしていることが証明されるまでモデルを呼び出し続けます。

この設計には 2 つの実際的な影響があります。まず、検証ロジックは監査可能です。弁護士や裁判所は、不透明な模範判決を信頼するのではなく、引用がどのようなルールを通過する必要があるかを正確に読み取ることができます。第 2 に、同じパターンが法的な引用を超えて、出力を機械的にチェックできるあらゆる領域に一般化します。これがまさに、エージェント フレームワークを企業開発者にとって魅力的なものにしている特性です。

フェローシップ体制も注目に値する。このプロジェクトは、企業の閉鎖的な研究室ではなく、2 人の修士課程の学生、CSSE と OSPO からの指導、IBM の資金提供によって、狭く明確に定義された検証問題を解決し、実用的なツールと公開ベンチマーク データセットを作成しました。

法律業界にとってなぜそれが重要なのか

法廷は AI の信頼性問題の発火点となっています。 Mellea-LRC が自動化する検証ワークフロー (引用が存在することを確認し、起草者の主張が書かれていることをチェックする) は、まさに人間の査読者が締め切りが迫っているときにスキップする勤勉なステップです。

文書あたりの処理時間は 8 分なので、裁判官が存在しない事件にフラグを立てた後の法医学演習としてではなく、提出前に実行するのが実用的です。また、ツールとその評価データセットは両方ともオープンソースであるため、他のチームはツールがどのように機能するかを監査し、追加の管轄区域や引用形式に拡張し、ベンチマークを改善することができます。これは、クローズドな独自の幻覚チェッカーとは対照的なアプローチです。

このプロジェクトは、エンタープライズ AI ツールがどこに向かっているのかも示しています。ジョージア工科大学のようなチームは、モデルの幻覚を軽減しようとするのではなく、構造化ルールと自動再試行を使用して、モデルの出力を一か八かの専門家にとって十分に予測可能なものにして、モデルの周囲に検証レイヤーを構築しています。

法律業界の場合、計算は簡単です。 AI は数分で準備書面を作成でき、Mellea-LRC のようなツールはほぼ同じ時間で引用をチェックできます。残りの変数は、企業がその確認を制裁後ではなく申請前に必須のステップとするかどうかである。

---

AIの最新情報をお届け

AIの最新ニュース、分析、ブレイクスルーを一箇所で。

AIニュースをもっと読む →