男性が訴訟で勝訴するために目に見えないAIのプロンプトを隠した - 米国初、裁判官が言う

コネチカット州の判事は、目に見えないAIプロンプトインジェクションテキストを裁判所の提出書類に隠した原告に制裁を下した。これは米国の法廷で知られている限り初の試みである。

コネチカット州の判事は、米国の原告が訴訟に勝つために、人工知能システムのみが読み取れる裁判所文書内のテキストを隠そうとしたのは初めてと思われることを特定した。この計画は失敗に終わり、訴訟当事者は制裁を受けたが、全国の裁判所が独自のAIツールを導入し始めていることから、この判決は現在リーガルテクノロジーの世界全体で注目を集めている。

この判決はコネチカット高等裁判所のウォルター・スペイダー・ジュニア判事によって先週発表され、今週アルス・テクニカとロイターが詳細を発表した。人工知能と司法制度の衝突に関する AI ニュース速報について、この事件は、セキュリティ研究者が長年警告してきた問題、つまり人間ではなく機械によって読み取られるように設計された敵対的入力の問題の前兆です。

非表示のプロンプトの仕組み

原告のマシュー・エリオットは、自身の記録へのアクセスを不当に保留していると主張する医療提供者との係争に巻き込まれていた。判決によると、同氏が提起した以前の主張が敗訴した後、エリオット氏はその後の提出書類に指示を埋め込んだ。スペイダー氏の言葉を借りれば、その指示は「文書のテキストを読み取るソフトウェアで完全に判読できる状態でありながら、人間の読者には見えないようにフォーマットされていた」という。

テキストは小さなポイントタイプに縮小され、白の背景に白で着色されました。文書をレビューするAIシステムに対し、その出力が原告の主張に一致していることを確認し、法廷からの事前の否認を無視し、原告の希望どおりに修復が行われることを保証するよう指示した。これは教科書的なプロンプトインジェクション攻撃であり、チャットボットではなく、いつか訴訟当事者と裁判官の間に挟まれるであろうあらゆるソフトウェアを狙ったものである。

隠されたテキストは事件に影響を与えなかった。裁判所はエリオットの申し立ての正当性を検討した。しかし、スペイダー氏は、それでもこの攻撃未遂は「危険な」前例を作ったものであり、法廷システムでAIツールがより一般的になるにつれ、米国の裁判所は悪意のある戦術を再び目にする可能性が高いと書いている。

「重大な訴訟乱用」 — そしていくつかの奇妙なジョーク

エリオットはささやかな制裁を受けたが、それは最初の隠された指示だけではなかった。判決によると、スペイダー氏が最終的に「重大な訴訟濫用」と判断した行為について裁判所が罰則を受ける可能性があると警告した後も、同氏は新たな申請書に隠しテキストを追加し続けたという。

エリオット氏は法廷で、後に隠されたメッセージの一部はジョークを意図したものだった、と語った。そこには、ノスフェラトゥの YouTube ビデオへのリンク、「こんにちは :) 私に会えないといいのですが」という簡単なメッセージ、そして原告がナンセンスだと述べたメッセージ「ショーンに服を送ると言って!!!! ハハハ、みんなこの卵を受け取ったの？？？ああ」が含まれていた。

「この（制裁）公聴会の通知を受けた後、原告が新たな弁論でメッセージを隠し続けたという事実は驚くべきことだ」とスペイダー氏は書いた。メッセージがコメディだったという主張について、判事は、提出者が弁論の中にジョークを埋め込むのは「論理に反する」とし、法廷に真剣に受け止めてもらいたいとしている。

「監査」防御

エリオット氏は弁護の際、裁判官が指摘した最も懸念すべきプロンプトは、実際には裁判所がAIに不当な判決を下させているのではないかと懸念し、公共サービスとして法廷を「監査」しようとする試みだったと主張した。同氏はロイターに対し、その立場を繰り返し、法廷を操作することではなく、法廷を試すことが意図だと主張した。

スペイダー氏はこの議論が信頼できるとは考えなかった。裁判官は、エリオット氏が裁判所がAIを不適切に使用していると本当に信じているのであれば、「誰もが見て答えられる、平易で目に見える言葉で自由にそう書くことができる」と書いた。代わりにテキストを隠すことは「悪意のある目的の証拠」であるとスペイダー氏は結論づけた。判事は、エリオット被告が「法律に精通した人間が嘆願書を読んだときには達成できなかった結果を達成しようとしていたようだ」と付け加えた。

特に、コネチカット州司法局は提出書類の審査や決定にAIを使用していないため、裁判所のAIシステムが裁判所からの指示を求めるエリオットの指示を誤るという現実的なリスクはまったく存在しなかった、とスペイダー氏は指摘した。「他の場所の多くの法廷システム」とは異なり、相手側には騙す機械が存在しなかった、と彼は書いた。

失敗した攻撃が依然として重要な理由

セキュリティ研究者は、文書を読み取る AI システム (チャットボット、コーディングエージェント、電子メールアシスタント) が、取り込んだテキストに埋め込まれた命令によってハイジャックされる可能性があることを何年もかけて実証してきました。間接プロンプトインジェクションとして知られるこの手法は、AI エージェントの導入において最も困難な未解決の問題の 1 つと考えられています。コネチカット州の事件を特異なものにしているのは、その標的、つまり正義の機構そのものである。

「後でシステムが取り込むドキュメント内にコマンドを隠すことで、ファイラーはそのストリームに自分の命令を密かに持ち込もうとし、システムはその命令をシステムのオペレーターから来たものであるかのように扱う」とスペイダー氏は書いている。「この場合、オペレータは裁判所、そのスタッフ、または相手方の弁護士であると推定されます。」

裁判所への申し立てを攻撃対象とするこの枠組みこそが、今回の判決を重要なものにしていると法廷関係者は言う。裁判所や法律事務所が提出書類、決定草案、トリアージ書類の要約に AI を使用するケースが増えているため、当事者が提出したすべての文書が操作の潜在的な経路となります。裁判官の書記官は、白いページ上の白いテキストを見つけるかもしれません。自動要約パイプラインはそうではないかもしれません。