康涅狄格州一名法官发现，美国原告首次试图在法庭文件中隐藏只有人工智能系统才能读取的文本，以试图赢得案件。该计划失败了，当事人受到了制裁，随着全国各地的法院开始采用自己的人工智能工具，该裁决现在引起了整个法律技术界的关注。
康涅狄格州高等法院法官小沃尔特·斯派德 (Walter Spader Jr.) 上周公布了这一裁决，Ars Technica 和路透社本周详细介绍了这一裁决。对于有关人工智能与司法系统之间冲突的突发人工智能新闻，此案是安全研究人员多年来警告的一个问题的预演：旨在由机器而不是人类读取的对抗性输入。
隐藏提示是如何工作的
原告马修·埃利奥特 (Matthew Elliott) 与一家医疗保健提供者发生纠纷，他声称该医疗保健提供者不当拒绝获取他的记录。根据裁决，在他先前提出的论点被驳回后，埃利奥特在随后的文件中嵌入了指令，用斯派德的话说，这些指令“被格式化为人类读者不可见，但对任何读取文档文本的软件来说仍然完全清晰”。
文本被缩小为小点型，并在白色背景上涂成白色。它指示任何审查该文件的人工智能系统，以确保其输出与原告的论点一致，忽略法院先前的否认，并确保按照原告的意愿进行补救——教科书式的即时注入攻击，目标不是聊天机器人，而是有一天可能介于诉讼当事人和法官之间的任何软件。
隐藏的文字对案件没有影响。法院根据埃利奥特的申请的是非曲直进行了权衡。但斯派德写道，尽管如此，这次未遂攻击开创了一个“危险”的先例，随着人工智能工具在法院系统中变得更加普遍，美国法院可能会再次看到这种恶意策略。
“严重的诉讼滥用”——以及一些奇怪的笑话
埃利奥特面临适度的制裁，但不仅仅是因为最初的隐藏指令。根据裁决，即使法院警告他可能因斯派德最终认为的“严重滥用诉讼”而面临处罚，他仍不断在新文件中添加隐藏文本。
埃利奥特告诉法庭，后来隐藏的一些信息是为了开玩笑。其中包括一个 Nosferatu YouTube 视频的链接、一条简单的消息，上面写着“嗨:)我希望你们能看到我”，以及一条被原告描述为无稽之谈的消息：“告诉肖恩，我发送我的 RE 服装！！！哈哈哈，你们得到这个蛋了？？？啊哈哈。”
“原告在收到这次[制裁]听证会的通知后继续在新的诉状中隐藏信息，这一事实令人震惊，”斯派德写道。至于这些信息是喜剧的说法，法官表示，提交人将笑话埋在他希望法院认真对待的诉状中，这“不符合逻辑”。
“审计”辩护
埃利奥特在辩护中辩称，法官标记的最令人担忧的提示实际上是试图将法院作为一项公共服务进行“审计”，因为他担心法院让人工智能不公平地裁决他的案件。他向路透社重申了这一立场，称他坚称自己的目的是测试法院，而不是操纵法院。
斯派德认为这个论点不可信。法官写道，如果埃利奥特真的相信法院不恰当地使用人工智能，他“可以自由地用简单、可见的文字写出来，让每个人都能看到并回答”。斯派德总结道，隐藏文本是“其恶意目的的证据”。法官补充说，埃利奥特似乎“试图达到他没有达到的结果，而当了解法律的人阅读他的诉状时，他却没有达到这一结果。”
斯派德指出，值得注意的是，康涅狄格州司法部门不使用人工智能来审查或决定申请，因此法院人工智能系统不会将埃利奥特的提示误认为是法院的指示。他写道，与“其他地方的许多法院系统”不同，另一端没有机器可以愚弄。
为什么失败的攻击仍然很重要
安全研究人员花了数年时间证明，读取文档的人工智能系统——聊天机器人、编码代理、电子邮件助理——可能会被隐藏在它们摄取的文本中的指令劫持。该技术被称为间接提示注入，被认为是部署人工智能代理中最难解决的问题之一。康涅狄格州案件的不同寻常之处在于它的目标：司法机制本身。
“通过将命令隐藏在系统稍后摄取的文档中，文件管理器试图将自己的指令偷偷放入该流中，以便系统将其视为来自系统操作员，”Spader 写道。 “在本案中，操作者被推定为法院、其工作人员或对方律师。”
法律观察家认为，这一框架——将法院文件作为攻击面——使得该裁决具有重要意义。随着法院和律师事务所越来越多地使用人工智能来总结文件、决定草案或分类案卷，当事人提交的每份文件都成为潜在的操纵渠道。法官的书记员可能会看到白页上的白色文字；自动摘要管道可能不会。
接下来会发生什么
根据法院自己的描述，对埃利奥特的制裁是温和的。但这一决定为美国法院提供了一个书面先例，将隐藏的机器可读指令视为滥用法律程序，而且该决定的出台正值几个州法院系统正在积极试验人工智能审查工具之际。
目前，康涅狄格州的教训很简单：法院正在关注此事。正如斯派德法官的裁决所表明的那样，第一个在美国法院尝试立即注射的人被抓获并受到制裁，尽管没有任何人工智能系统在监听。
保持人工智能领先地位 阅读更多人工智能新闻 →
