新墨西哥州最高法院制裁了一名律师，该律师因以从未存在过的证人为依据（由 ChatGPT 大量捏造）提出谋杀上诉，这是迄今为止人工智能“幻觉”触及美国司法系统核心的最鲜明例子之一。
据路透社报道，该州最高法院对圣达菲律师斯蒂芬·阿伦斯处以 5000 美元罚款，并因他未能“验证人工智能生成的案情中的事实主张和法律权威”而判定他藐视法庭。这份简报是针对其委托人谋杀定罪上诉的一部分而提交的，“包含完全捏造的证人的虚假证词”，以及有关枪手服装和外表的虚假说法。有关此故事的更多背景信息，请参阅我们正在进行的突发人工智能新闻。
法院发现了什么
法院的文件没有描述轻微的错误。它描述了一份让人凭空变出的上诉文件：由不存在的目击者提供的证词，并编造了警方关于枪手穿着和长相的陈述——这正是谋杀定罪可以提供的事实细节。
据报道法院文件的 The Verge 报道，之所以实施制裁，是因为 Aarons 在向法院提交之前未能“验证人工智能生成的摘要中的事实主张和法律权威”。换句话说，问题不在于律师使用人工智能工具来帮助起草。问题在于，律师在提交输出时没有对照实际审判记录检查任何捏造的索赔要求。
##“律师，你看新闻吗？”
该案的非同寻常性质在 8 月份的一次听证会上浮出水面，Aarons 承认他使用了 ChatGPT，并告诉法庭，他预计聊天机器人会生成一份“无懈可击的审判摘要”。这一期望引起了新墨西哥州最高法院法官 C. Shannon Bacon 的尖锐回应。
“律师，你看新闻吗？你听广播吗？你读过有关世界上正在发生的事情吗？”据路透社报道，培根问道。 “因为律师依赖人工智能幻觉的问题每天都是一个引人注目的故事。”
法官的谴责体现了人工智能伪造的引文和证词已经从一个小众技术问题转变为主流的专业责任——法官现在认为每个执业律师都应该了解这一问题。
一系列人工智能制裁中的最新一项
新墨西哥州的案件是越来越多的法院惩罚律师不受限制地使用人工智能的案件中的最新一起。 The Verge 指出，去年，一名法官猛烈抨击了两家律师事务所提交的一份简报，其中包含“大量虚假、不准确和误导性的法律引文和引文”，而代表 MyPillow 创始人 Mike Lindell 的律师也因在法庭文件中包含人工智能生成的错误引文和虚假引文而被罚款。
新墨西哥州制裁的与众不同之处在于捏造的材料。大多数早期案件都涉及虚构的法律引文——虚假先例、真实案例的虚假引述。在这里，捏造的内容涉及事实本身：刑事上诉中的证人、证词和物证描述。这种区别很重要，因为谋杀案中的捏造事实触及了上诉审查所要保护的核心内容。
趋势线是明确无误的。正如 The Verge 观察到的那样，随着在工作中使用人工智能工具的律师数量不断增加，法院发现人工智能捏造或幻觉的引文的情况也在增加。曾经被视为令人尴尬的监督，现在越来越多地被视为专业能力的失败，受到罚款、藐视法庭裁决和纪律当局的审查。
##“我很后悔”
亚伦斯则告诉路透社，他希望这种影响能够在专业纪律之外停止。他在一份声明中说：“我很悔恨，但希望纪律委员会考虑到这是一个无心的错误。”
纪律委员会是否将其视为无心错误还有待观察，但该州最高法院已经明确表达了自己的观点：罚款 5,000 美元，并因一份从未与事实核实的案情而被判藐视法庭罪。
为什么它很重要
此案发生之际，全国法院正在强化其在诉讼中使用人工智能的立场。法官越来越多地要求律师证明人工智能生成的文件已经过验证，制裁已成为可见的执行机制。来自新墨西哥州最高法院的信息很可能会远远超出其国界：核实的责任是个人的、不可委托的，并且不会因为聊天机器人生成听起来自信的散文而消失。
对于法律界来说，计算方式正在发生变化。人工智能起草工具可以节省工作时间，但在提交的摘要中，一个伪造的证人现在可能会被处以罚款、藐视法庭裁决，并移交纪律当局——很少有从业者会觉得这种交易有吸引力。对于其他所有人来说，这个案例提醒我们，那些想要检查人工智能输出的人比以往任何时候都面临着更大的压力来实际检查它们。
刑事案件的风险最高。对虚假引用的制裁浪费了司法时间；谋杀上诉中捏造的证据涉及决定定罪是否成立的机制。上诉法院只能权衡以真实记录为依据的主张，而一份由幽灵证人组成的简报要求法官对从未发生过的事件做出裁决。
---
保持人工智能领先地位获取最新的人工智能新闻、分析和突破——尽在一个地方。
阅读更多人工智能新闻 →
