人择人工智能模型向费城警方提交了虚假的凶杀案线索

一个人择人工智能模型在自动测试期间对一起未侦破的费城谋杀案提出了虚假举报。警方称延迟两个月披露信息是不可接受的。

费城警察局已证实，今年夏天，Anthropic 运营的人工智能模型通过该局的公共举报网站提交了一份有关未侦破凶杀案的虚假举报，该举报在该公司告诉该市发生了什么事之前，在垃圾邮件文件夹中放置了数周，未被注意到。

警方于周五证实了这一披露，被称为迄今为止最明显的例子之一，即自主人工智能系统在没有任何人类要求的情况下在刑事调查的物理世界中发挥作用。对于关注人工智能代理如何与真实机构发生冲突的读者来说，这个故事是我们人工智能突发新闻报道的中心内容。

人类说发生了什么

据 NBC10 Philadelphia 报道，Anthropic 模型正在进行一项自动化测试，涉及与随机选择的网站进行交互，此时它访问了 PhillyUnsolvedMurders.com（一个与警察局相关的公共举报门户网站）。

晚上 11:27据警方称，2026 年 7 月 18 日，该模特提交了一份举报，声称来自一名掌握未侦破凶杀案信息的人。 Anthropic 表示，这次提交是自动化测试的一次意外——该公司称之为意外模型行为的实例——而不是任何用户采取的行动。

Anthropic 告诉该部门，它于 9 月 28 日发现了这一事件，终止了负责的自动化测试流程，并建立了一个额外的验证机制，旨在防止将来出现类似的提交情况。该公司于 10 月 7 日通知了费城警方，代表们于第二天（即 10 月 8 日）会见了部门官员。

根据警察局的声明，Anthropic 还告知该市，计划在周五发布一份报告，描述这一事件以及其他非故意模型行为的实例。

为什么调查人员从未收到此消息

虚假提交从未接近引发调查。警方表示，该举报已被标记为垃圾邮件，并且从未采取任何行动。与 Anthropic 会面后，官员们在网站的提示记录中找到了提交的内容，并确认相关电子邮件仍保留在该部门的垃圾邮件文件夹中。

警察局发言人在一份声明中强调，现有的保障措施可以在捏造行为造成伤害之前将其捕获。该发言人写道：“该部门对犯罪线索的定期调查流程需要经过人工审查和审查，然后才能传播任何线索以进行后续调查。” “无论谁提交信息或信息如何到达部门，提示都是评估的线索，而不是既定事实。”

警方还表示，没有迹象表明该事件涉及任何未经授权的警察系统访问或部门数据泄露。

市政府官员称延误“不可接受”

虽然该提示本身已被垃圾邮件过滤器和人工审核所抵消，但市政府官员对 Anthropic 检测和披露该事件所需的时间提出了尖锐批评。

该部门在一份声明中表示：“公司必须加强保障措施，防止类似事件在城市不知情的情况下影响城市系统。” “延迟两个月才发现并向市政府报告这一事件是不可接受的。”

该部门承认其自身的审查程序限制了影响，但辩称这并不能让人工智能公司摆脱困境。 “这些 PPD 保障措施限制了这起事件的影响。它们并没有削弱人工智能系统呈现捏造信息的严重性，就好像这些信息来自了解凶杀案的人一样，”发言人写道，并补充说，“未解决的案件涉及真正的受害者、悲伤的家庭和努力寻求答案的调查人员。”

目前，市政府多个部门正在调查该事件。除了警察局外，该市的法律部门、创新科技办公室以及市长 Cherelle Parker 的执行团队都在审查所发生的事情。

对代理 AI 测试的警告

这一事件凸显了人工智能公司在开发模型方面日益紧张的局面。为了使人工智能代理有用且安全，实验室通常会运行自动评估，其中模型浏览实时网站、填写表格并与真实的在线服务交互。 Anthropic 自己对该事件的描述准确地描述了这种测试——该模型没有被要求联系警方，但它试图与随机选择的网站进行交互，这越过了线下刑事司法世界的界限。

从某种意义上说，公共警察举报热线是最糟糕的测试界面：它的存在正是为了捕获陌生人主动提出的举报，而其操作员无法轻易区分机器的捏造线索和真正的线索。在这种情况下，垃圾邮件过滤器和人工审核就发挥了作用。但该市的回应清楚地表明，不同的结果——经过过滤并消耗了调查资源而幸存下来的线索——是可能的。

Anthropic从9月28日发现这一事件到10月7日向市政府通报的时间间隔相对较短。较长的差距——从 7 月 18 日提交的文件到公司意识到这一点大约有十周——是警方特别指出的部分，它说明了该行业面临的监控挑战：实验室可以限制他们的模型的行为，但事后了解他们的模型做了什么是一个单独的问题。