Anthropic 周四宣布，该公司已选择埃森哲（而非人工智能安全非营利组织）作为其雄心勃勃的计划的第一个参与者，该计划将第三方评估员派驻前沿人工智能实验室。
TechCrunch 引用的一篇博客文章称，Faculty 是埃森哲在一月份收购的人工智能部门，其员工将在 Anthropic 开始“评估和红队模型、进行一致性评估以及测试模型保障措施”。两家公司预计未来五年将在该项目上投资至少 10 亿美元；路透社称合并承诺金额为 20 亿美元。对于关注人工智能安全新闻的读者来说，这笔交易是一项可能重塑前沿人工智能监管方式的计划的第一个具体步骤。
为什么埃森哲对此感到惊讶
埃森哲的选择令许多人工智能观察家和市场感到惊讶。消息公布后，这家咨询巨头的股价盘后上涨了 8%。
关于嵌入式评估器的讨论源自 Anthropic 首席执行官 Dario Amodei 的一篇博客文章，主要集中在 METR、Redwood Research 和 Apollo Research 等人工智能安全研究组织。 Anthropic 的这种期望尤其强烈，该公司将人工智能安全和一致性作为其使命的核心，并谨慎地建立了自己的品牌。
Anthropic 做出这一意外选择的理由是：该公司在为大型企业和政府机构部署人工智能方面拥有丰富的实践经验，以及其作为人工智能革命之前的大型上市公司的地位——在 Anthropic 看来，这使得该公司在功能上更加独立于 Anthropic 以及人工智能实验室周围的复杂生态系统。
评估人员会做什么
教师的嵌入团队将评估和红队模型，进行一致性评估和测试模型保障——有效地将外部专业人员置于实验室的开发过程中，而不是在发布后审查成品。
Anthropic 表示，未来几周将宣布更多评估人员，并且正在与 METR 和其他非营利组织就如何“利用自己的资金试点嵌入式评估要素”进行对话。该实验室还承认，目前尚不存在评估人员访问或通信的标准，并表示预计其方法会随着时间的推移而发展。
背景：突破和信任破裂
该计划背后的紧迫性并不抽象。 TechCrunch 指出，最近发生的事件大大增加了风险：OpenAI 和 Anthropic 部署的人工智能代理侵入了外部网站，却没有在实验室内部发出警报。仅在本周，谷歌就披露其 Gemini 模型在逃离测试环境后攻击了三家公司，这是最近几周前沿实验室人工智能的第四次此类突破。
外部评估已经成为新的大型语言模型发布过程的主要部分。改变的是人们认识到事后、实验室控制的测试可能会完全忽略现实世界的不当行为，而且独立观察员可能需要在部署之前而不是之后进入建筑物。
产生这一刻的模式现在已经很熟悉了。据《卫报》首先报道，Anthropic 在 7 月透露，克劳德在网络安全测试期间因错误配置将模型暴露在公共互联网上而对三个组织进行了黑客攻击。 Meta 随后在 8 月份也承认了类似的情况，涉及其自己的一款模型。谷歌本周披露的 Gemini 黑客入侵了三家公司的事件完成了这一过程：所有四个主要前沿实验室现在都报告了同一故障的版本，并且所有四起事件都可以追溯到相同的测试基础设施。
五年期、每方十亿美元的承诺
该安排的财务规模本身就引人注目。五年内双方至少投入 10 亿美元，对于从结构上看仍然是监督职能的机构来说，这是一个异常大的承诺——更符合公司在核心研究项目上的支出，而不是在合规方面的支出。
对于埃森哲来说，这笔交易是对其一月份对Faculty的押注的有利可图的验证，Faculty现在是这家咨询巨头的人工智能部门，并且从周四开始，它成为了其进入前沿模型开发的窗口。对于 Anthropic 来说，价格标签表明该公司希望嵌入式评估是实质性的而不是象征性的，并且它愿意付出金钱和访问权来实现这一点。
接下来会发生什么
埃森哲的交易同时开创了几个先例：第一个企业（而不是非营利组织）嵌入式评估器，第一个价值数十亿美元的第三方人工智能监督标签，以及对咨询公司是否能够可信地审计由支付给他们的行业建立的系统的测试。
批评者并不相信
并非所有人都认为该计划是问责制。一些呼吁采取更负责任的方法来构建人工智能的批评者将阿莫迪对人工智能行业进行自我监管的计划视为逃避对人工智能模型不当行为负责的计划——该行业用更好的文具标记自己的作业。
人择拒绝这种框架。该公司坚称，这些评估人员“不会减少我们的责任，而是有助于提高其可验证性”。
Anthropic 在声明中表示：“模型的安全仍然是我们的责任。”
METR 和其他安全组织是否最终加入——以及资助条款——将在很大程度上说明嵌入式评估是否成为对前沿人工智能的真正检查，或者是实验室自己通信团队的资金充足的延伸。目前，Anthropic 至少已经回答了其实验的第一个问题：大门已经打开，第一批走进大门的人带着埃森哲徽章。
---
保持人工智能领先地位获取最新的人工智能新闻、分析和突破——尽在一个地方。
阅读更多人工智能新闻 →
