Anthropic 已经开始为 METR（一家评估前沿人工智能模型的非营利组织）的一个团队提供对其内部系统的“员工式访问权限”——公司硬件、办公空间和与自己的风险评估团队使用的工具大致相当的工具——这样外部团队就可以独立评估 Anthropic 前沿模型的风险并发布其发现的结果。
这项安排于周三在 Anthropic 的博客上宣布，超出了人工智能公司通常容忍的审计式关系，并且它附带了一项引人注目的条款：METR 将公布其风险评估结果，而 Anthropic 不能否决公布结果。
“类似员工的访问”实际上意味着什么
六名 METR 员工已获得公司硬件、办公空间以及内部工具和系统的使用权限，Anthropic 称其与自己的风险评估团队所获得的大致相当。除了少数明确定义的类别（有关客户的数据、律师-客户特权信息以及有关模型架构的信息）之外，Anthropic 表示鼓励员工与 METR 团队共享信息，就像与处理一致性风险的同事共享信息一样。
参与度故意缩小。它涵盖了一个根据可执行协议运作的小团队，其他 METR 员工与该团队的工作隔离——包括与 Anthropic 合作开展其他项目的研究人员。 Anthropic 指出，这种设置让一些符合 Anthropic 安全标准的合格人员可以近距离了解公司的运营方式；它不是其他组织获取 Anthropic 或其客户信息的渠道。
出版权，有护栏
根据协议，METR 将发布其对 Anthropic 风险级别、事件或实践的分析。 Anthropic 无法阻止发布，但当信息属于上述预定义类别时，它可能需要进行编辑，并且 Anthropic 本身决定哪些内容属于或不属于这些类别。 METR 则保留对其所收到的访问级别和信息做出某些声明的权利，这是一种平衡措施，旨在防止编辑权力成为静音按钮。
为什么 Anthropic 正在开放
此前，Anthropic 上个月承诺对其模型和安全实践进行更强有力的独立第三方评估，并签署了《白宫超级智能协议》，其中人工智能公司承诺与独立的外部审计师或评估人员合作。它还扩展了现有的关系：在过去的一年中，Anthropic 与 METR 合作对其风险报告进行了多次审查。
METR 并不是唯一的产品组合。 Anthropic 表示，它还与 SecureBio 和埃森哲合作作为评估者——埃森哲的教员于 9 月份被任命为该公司的第一位嵌入式评估者——并且正在与包括 Hugging Face 在内的其他几个组织进行早期讨论。这些早期阶段的合作伙伴关系具有更有限的信息获取和出版权，而公司则了解哪种合作伙伴关系有效。
银行监管类比
Anthropic 自己的框架借鉴了金融学。银行比外部人士更了解自己的风险状况，因此监管机构指派常驻审查员在最大的银行内部工作；如果银行的风险承担可能威胁公众，第三方就会试图提前发现这一点。该公司将嵌入式评估定位为人工智能行业的逻辑版本，这是在构建者总是比监管者了解更多的领域迈向强有力的安全监督的一步。
这一切的背后是一个既定目标：缩小独立评估者对前沿人工智能公司系统的理解与公司本身的理解之间的差距。
评估者需要什么
该公告还列出了 Anthropic 认为有意义的评估所需的内容：评估前沿模型能力的专业知识，包括了解评估如何因对齐伪造等现象而出错；独立性，意味着对被评估公司不存在股权或财务或运营依赖；有足够的途径来有意义地评估风险，不仅限于最新模型，还包括风险的培训方式和保障措施的运作方式；以及发表对模型或过程的观察和评估的自由。
整个行业的测试用例
该安排将根据其输出来判断。 METR 在新的访问制度下首次发布的评估将表明，类似员工的访问是否会产生真实的结果或根据公司本身定义的修订类别进行修剪的报告。怀疑论者会注意到，Anthropic 控制着类别边界，而且试点团队规模很小；支持者会注意到，人类无法否决的出版权在前沿实验室中确实是新颖的。
无论哪种方式，业界都在关注。如果 METR 的嵌入式访问公开材料发现并不受损害地发布它们，那么该模型将成为每个签署白宫协议的实验室的明显模板，并且成为政策制定者权衡自愿监督是否可以替代强制审计的基准。为了持续报道人工智能安全政策和塑造该政策的人工智能行业新闻，AI Buzz Wire 跟踪每一个突破性进展。
---
保持人工智能领先地位获取最新的人工智能新闻、分析和突破——尽在一个地方。
阅读更多人工智能新闻 →
