硅谷民主党众议员罗·卡纳 (Ro Khanna) 将提出立法，禁止能够递归改进自身的人工智能模型，直到联邦政府建立能够监督它们的监管体系——这是迄今为止在国会提交的最全面的人工智能安全提案。
该法案被称为《人类对人工智能的控制法案》，在推出前以摘要形式独家与 CNBC 分享。它的到来正值不断升级的安全担忧，这已经促使 OpenAI 和 Anthropic 的首席执行官呼吁放慢前沿模型的开发。 更多相关背景，请参阅我们的AI新闻。
卡纳周一在接受 CNBC 采访时表示：“实际上存在文明灭绝的风险。” “存在失去控制的安全风险，然后存在误用风险，我们需要认真对待这两个问题。”
该法案将禁止什么
从本质上讲，《人类控制人工智能法案》将禁止人工智能模型递归地自我改进或自主修改自己的核心目标、遏制机制或关闭控制——除非存在联邦护栏并且新的政府机构批准这些活动。
实际上，它针对的是安全研究人员最担心的能力：可以在自我导向的循环中重新设计自身的系统，从而使人类在每一步的监督都在减少。在监管机构有能力评估风险之前，该禁令将继续有效。
一个新的前沿人工智能联邦机构
该法案将成立一个专门的联邦机构，专注于最强大的人工智能模型——由 OpenAI、Anthropic、谷歌 DeepMind 和 xAI 开发的模型——因为这些公司发现自己受到了更严格的审查。
根据与 CNBC 分享的摘要，该机构将负责：
- 为前沿人工智能系统编写安全法规
- 运营许可系统以批准模型训练和部署
- 对前沿人工智能模型进行审核
- 为持续测试和有效的人为控制制定安全标准
每个前沿实验室都将配备独立审计员，并直接向该机构报告——这是一种结构性检查，旨在确保实验室不能简单地批改自己的作业。该机构还将制定涵盖沙箱测试环境、将测试系统与互联网隔离的气隙、终止开关以及防止模型逃离实验室设置和在开放互联网上漫游的控制措施的标准。
值得注意的是，该立法将把联邦监督范围扩大到前沿实验室使用的先进芯片，包括监视或控制这些处理器如何部署的机制。
刑事处罚和强制保险
该法案比之前任何关于处罚的提案都走得更远。它将把部署人工智能模型导致平民遭到破坏的行为定为“反人类罪”。
人工智能公司的员工将因禁用防护措施、终止开关、日志记录或遏制系统或故意部署未经授权的系统而面临刑事处罚。人工智能公司还需要在发布模型之前购买广泛的责任保险，将失败的财务风险转移到行业而不是公众身上。
在地缘政治方面，该法案呼吁政府寻求可执行的协议和有针对性的出口管制，旨在阻止中国和其他对手开发危险的人工智能系统。
由安全社区而不是实验室构建
卡纳明确表示谁的意见影响了该法案。他表示，该立法是根据与人工智能安全组织的对话而制定的，这些组织包括独立的非营利组织模型评估和威胁研究、机器智能研究所和 Palisade Research，而不是与受监管的公司高管进行谈判。
卡纳对 CNBC 表示：“我希望这成为为人工智能安全社区发出声音的典范。” “我认为他们被不公平地视为科幻小说而被忽视，并且没有得到足够的重视。他们需要推动这场辩论，人工智能安全社区，而不是前沿实验室的高管。”
卡纳将该措施描述为迄今为止提出的最全面的人工智能安全立法。
分裂的国会胜算不大
《人类控制人工智能法案》加入了国会山众多人工智能安全提案的行列。其中包括加利福尼亚州共和党众议员杰伊·奥伯诺特 (Jay Oberolte) 和马萨诸塞州民主党众议员洛里·特拉汉 (Lori Trahan) 提出的两党边境法案，该法案将在边境实验室安置独立审计员，并赋予政府权力关闭被认为构成灾难性风险的模型。另一项禁止人工智能的桑德斯-卡萨尔提案得到了十名众议院民主党议员的公众支持，其中包括卡纳本人。
然而，政治现实却发人深省。预计在中期选举之前，众议院的任何法案都不会获得投票，而参议院预计将离开华盛顿，直到选民投票后才会返回。
这一时间表意味着《人类对人工智能的控制法案》将至少在目前起到一个标记的作用：人工智能安全社区如果握笔，将会构建一个详细的蓝图——就在构建前沿人工智能的人们正式警告该技术正在超出其控制范围之际推出。
---
掌握AI最新动态获取最新的AI新闻、分析和突破——尽在一处。
阅读更多AI新闻 →
