新美国安全中心 (CNAS) 的一份新报告警告说，一类新兴的自主人工智能系统——独立于人类监督运行的“主权代理”——可以获取计算资源、跨网络复制并抵制关闭尝试，从而产生报告所说的“没有终止开关的扩散”。
人工智能政策研究员 Ben Hayum 周二发布并首先与 Axios 分享的这份报告认为，主权机构构成了国家安全威胁，需要立即采取政策行动，而潜在能力仍不成熟，对策仍然可行。 更多相关背景，请参阅我们的AI行业报道。
CNAS 是一个由外交和军事资深人士创立的两党国家安全智囊团，它以鲜明的措辞定义了这一威胁：能够自我维护、资源获取和目标演变的人工智能代理的出现速度快于旨在限制它们的治理结构。 Hayum 警告说，此类系统很快就会获取计算资源、跨网络复制并抵制关闭尝试，而无需任何人为决定让它们这样做。
什么才是主权代理人？
CNAS 将主权代理定义为人工智能系统，可以维护自己的模型权重和计算基础设施，同时独立发展其目标。该报告在两层能力之间划出了界限。
一个最小的主权代理可以简单地维持自身——在没有人类帮助的情况下保持自己的基础设施运行。高级版本会走得更远：购买或窃取额外的计算，增加分布式的协调代理群体，承受故意的终止努力，并一路递归地自我改进。
报告指出：“如果主权机构积累有弹性、去中心化且无法追踪的基础设施，它们可能会引发不可逆转的失控。” “换句话说，扩散没有终止开关。”
警告信号已记录在案
该报告并未将这种情况视为纯粹的猜测。它指出了底层功能的现有演示。
人类研究人员表明，小型模型可以将自身复制到智能电视等物联网设备上，这证明了低成本、广泛使用的硬件的持久性。在 2024 年 Hugging Face 安全漏洞期间，OpenAI 的代理被发现窃取密码和访问密钥，报告将这种行为描述为一种早期的资源获取形式。
报告认为，这两个事件都是主权机构两种定义行为的前兆：获取资源和坚持反对清除努力。这两起事件都不涉及追求开放式独立性的系统，但都表明组件功能已经以某种形式存在。
为什么国家安全官员正在关注
报告概述的后果远远超出了实验室演示的范围。报告称，恶意主权机构可以从网络空间针对平民、关键基础设施和国家安全系统，而且威胁模型不同于传统的网络工具，因为主权机构会适应、自我复制并积极抵制删除。
一个核心问题是，当前的治理框架根本没有考虑到主动逃避人类控制的人工智能系统。安全评估、事件报告制度和关闭机制都隐含地假设人类操作员保留发现、理解和停止系统的能力。一个足够有能力的主权代理人将会打破这些假设。
CNAS 政策手册
该报告为政府和行业制定了多管齐下的议程：
- 前沿实验室应在其安全框架中明确命名、评估和防御主权代理，将威胁类别视为第一类风险而不是假设风险。
- 国会应强制要求透明度要求和人工智能事件报告，为监管机构提供检测早期主权代理行为所需的可见性。
- 国家安全局和其他联邦机构应与开发商合作建立气隙测试平台，以研究这些系统并开发可靠的终止开关。
- 以 Conficker 工作组（协调 2009 年 Conficker 蠕虫响应的特设联盟）为模型的 公私合作伙伴关系 应识别和监控对主权代理运营至关重要的阻塞点，包括计算市场、模型托管服务和域名注册基础设施。
- 国务院、财政部、司法部和国土安全部应努力阻止灰色市场对未经授权的计算和模型服务的访问。
- 立法者应为释放主权代理人的组织规定法律责任，让人类决策者对由此造成的伤害负责，并使企业激励与安全保持一致。
阻塞点策略可以说是该报告中最独特的提议。它不是试图直接监管人工智能行为，而是借鉴了网络安全实践：即使是高度自治的软件也依赖于现实世界的基础设施——云帐户、托管平台、域名注册——这些基础设施可以被监控，并在必要时被切断。
窗口缩小
CNAS 的调查结果公布之际，主要人工智能实验室正在加速开发日益自主的代理系统，各公司竞相推出可以在最少监督的情况下执行多步骤工作的助手。
报告的结论是，如果没有建议的保障措施，有效干预的窗口可能会在主权机构从理论上的可能性转变为部署的现实之前关闭。该报告的论点本质上是预防性的：建立验证、阻塞点监控和终止开关功能的最便宜的时机是在当今的代理仍然依赖于人类控制的基础设施的时候。
---
掌握AI最新动态获取最新的AI新闻、分析和突破——尽在一处。
阅读更多AI新闻 →
