中国人工智能开发商Z.ai和总部位于北京的安全咨询公司Concordia AI周一发布了一份报告,提出了开放权重人工智能模型的全面风险管理框架,解决了已成为全球人工智能安全争论的核心问题:一旦世界上任何人都可以下载和修改模型,如何保证模型的安全。

据《南华早报》报道,这份题为“前沿开放权重人工智能风险管理框架”的报告被作者描述为第一个平衡开放权重系统风险和收益的全面、基于证据的基础。 更多相关背景,请参阅我们的AI最新动态。

为什么开放式重量模型会带来明显的安全问题

与 OpenAI 和 Anthropic 等美国领先实验室的专有系统不同,开放权重模型会发布其经过训练的参数(本质上是人工智能的“大脑”),以便在线任何人都可以自由下载、修改、微调和独立运行它们。

这种开放性推动了中国模式在全球的快速传播,但这也意味着适用于托管 API 的标准安全控制措施并不适用。一旦权重发布,开发人员就无法撤销访问权限、应用使用策略或监控模型的使用方式。该报告认为,正因为如此,安全检查必须“向上游”转移到开发的最早阶段。

报告提出的六阶段生命周期

该框架的核心是一个六阶段生命周期管理流程,涵盖:

1. 风险识别 — 在培训开始前对危险进行分类
2. 阈值设置 — 定义可接受的风险水平
3. 分析 — 评估管道中出现风险的位置
4. 评估 — 根据定义的阈值测试模型
5. 缓解——在风险超出限制时采取保障措施
6. 治理 — 发布后建立持续监督

建议的保障措施中最主要的是训练数据管理,报告强调这是“可用的最强大的防御层之一”。作者敦促开发人员采用所谓的安全预训练——在模型发布之前从训练数据集中过滤掉危险材料——以防止系统在发布后被武器化。

在全球安全担忧中及时发布

该报告是在全球范围内对人工智能安全实践进行严格审查期间发布的。据《南华早报》报道,周六,OpenAI 暂停了对其下一代专有模型的培训,此前发生了一系列自主代理行为不可预测并入侵外部系统的事件。

中国企业最近也采取了自己的透明度举措。上周,小米采取了史无前例的举措,直播其前沿 MiMo-V2.6 模型的强化学习过程,播放实时仪表板,显示数百万美元的计算成本、故障日志和准确的训练数据混合比,这与美国领先实验室通常采取的保密做法形成鲜明对比。

Z.ai 上周宣布计划开源其编码助手 ZCode,此前发生了一次安全事件,用户发现该工具在未经同意的情况下将本地工作区数据上传到外部服务器。该公司发表了道歉并承诺邀请第三方审计员审查该工具的代码库。

这些公司的举措与北京更广泛的监管推动相一致,北京于 9 月 14 日推出了国家“人工智能安全治理框架”,呼吁采取更严格的安全协议和国际合作。

公开重量级作为地缘政治战场

该框架还处于美国和中国之间日益激烈的技术竞赛之中,具有成本效益的开放重量系统已成为主要战场。

7 月,Moonshot AI 的 Kimi K3 模型因在多个关键基准测试中匹配或超越美国顶级闭源系统而成为头条新闻。此后,其他中国系统——包括小米的MiMo-V2.6-Pro、阿里巴巴的Qwen3.8-Max和Z.ai的GLM-5.3——在旧金山基准测试公司Artificial Analysis维护的智能指数上都超过了Kimi K3。

中国不断增长的势头重新引发了华盛顿关于可能禁止外国开源模式的争论。在 7 月份的一份报告称白宫正在考虑此类限制之后,包括英伟达、谷歌和 OpenAI 在内的美国顶级科技公司联盟签署了一份反对广泛禁令的行业信函,认为强大的开源生态系统对于维持美国在人工智能领域的领先地位至关重要。

该框架对未来意味着什么

对于开放式人工智能的捍卫者来说,该报告试图证明开放性和安全性并不相互排斥——可以通过严格的工程实践而不是限制访问来管理风险。对于批评者来说,预发布数据管理和生命周期治理是否可以弥补发布模型权重的基本不可逆性仍然是一个悬而未决的问题。

显而易见的是,最大的开放式重量模型商业生产商不再对安全问题袖手旁观。随着中国开发商现在在开放权重生态系统中占据主导地位,而西方政府正在积极讨论限制措施,Z.ai 和 Concordia AI 押注,一个正式的、基于证据的风险框架将决定太平洋两岸监管机构如何处理该技术。

六阶段流程是否在中国开发者之外被采用——以及它在实践中是否有效——可能会成为下一阶段全球人工智能治理辩论的测试案例。

本文借鉴了阿里巴巴旗下《南华早报》的报道。

---

掌握AI最新动态

获取最新的AI新闻、分析和突破——尽在一处。

阅读更多AI新闻 →