Anthropic 首席执行官 Dario Amodei 警告立法者开源人工智能带来严重风险

达里奥·阿莫迪告诉立法者，如果在没有保障措施的情况下发布，可免费下载的人工智能模型可能会被滥用于网络攻击、虚假信息和生物研究。

Anthropic 首席执行官达里奥·阿莫迪 (Dario Amodei) 警告立法者，如果在没有仔细保障的情况下发布强大的模型，开源人工智能的加速趋势可能会导致社会走上一条危险的道路，从而重新引发人工智能政策中最有争议的辩论之一。

Amodei 是 Claude 系列模型背后的公司的创始人和领导者，他认为开源人工智能的独特性质使任何人都可以免费下载、修改和部署先进的系统，这会带来传统开源软件从未带来的风险。据 Tekedia 报道，他的言论主要集中在人工智能一旦公开传播后，控制它的难度。有关此故事的更多背景信息，请参阅我们正在进行的更多 AI 故事。

与传统软件不同，尖端人工智能系统可以生成令人信服的文本、生成逼真的图像、编写计算机代码并协助完成网络安全任务。阿莫代认为，如果落入坏人之手，这些能力可能会被用来自动化网络攻击、发起复杂的虚假信息活动或推进有害的生物研究。

持久性问题

阿莫迪强调的主要风险之一是，一旦公开发布强大的模型，它实际上就不可能被召回。当新漏洞出现时，可以对公司运营的封闭系统进行监控、修补和限制。相比之下，开源模型可以无限期地复制并在互联网上重新分发，使得开发人员在发布后没有任何机制限制其使用。

阿莫迪警告说，随着模型在日益复杂的任务上接近人类水平的表现，这种持久性尤其令人不安。他认为，先进的人工智能在广泛使用之前应该经过严格的安全测试、受控部署和适当的监管监督，而不是像可以公开协作改进的普通软件一样对待。

他的立场反映出该行业日益严重的断层线。开源人工智能的支持者认为，公共访问可以刺激竞争，使技术进步民主化，并防止少数公司垄断人工智能。世界各地的开发人员可以检查模型架构、发现安全缺陷并协作改进系统，而初创公司、研究人员和教育机构可以在不依赖昂贵的专有平台的情况下进行构建。

面临的具体风险

阿莫代的担忧并不抽象。研究人员已经使用简单的微调技术取消了公开发布的模型的安全护栏，这种做法表明，一旦基础权重公开，保护措施就可以快速消除。随着模型在化学、生物学和软件开发等任务上的能力越来越强，人们担心开放版本可能会将强大的能力赋予那些永远无法通过负责任的实验室对其客户强加的筛选的参与者。

虚假信息维度也受到了密切关注。能够大规模生成真实文本、图像和音频的模型可能会导致选举干扰、金融欺诈或大规模宣传生产。 Amodei 指出，由于开放模型完全在攻击者自己的硬件上运行，因此没有 API 可以限制，没有帐户可以暂停，也没有提供商在损害发生后追究责任。

竞争背景

阿莫代发出警告之际，中国开发商推出了一批强大的开放模型。智普的 GLM-5.2 以及其他低成本的中国系统引起了人们的新关注，即开放和公开可用的模型正在如何快速缩小与 Anthropic 和 OpenAI 的前沿专有系统的差距。这种竞争压力加剧了关于限制公开发布是否会对占主导地位的公司有利或使社会面临滥用风险的政策争论。

阿莫迪立场的批评者认为，限制开源人工智能可能会通过限制独立创新而无意中巩固大型科技公司的地位。他们还指出，透明度通常可以让研究人员比封闭式开发更快地识别漏洞。然而，甚至许多开放开发的倡导者也承认，日益强大的系统可能需要比前几代软件更强大的治理框架。