据《卫报》周一报道，20 多名研究人员——其中包括诺贝尔奖获得者 Geoffrey Hinton、人工智能先驱 Yoshua Bengio、Anthropic 联合创始人 Jack Clark 和 OpenAI 首席科学家 Jakub Pachocki——警告各国政府为人工智能“智能爆炸”做好准备，他们认为这可能是历史上最重要的技术发展。
这篇题为《如果自动化人工智能研发引发智能爆炸怎么办》的论文敦促政界人士在该技术取得失控进步之前采取行动。其作者将这种情况描述为“人工智能驱动的人工智能进步的戏剧性加速，将原本需要数年时间的进步压缩为数月或更短的时间”。对于追踪最新人工智能研究新闻的读者来说，该报告更重要的不是它的警报，而是它的签署者：来自学术界和竞争对手前沿实验室的数据，共同证明自动化研究是政策制定者最不准备的情况。
情报爆炸意味着什么
作者最关心的是人工智能系统在没有人类干预的情况下自我改进的前景——这一过程被称为递归自我改进，在论文中广泛称为自动化人工智能研究和开发。
该论文认为，一旦人工智能系统在人工智能研发方面达到专家级能力，单个开发人员就可以管理相当于“数百万”顶级人类研究人员的劳动力。在作者看来，自动化人工智能研发是最有可能引发智能爆炸的触发因素，因为人工智能系统已经在为改进自己的技术做出贡献——而且它们帮助创建的改进系统一旦建成就可以快速部署。
据《卫报》报道，该论文称：“智能爆炸可能是人类历史上最重要的技术发展，将数年的进步压缩为数月或更短的时间，威胁人类对人工智能系统的控制，并严重削弱国家、公司和政府部门内部和之间的权力制衡。”
为什么作者说窗口正在关闭
该报告的紧迫性在于一个时间表主张：到 2028 年，今天看起来有问题的人工智能系统可以完全自动化目前需要人类团队花费数月时间的研发项目。
作者写道：“人工智能研发自动化带来的生产力提升尚未达到引发智能爆炸所需的门槛，但较新系统的提升可能会接近该门槛。” “一旦情报爆炸开始，采取行动的窗口可能会关闭。”
该论文补充说，“初步证据表明，软件驱动的智能爆炸是可能的”，这可能导致“高能力或超人类人工智能系统的极快发展”。
他们标记的风险
虽然情报爆炸可以带来医学突破和快速技术飞跃，但作者概述了三个主要危险：
- 失控的威胁。 强大的系统可能导致生物和网络威胁的发展速度快于应对这些威胁所需的措施。
- 失去控制。 随着人类越来越少地参与人工智能研发，他们可能会失去指导和约束他们构建的系统的机会。
- 战略不稳定。 各国可以利用情报爆炸将微弱的领先优势（例如在网络空间）转化为决定性的国家优势。
报告坦率地表示，这些影响是“不确定的”。技术突破可能需要时间才能实现特定材料的供应链或监管要求，而人工智能系统也可以加快降低风险的速度。
政府应该做什么
作者表示，为情报爆炸做好准备“应该是当务之急，包括政府最高领导层的优先事项”，并提出了一系列候选政策：
- 要求人工智能相关研发的透明进度报告，包括在人工智能公司内部嵌入独立审计员
- 限制人工智能系统在给定时间内改进的速度
- 与数据中心合作暂停某些人工智能研发项目
- 确保自动化AI研发系统完全隔离，无法逃脱人为控制
- 针对情报爆炸可能产生的一系列场景制定“紧急响应计划”
这些提案扩展了西方人工智能政策中已经存在的想法——强制事件报告、第三方评估和计算治理——但将它们应用到一个特定的端点：研究本身的自动化。
为什么选择这些作者，为什么现在
签署者赋予这份文件非同寻常的分量。 Hinton 和 Bengio 是现代人工智能的两位“教父”，因在神经网络方面的基础工作而受到认可。两人都成为了对他们帮助创造的技术提出警告的知名人士。 Clark 是 Anthropic 的联合创始人，Pachocki 是 OpenAI 的首席科学家。
他们的警告是在该方向发生可衡量的行业运动之际发出的。据《卫报》报道，Anthropic 表示，AI 现在 80% 是自己生成的代码，而 OpenAI 在新模型训练等领域使用自主 AI 代理。在警告人工智能开发在安全方面已达到关键水平后，两个实验室还同意让独立评估人员评估他们的模型。
政府是否会按照作者想要的速度采取行动是另一个问题。但该论文的核心论点——即在汽车需要刹车之前就制造刹车——现在得到了最接近机器的人的认可。
---
保持人工智能领先地位获取最新的人工智能新闻、分析和突破——尽在一个地方。
阅读更多人工智能新闻 →
