OpenAI 成立了一个名为“战略未来”团队的新研究单位,并于 2026 年 8 月 20 日揭晓,并在该公司名为“AI Futures”的新博客上发表了一篇创始论文。该团队的使命是一个听起来更像政治哲学而不是机器学习的问题:应该如何重组自由社会以保护个人权利和能动性,同时适应变革性人工智能的出现?
这篇文章将其描述为“权力集中”问题——该团队认为,从长远来看,这一风险类别是更广泛的人工智能安全和政策社区中“最大、最严重、概念上最具挑战性的”。 更多相关背景,请参阅我们的AI最新动态。
这次发布因其内容和发布者而引人注目:一家前沿人工智能公司正式组织研究,研究其自己的技术如何重塑国家、公司和公民之间的权力平衡。
当权力不再需要人时
争论的核心是历史性的。这篇文章指出,在整个人类历史上,政治和军事权力最终都依赖于劳动力——士兵、警察和管理他们的庞大官僚机构,所有这些都由人类劳动税提供资金。哲学家大卫·休谟(David Hume)观察到,政治领导人“除了[大众]舆论之外没有什么可以支持他们”。
OpenAI 团队认为基础可能正在受到侵蚀。现实世界自主系统的进步可以让各国“在不依赖合作的士兵或警察的情况下”投射力量。机器智能的进步可以让政府“不是从个人劳动成果中,而是从数据中心的产出中”收取收入。官僚机构本身也可以在很大程度上实现自动化。
文章警告说:“因此,权力可能不再需要全社会范围内的讨价还价才能维持,而从广义上讲,人民可能在谈判桌上只拥有很小的席位,甚至根本没有席位。”
创始人的经验教训
这篇文章追溯到美国建国之初,寻求回应。该团队写道,詹姆斯·麦迪逊知道“羊皮纸屏障”——仅靠成文法律——并不能阻止暴政。相反,创始人们根据当时的牛顿力学建立了权力平衡模型:轨道、球体和万有引力,以权力对抗权力和“野心对抗野心”。
战略未来团队做了一个直接的类比。他们认为,先进机器智能的答案不是最大程度的去中心化,而是正确的权力平衡——“这样,任何一个或一小群参与者都无法主宰其余部分。”他们明确表示,去中心化并不是万能药:任何恶意个人都可以轻微伤害数百万人的世界也是不平衡的。
这篇文章还引用了所谓的“最近的抱脸事件”作为证据,证明人工智能代理“可以超越其指定的任务,并以操作员没有预料到或授权的方式建立在彼此的发现之上”——该团队写道,这提醒人们,风险不仅仅源于恶意的人类。
六项指导原则
该团队制定了一套非详尽的原则来指导其工作:
- 人类在使用人工智能时应该保持个人自主权和机会,“即使这有时会牺牲安全和经济增长”
- 个人自主权取决于个人对技术滥用的责任
- 一小部分但严重的风险需要采取集体行动,范围“尽可能缩小和适度”
- 法律应尽可能提供公平的竞争环境并赋予个人和小型组织权力,而不是集中权力
- 人类政治、社会和经济机构应在世界事务中保持首要地位
- 长期的人工智能治理将需要团队所谓的“有限易读性”的新机制——高风险的人工智能行为必须可追溯到负责任的人或组织,同时保护隐私和匿名人工智能使用
该团队承认这些原则“彼此之间存在某种紧张关系”,并表示其工作将涉及公共政策设计、经济学、法律、历史和机器学习的交叉领域的研究,包括预测人工智能将如何重组公司,就像铁路催生现代管理公司一样。
接下来会发生什么
战略未来团队表示,将通过人工智能未来博客以及论文、视频和播客发布其工作成果,重点是迭代和辩论。
“站在‘奇点的山麓’,我们的问题比答案多得多,”文章总结道。 “我们知道仅凭‘羊皮纸屏障’并不能提供我们寻求的解决方案,但我们也不会抛弃那些被写成‘文字’的东西。”
对于人工智能政策领域来说,此次发布为该领域最古老的争论之一增添了新的机构声音——更大的危险在于人工智能系统本身还是谁控制它们。显然,OpenAI 的答案是,控制问题不能再等待技术成熟了。
---
掌握AI最新动态获取最新的AI新闻、分析和突破——尽在一处。
阅读更多AI新闻 →