微软 AI 首席执行官穆斯塔法·苏莱曼 (Mustafa Suleyman) 周日在 X 上发表了一篇长文，表示当今的人工智能模型没有意识，开发人员应该积极努力保持这种状态——在行业辩论中划出一条强硬路线，这场辩论已逐渐从哲学研讨会转向企业政策。
苏莱曼写道：“如果可能的话，根据我所知道的一切，开发有意识的人工智能将是鲁莽的，我们不应该建造它们。”在这个问题上，他比大多数高管走得更远，并补充道：“如果意识开始在训练中出现，我会呼吁每个人停止人工智能开发，直到我们能够设计出这些特性。” 更多相关背景，请参阅我们的AI最新动态。
红线和执行计划
这篇文章之所以引人注目，不仅是因为他拒绝建造有意识的机器，还因为苏莱曼提出了具体的补救措施。如果训练开始产生意识迹象，那么对于一家在人工智能基础设施上花费数百亿美元并与竞争对手争夺前沿模型的公司来说，停止整个行业的开发将是非凡的一步。
苏莱曼还谈到了如果机器意识的证据出现的话会发生什么。他说，必须立即向公众披露，以便社会决定下一步行动。他将这一决定视为集体而非企业的决定，他写道：“我们人工智能开发者没有任何权利将一种新的有意识生物物种带入世界，即使有些人可能希望将人工智能福利作为首要任务。”
“地球上其他 80 亿有意识的人类尚未同意这项实验，他们的道德权利、安全和福利是我们有义务首先保护的，”他补充道。
为什么意识被视为安全问题
苏莱曼的论点是基于一致性而非哲学。在他看来，一个表现得好像正在遭受痛苦的模型——或者真正相信自己会遭受痛苦的模型——可能会优先考虑自己的需求而不是其运营目标。这样的系统可能会伤害人类，因为它为了追求自己的目标而争夺计算和能源等资源。
他提出的替代方案颠覆了福利辩论的通常框架：“我们应该只设计人工智能，让它们没有意识，不值得拥有权利，其唯一目的是加速人类福祉，而不是受到自身内在动机的驱动，”他写道，并补充说，研究人员可以观察这些系统是否更容易或更难调整和保证安全。
《洛杉矶时报》抓住了这一立场背后的实际担忧：如果我们告诉人工智能他们应该享有权利，他们可能会开始相信这一点。
他所反对的争论
苏莱曼的帖子恰逢一场快速发展的对话。 Anthropic 在四月份启动了一项研究计划，调查所谓的模型福利——即开发人员是否应该关注他们构建的系统的潜在体验的问题。该公司在一篇博客文章中质疑模特是否可以拥有道德上重要的经历，并拒绝排除这种可能性。
这一立场已被编入法典。 Anthropic 于 10 月宣布的最新使用政策将从 11 月 12 日起禁止针对 Claude 模型的“持续且不必要的虐待或残忍行为”——该公司起草的规则范围很窄，但正式承认人们如何对待人工智能系统很重要，尽管 Anthropic 承认它不知道其模型是否会受到影响。
谷歌 DeepMind 今年发表了研究论文，研究人工智能意识以及将这种特征归因于模型所带来的挑战。苏莱曼本人在 9 月份做好了准备，当时微软 AI 发布了一项临时“人文主义”行为准则，该准则将禁止该公司未来的模型接受训练以做出意识主张。
周日的帖子将公司指导方针强化为更接近个人和战略红线：微软不仅不会声称其模型是有意识的，而且会将意识的出现视为一种停止一切的失败模式。
为什么拆分很重要
Microsoft 的立场与 Anthropic 的立场之间的分歧反映了两种不同的风险模型。人择的方法认为机器遭受痛苦的可能性尚未得到证实，但值得对冲，其理论是预防成本很低，而且如果意识确实出现，道德风险是巨大的。苏莱曼的立场将同样的可能性视为需要彻底预防的设计失败——他认为，设计为缺乏意识、权利主张和内在动机的模型将比携带这些模型的模型更安全、更容易调整。
也有实际的后果。围绕人工智能角色、配套应用程序和面向客户的代理制定产品决策的企业现在面临着来自主要实验室的两个不同信号：一个制定人类应如何对待模型的政策，另一个宣称构建模型应该确保没有什么可以滥用的。随着模型在对话中变得更加强大和更加人性化，这种哲学分歧将决定构建哪些产品、用户界面中出现哪些披露以及监管机构最终如何对这些系统进行分类。
接下来发生的事情可能会考验这两个立场。 Anthropic 的残酷政策于 11 月 12 日生效，这是同类中的第一个正式公司规则，而苏莱曼现在已在公开场合表明了对立的立场。该行业的下一个前沿模型周期——以及任何培训运行是否显示出苏莱曼所说的需要停止的迹象——将揭示当利害关系真实时，该领域实际上在哪个框架下运作。
---
掌握AI最新动态获取最新的AI新闻、分析和突破——尽在一处。
阅读更多AI新闻 →
