教皇利奥十四世在梵蒂冈科学家和人工智能专家会议上表示，人工智能系统是“工具，而不是人”，警告不要授予人工智能代理合法权利，并敦促下个月在日内瓦召开的各国政府禁止致命的自主武器。
该演讲是向“人工智能的未来：梵蒂冈与科学界关于智能技术的发展和应用的对话”的与会者发表的，该会议由罗马教皇生命学院和生命未来研究所联合组织。教宗表示，来自不同国家的与会者“对人工智能的发展都有一定的不安感。我们认识到我们应该走的方向，但在前进方面做得还不够。”
机器是工具，而不是人
演讲中最清晰的一句话针对的是一个在科技行业和法律学院部分领域受到关注的想法：将法人资格（或权利）扩展到先进的人工智能系统。教皇利奥则持相反的观点。他说，机器没有经验、身体、感情或关系，也不理解爱、工作或责任。
他承认，有些人建议赋予这些系统权利或法人资格，但这样做可能会“掩盖人类责任，让那些遭受伤害的人面对一个不露面的实体”。这一评论发表在人工智能代理自主经营业务、谈判合同并代表用户行事的同一时期，引发了关于自主系统造成损害时责任的真正法律辩论。 AI Buzz Wire 正在跟踪这一政策和其他人工智能政策的发展。教皇的框架将问题带回到系统背后的人类身上：如果人工智能代理造成损害，那么有脸的人必须为此负责。
“解除”人工智能的武装：自主武器禁令
教皇的第三个考虑因素——某些决定绝不能委托给机器——用鲜明的例子来说明：将一个人列入目标名单或边境控制数据库，将其简化为“一个数据点”。他援引了前任教皇方济各在 2024 年向七国集团领导人发表的讲话，方济各在讲话中将人工智能描述为“一种令人兴奋和可怕的工具”，并坚称任何机器都不应该能够选择夺取人类的生命。
教皇利奥说：“影响人类生命、自由和使用武力的决定必须始终受到有效、知情和负责任的人类监督。”他认为，这就是为什么人工智能必须“解除武装”，并且他明确鼓励 11 月份在日内瓦召开的各国会议采取措施禁止致命的自主武器。多年来，外交官们一直在努力就自主武器的约束性规则达成一致。教皇的直接呼吁为主要由民间社会运动和相关国家集团推动的谈判进程增添了道义分量。
Magnifica Humanitas 的五个考虑因素
此次讲话围绕教宗在其通谕《人道颂赞》中提出的五个考虑因素进行组织：
1. 人工智能的未来不是预先确定的。 既然人类发展了人工智能，它的未来就取决于人类的选择。教宗说：“我们有责任引导、改变，并在必要时拒绝其申请。”正确的问题不是“人工智能能做什么？”但“它应该达到什么目的？”
2. 机器是工具，而不是人。 上面的人格警告。
3. 某些决定永远不能委托。 影响人类生命、自由和武力使用的决定需要有效、知情、负责任的人类监督。
4. 智能技术必须服务于共同利益。它们“绝不能成为自身的目的或仅仅服务于少数特权者的利益”，并且应该公平地分配进步的好处。
5. 需要建立机构来使道德规范付诸实施。 被描述为潜在的最紧迫的挑战：世界需要“共享标准、独立监督和明确的问责机制，以便能够审查有关人工智能开发和使用的决策，并在必要时提出质疑，并对造成的任何伤害采取适当的补救措施。”
为什么它在梵蒂冈之外很重要
梵蒂冈已悄然成为人工智能治理方面声音较为一致的机构之一。罗马教皇生命学院与微软、IBM、粮农组织和意大利政府于 2020 年 2 月签署的《罗马人工智能伦理呼吁》就源于这个生态系统，教皇生命学院多次召集生物伦理学和机器决策方面的技术专家。与未来生命研究所（关于前沿模型风险的公开信背后的人工智能安全组织）共同组织，标志着我们继续努力在宗教和世俗人工智能道德社区之间架起桥梁。
对于政策制定者来说，日内瓦呼吁是具体的收获：随着自主武器谈判的恢复，梵蒂冈希望制定具有约束力的禁令，而不是自愿的指导方针。对于人工智能行业来说，关于人格的信息是一条明确的界限——无论自主代理变得如何，道德和法律责任仍然由构建和部署它们的人承担。
