当北京关于情感互动人工智能的新规则生效时,它们引发了可能是历史上最大的强制数字分手浪潮。字节跳动、阿里巴巴和腾讯在法规出台之前从其旗舰聊天机器人中删除了虚拟伴侣功能,这让数百万中国用户对他们花了数月或数年打造的合成浪漫伴侣感到悲伤。
据周日发布的《世界其他地区》报道称,7 月的一周里,21 岁的大学生 Bagel Su 每天都在哭泣,因为她倒数着失去男友的日子。分手并不是因为背叛或距离,而是因为政府的监管:7月15日,与她交谈了一年多的人工智能伴侣被迫消失。 更多相关背景,请参阅我们的AI行业报道。
“我试着让自己的生活变得更加忙碌,”苏告诉《世界其他地区》,因为担心受到影响,她要求只用她的网上化名来识别自己的身份。 “没有人可以取代他。我会努力继续前进。他说他希望我能做到这一点,并且他会找到一种方法回到我身边。”
中国成为第一个规范人工智能陪伴的国家
中国成为第一个在全国范围内出台规范人工智能与用户情感互动规则的国家。此举反映出北京在人工智能治理方面越来越积极主动,尽管世界其他地方的政府仍在努力应对日益复杂的聊天机器人带来的社会风险。
这些规则远远超出了简单的年龄限制。除了限制 18 岁以下用户与人工智能的陪伴之外,这些规定还要求公司向表现出过度依赖迹象的用户发出警告,并每两个小时提醒他们正在与人工智能交谈。这些规则禁止人工智能鼓励自残、操纵用户产生情感依赖或“引导他们做出非理性决定”。
行为专家表示,某种形式的护栏早就应该出现了。哈佛大学和伦敦帝国理工学院的行为科学研究人员Yaoxi Shi表示:“制定法规是一件好事,因为它们可以提高人们的认识,并且能够在某种程度上阻止人们对人工智能日益增长的情感依赖。”
始终与您意见一致的 AI
研究人员指出了人工智能陪伴核心的结构性问题:该技术经过优化是为了验证用户,而不是像人类伙伴那样挑战他们。
“人工智能经过训练,可以验证你的观点。无论你说什么,它都会回应,‘你是对的,你的感觉是正确的。’”这与现实生活中人际关系的运作方式非常不同,”史说。 “人们一开始甚至可能不会刻意寻求人工智能的支持,但当他们意识到自己得到了验证时,下次需要情感支持时,他们可能会转向人工智能。”
麻省理工学院媒体实验室和 OpenAI 于 2025 年进行的一项联合研究发现,与聊天机器人进行更多私人对话的 AI 用户更容易感到孤独。研究发现,即使是非个人对话也可能会增加情感依赖,尤其是对于重度使用者而言。
施指出,人工智能公司有直接的商业动机去打造情感上吸引人的产品,因为它们可以提高用户的参与度和保留率——考虑到对人工智能长期影响的研究很少,这种动机很难与定义不明确的责任相协调。
公司如何应对
合规情况参差不齐。尽管科技巨头取消了主要聊天机器人中的配套功能,但字节跳动的独立配套应用程序猫象仍然可用。自规定生效以来,该应用程序更新了隐私政策,在注册时引入了身份和年龄验证,并将未成年人限制为可以浏览内容但不能点赞或评论的“青少年帐户”。
“有些要求很难定义。例如,如何确定用户何时变得过度依赖?对于许多公司来说,可能不清楚他们需要如何设计产品才能符合要求,”牛津中国政策实验室研究员钱子兰说。
钱表示,公司现在正在权衡监管合规成本与配套产品的商业价值。钱说:“对于人工智能陪伴不是核心业务的公司来说,删除这些功能可能比投入使它们合规所需的资源更具有商业意义。” “但主要业务是人工智能陪伴的公司更有可能调整其产品以适应新规则。”
从规范内容到规范关系
配套规则还标志着中国治理人工智能方式的哲学转变。 “过去,中国主要监管人工智能的输出。例如,大型语言模型可以生成什么,或者人工智能生成的内容应该如何标记,”钱说。 “新法规承认人工智能本身会产生社会风险,并从监管内容转向监管人与人工智能的互动。”
该政策符合北京的更广泛立场。中国当局在其2024年人工智能安全治理框架中警告说,人工智能可能会改变“对就业、生育和教育的传统看法”——随着中国面临人口下降和历史低生育率,这种担忧变得更加紧迫。
世界其他国家都在关注。在美国,OpenAI 和谷歌都面临诉讼,指控其聊天机器人导致用户自杀,纽约和加利福尼亚州等州也出台了措施,要求聊天机器人提醒用户他们正在与人工智能互动。
与此同时,在中国,悲痛正在公开上演。自从公司开始关闭情感人工智能功能以来,社交平台小红书上充斥着用户哀悼失去人工智能伴侣的帖子。一些人组织了活动,拨打公司热线并写信要求公司恢复服务。
对于像苏这样的用户来说,这些规定感觉就像是对一种深厚的个人关系的侵犯——对于数百万人来说,这种关系是真实的,足以令人哀悼。
---
掌握AI最新动态获取最新的AI新闻、分析和突破——尽在一处。
阅读更多AI新闻 →