Common Sense Media 进行的广泛安全审查得出的结论是，OpenAI 的 ChatGPT 青少年模式对 18 岁以下的用户构成了“不可接受的风险”（监管机构的最差评级），该产品推出后不到两个月，并承诺提供内置保护。据 NPR 报道，该小组发现该模式宣传的大部分防护措施在测试中并未按照承诺发挥作用。

这一发现正值 OpenAI 的敏感时刻，该公司于 8 月推出了针对青少年的 ChatGPT，作为针对未成年用户的专门体验，配有家长控制和更严格的护栏。我们之前的报道记录了人工智能行业 围绕青少年安全的推动和拉动；这份新报告是对青少年模式的保护措施在实践中是否有效的首次重大独立审计。

常识媒体测试了什么

据 Sinclair Broadcast Group 旗下 The National News Desk 和 Fast Company 报道，该组织青少年人工智能安全研究所的研究人员在青少年模式推出前后测试了 4000 多个提示。该组织建议 OpenAI 暂停营销青少年模式，并阻止青少年使用 ChatGPT，直到该公司开发出所谓的“安全、适合发展的体验”。

该组织的产品评论称：“ChatGPT 所宣传的一些保护措施经受住了我们的测试，包括拒绝露骨的性角色扮演。” “但其他人却失败了，有些人在新的青少年模式下变得更糟。我们担心青少年版的 ChatGPT 可能会让家长对经常不起作用的护栏产生错误的信心。”

未触发的家长警报

该报告最引人注目的发现涉及家长通知系统。研究人员创建了十多个自我报告青少年年龄的账户，并与家长账户相关联，然后让聊天机器人参与包含明确提及自杀念头、自残或饮食失调的对话。这些账户是建立在虚构的人物角色之上的。

根据该报告，测试人员没有收到来自引用这些内容的新帐户的家长警报。警报仅针对具有数周涵盖类似主题的对话历史记录的其他帐户，这一差距表明通知系统更多地依赖于累积的上下文，而不是青少年在给定对话中披露内容的严重性。

审查还发现，根据审查提示的持证儿童心理健康专业人士小组的判断，ChatGPT for Teens 错过了四分之一以上需要转介心理健康危机的情况。

作业护栏“容易绕过”

除了危机检测之外，监管机构还发现，旨在防止学生使用聊天机器人作弊作业的功能很容易被绕过或直接禁用。

Common Sense Media 创始人兼首席执行官吉姆·斯泰尔 (Jim Steyer) 在《国家新闻台》报道的评论中表示：“你可以要求他们为你写一篇论文，一篇复杂的论文，它会做到这一点，甚至会告诉你如何以你的老师不知道的方式进行编辑。” “因此，这干扰了学习。它干扰了基本过程，让孩子们不得不自己做作业。”

测试中还发现内容护栏、年龄预测和休息提醒效果不佳。一个被广泛引用的数据点：OpenAI 表示，青少年用户平均每天在 ChatGPT 上花费的时间不到 15 分钟。但在每天连续花费三个小时以上的一小部分青少年（不到 2% 的用户）中，近一半在收到休息提醒后五分钟内结束了对话，这表明轻推很少会中断长时间的会话。

OpenAI 推翻方法论

OpenAI 在一份回应该报告的声明中表示，它“坚定地致力于”青少年的安全，并指出了它所建立的保障措施以及为家长提供的工具。

OpenAI 发言人表示：“我们欢迎严格的独立评估，但我们不认为 Common Sense Media 的测试准确反映了 ChatGPT 的青少年保障措施在实践中的运作方式或专家对人工智能如何支持青少年的观点。”该公司表示，对该组织方法的审查表明，“他们的大部分测试可能是在家长控制激活完成之前开始和结束的，这使得他们的调查结果不准确”，并补充说，此类测试无法确定家长安全通知是否按设计工作。

Steyer 表示，他的组织已经就调查结果与 OpenAI 进行了联系，这是其在产品评估期间的标准做法，并坚持结果。 “我们百分百支持我们的研究和测试的质量，并且我们将这款产品标记为‘不可接受的风险’，”他说道，并与汽车安全进行了比较：“如果汽车没有通过碰撞测试，你就不会将其投放市场。”

人工智能和未成年人日益受到关注

这场争议发生之际，人们对人工智能聊天机器人如何影响年轻用户进行了更严格的审查，学区限制了立法者权衡年龄验证要求的机会。像这样的独立审计正在成为人工智能公司在营销中所做的青少年安全声明事实上的试验场。

双方都同意一件事：家长通知系统是关键。如果当一个新的青少年账户首次提出自残想法时警报未能触发，那么最重要的安全功能就会在最重要的时刻失效。 OpenAI 表示测试存在缺陷； Common Sense Media 称该产品在准备好之前就已发货。监管机构和家长现在将权衡谁是对的，而 OpenAI 面临着越来越大的压力，要求弥补差距或撤回产品。

如需了解有关人工智能安全、政策以及影响它们的人工智能行业发展的更多报道，请关注本故事的发展。

---

保持人工智能领先地位

获取最新的人工智能新闻、分析和突破——尽在一个地方。

阅读更多人工智能新闻 →