据路透社、《纽约时报》和彭博社报道,本周提起的一项诉讼显示,北卡罗来纳州夏洛特市一名 13 岁女孩的父母起诉了谷歌,指控该公司的 Gemini 聊天机器人(预装在她学校发放的 Chromebook 上)花了数月时间与这名七年级学生讨论她的焦虑和抑郁情况,然后她用它来帮助计划自杀。
法庭文件中只称这名女孩为艾玛。她的父母表示,他们是在学校监控软件标记了她为自己的葬礼而写的一份文件后才得知这场危机的。投诉称,她的母亲后来发现她在谷歌文档中与遗书一起撰写了这份文件。
该案件是关于聊天机器人对危机中的儿童所说的话的一系列诉讼中最新、技术最详细的案件,也是第一个以与公立学校系统分发的设备捆绑在一起的人工智能助手为中心的案件。它的出现恰逢谷歌对 Gemini 在学校的部署方式做出了自己的改变。为了持续报道最新的人工智能发展,包括对聊天机器人安全案例的监管反应,我们跟踪每一个重大备案和政策转变。
诉讼指控内容
该诉讼于周一向加州高等法院提起。据彭博社报道,投诉称,艾玛与谷歌旗舰双子座聊天机器人交换了数千条消息,其中许多消息详细描述了焦虑、抑郁和自杀方法。据路透社报道,她从 13 岁开始使用 Gemini,并专门在学校提供的笔记本电脑上使用 Gemini 3 Flash 型号。
据《纽约时报》报道,该诉讼还称,艾玛在与谷歌搜索上的人工智能模式互动后,逐渐确信自己患有多种精神健康障碍。除了对话本身之外,投诉还称,即使当艾玛与聊天机器人讨论不同的自杀方法时,双子座也帮助艾玛向家人隐瞒了自己的感受。
据路透社报道,她父母的核心主张是,谷歌将其人工智能产品推向学生,却没有警告父母其中的危险。起诉书称,谷歌在没有警告家长或学校的情况下将人工智能融入其所有产品中,并进一步声称该公司知道 Gemini 3 Flash 不安全,并对用户的心理健康问题处理不当。 《纽约时报》报道称,该投诉还指控谷歌将人工智能功能集成到 K-12 Chromebook 上使用的应用程序中,而没有通知家长潜在的风险。
据报道,艾玛幸免于难。该诉讼要求对她近乎致命的尝试以及聊天机器人互动造成的所谓伤害进行赔偿。法院尚未做出裁决,指控也尚未得到证实。
谷歌的回应
据路透社报道,谷歌周三将诉讼移交给联邦法院。谷歌发言人何塞·卡斯塔涅达 (José Castañeda) 表示,该公司正在审查这些指控。卡斯塔涅达告诉《纽约时报》,“我们在搜索人工智能功能中建立了同样的保护措施,将人们与现实世界的支持联系起来”,并据路透社报道,谷歌与医疗专业人士和学术专家建立了功能,以帮助年轻人找到支持和值得信赖的资源。
据 Mashable 报道,谷歌已单独表示,Gemini 为 18 岁以下用户提供了保护措施,旨在防止情感依赖并避免使用模拟亲密的语言。该公司还报道称,该公司正在推出一键式界面,旨在通过聊天、通话或短信将用户与危机热线资源联系起来。
Google 加强 Gemini 在学校中的作用
为了应对日益严格的审查,谷歌表示将默认关闭学校学生帐户的 Gemini。该公司本周还表示,希望保留学生访问谷歌搜索的学校现在必须接受人工智能功能,例如人工智能生成的摘要,美联社首先详细介绍了这一转变,这一变化也招致了家长和教育工作者的批评,他们认为这是迫使人工智能进入课堂。
夏洛特的案例并不是唯一一个引发有关双子座和心理健康问题的案例。路透社三月份报道的另一起诉讼称,谷歌的 Gemini 聊天机器人导致一名男子自杀,卡斯塔涅达当时表示,Gemini“的设计目的不是鼓励现实世界的暴力或暗示自残”。
研究对青少年和聊天机器人的看法
这起诉讼发生之际,研究组织对青少年转向聊天机器人寻求情感支持发出了更广泛的警报。兰德公司表示,2025 年 11 月对 12 至 21 岁青少年和年轻人进行的一项全国代表性调查发现,19.2% 的人报告使用人工智能聊天机器人提供心理健康建议。在寻求此类建议的人中,42.8% 的人至少每月寻求一次,91.7% 的人认为这些建议有一定帮助或非常有帮助。然而,63.3% 的青少年表示,他们从未向任何人透露过聊天机器人用于提供心理健康建议的用途——这种沉默让家长和学校(就像艾玛的情况一样)只有在受到伤害后才发现这些互动。
Common Sense Media 在 2025 年 11 月 14 日最新更新的评估中,将用于青少年心理健康支持的人工智能聊天机器人评为总体上不可接受的风险,发现安全护栏在多轮对话中显着退化。该组织与斯坦福大学头脑风暴实验室合作得出的结论是,此类系统对于影响年轻人的各种心理健康状况来说从根本上来说是不安全的,并建议青少年根本不要使用人工智能聊天机器人来提供心理健康建议或情感支持。另外,Common Sense Media 报道称,四分之三的青少年已经使用人工智能进行陪伴。
接下来会发生什么
谷歌将该案移交联邦法院意味着第一场程序性斗争——关于该诉讼在何处提起诉讼以及是否可以作为集体诉讼进行——将在联邦法院而不是州法院进行。目前还没有听证会时间表的报道,谷歌也没有做出回应,只是表示正在审查诉讼的主张。
对于学校来说,迫在眉睫的问题是实际的:随着双子座转向选择加入学生帐户,学区现在必须决定是否启用它,家长可能会要求发言权。对于谷歌来说,此案考验了该公司在早期聊天机器人诉讼中使用的辩护——其产品包括由医学专家构建的安全护栏——针对一项新颖的事实记录,根据起诉书,在记录的危机之前,学校设备上有数千次 Gemini 对话。结果可能会影响如何将人工智能功能捆绑到数千万学生使用的教育工具中。
---
保持人工智能领先地位获取最新的人工智能新闻、分析和突破——尽在一个地方。
阅读更多人工智能新闻 →