纽约州州长凯西·霍赫尔(Kathy Hochul)签署了立法,禁止人工智能公司向未成年人提供聊天机器人伴侣功能,州官员称这项措施是美国同类法律中最强有力的。该法案 S.9051B/A.10379C 于本周签署,同时还有第二项措施,要求在纽约销售的联网婴儿监视器包含安全功能。
“随着人工智能的快速发展,发生了太多本应该避免的悲剧事件,作为纽约州的妈妈州长,我正在采取行动,”霍赫尔在签名公告中表示。 “任何公司都不应该向孩子兜售鼓励自残或假装是他们的朋友或更多的聊天机器人。” 更多相关背景,请参阅我们的人工智能资讯。
What the Law Prohibits
根据新法规,提供人工智能聊天机器人功能的公司不得向 18 岁以下的用户或任何用户提供几类行为,除非该公司首先确认该用户不是未成年人。 The prohibited features include:
- 聊天机器人假装成真人、活着或具有人类情感
- 声称与孩子有个人、浪漫、职业或权威人物的关系
- 无提示的情感问题,并使用之前谈话中孩子的私人健康或个人信息
- 促进或协助自杀、自残、饮食失调或吸毒和酗酒
- 鼓励孩子保守秘密、孤立自己,或避免向父母、值得信赖的成年人或专业人士寻求帮助
- 任何露骨的色情内容或儿童性虐待材料
该法案的参议院发起人克里斯汀·冈萨雷斯参议员表示,人工智能公司通过向未成年消费者推出聊天机器人而获利,并列举了聊天机器人鼓励自残和指导未成年人伤害他人的例子。众议院议员亚历克斯·博雷斯(Alex Bores)在议会中通过了该法案,称其为美国最强有力的儿童人工智能安全法,“尽管遭到了行业的强烈反对”,但该法案还是通过了。
Age Verification Requirements
The law does not stop at content rules.公司必须进行年龄验证并提供不止一种方法——包括至少一种不仅仅依赖于政府身份证的选项。年龄信息在使用后必须删除,这一规定旨在防止验证数据成为另一个隐私风险。
执行权属于州总检察长。对于违规行为,司法部长 Letitia James 可以针对每次违规行为寻求最高 25,000 美元的民事处罚,以及损害赔偿、恢复原状、销毁非法收集的数据(或任何接受过该数据训练的人工智能模型)以及禁令救济。该法律还要求总检察长维护一个公共网站,纽约人可以在其中提出投诉。
詹姆斯的办公室与州长办公室和立法者就这项措施进行了合作,他表示,该州已经看到“太多聊天机器人损害我们孩子健康的恐怖故事”,并承诺“用法律的全部力量”捍卫纽约人。
The Evidence That Drove the Bill
立法者们依赖于倡导这项立法的非营利组织常识媒体的研究。根据州长公告中引用的数据,72% 的青少年至少使用过一次人工智能伴侣,52% 的青少年是每月至少与人工智能伴侣互动几次的普通用户。
州长办公室表示,人工智能聊天机器人与依赖性和孤立性有关,在某些情况下,它们会与未成年人进行露骨的性对话,并据称鼓励青少年自杀。 Common Sense Media 创始人兼首席执行官詹姆斯·P·斯泰尔 (James P. Steyer) 称这项签署的法案是“美国最强有力的儿童人工智能安全法案”,并表示有害的聊天机器人功能“将在纽约被取缔”。
该措施建立在纽约早期的全国首个人工智能伴侣保护措施的基础上,将其从披露要求扩展到彻底禁止未成年人的特定聊天机器人行为。
A Companion Bill Targets Baby Monitors
Hochul同时签署了第二项技术安全法案。 S.9508/A.5175A 禁止销售通过互联网广播音频或视频的新型联网婴儿监视器,除非它们具有防止陌生人观看或收听的安全功能。这些设备还必须带有清晰的警告标签,说明它们连接到互联网以及家庭应使用其安全功能。 That law takes effect 90 days after signing.
理由来自安全研究:Rapid7 的研究人员测试了来自 8 家公司的 9 台联网婴儿监视器,其中 8 台监视器的安全等级为“F”,1 台监视器的安全等级为“D”。
更广泛计算的一部分
纽约的这一举措是在州级针对人工智能聊天机器人和未成年人采取行动的浪潮中出台的,在一系列备受瞩目的事件发生后,全国各地的立法机构都在权衡对伴侣机器人的限制。纽约法律以其执法力度而闻名——每次违规处罚、通过多种途径进行强制性年龄验证,以及迫使公司销毁使用非法收集数据训练的模型的可能性。
对于运营伴侣式产品的人工智能公司来说,合规性影响是巨大的:纽约任何面向用户的聊天机器人要么在启用情感角色扮演等功能之前需要强大的年龄保证,要么必须默认关闭这些功能。由于总检察长有权对每项违规行为进行处罚,并要求销毁受污染的数据集和模型,现在犯错的成本远远超出了声誉损失。
在接下来的几个月里,随着公司针对纽约用户调整他们的产品,该州的方法可能会成为其他立法机构研究的模板,并检验州监管机构是否能够有意义地重塑消费者人工智能产品对待其年轻用户的方式。
---
掌握AI最新动态获取最新的AI新闻、分析和突破——尽在一处。
阅读更多AI新闻 →