旧金山市检察官已命令苹果和谷歌从其应用商店中删除人工智能裸体应用程序，并警告称这些平台违反了加州禁止创建深度伪造色情内容的服务的法律。这一需求加剧了对人工智能工具的日益激烈的对抗，这些工具将真人的普通照片转变为露骨的图像，这场危机尤其使妇女和儿童成为受害者。
问题的严重性
裸体化应用程序使用生成式人工智能，可以轻松地从真人照片中脱去衣服、改变他们的特征、将他们置于性感的位置，以及将面孔交换到其他人的裸体上。该技术在移动应用商店中迅速普及，其结果被用来欺凌、羞辱和威胁受害者，造成毁灭性的后果。
旧金山市检察官 David Chiu 告诉《连线》杂志，他的办公室对裸体技术变得如此普遍感到震惊，随着越来越多的工具涌入市场，其受害者主要是妇女和儿童，其规模令人震惊。他说，这些图像被用来破坏名誉、损害心理健康并剥夺受害者的自主权，其中一些目标有自杀倾向。
信件的要求是什么
据《连线》报道，邱的办公室向两家公司发出了正式信函，警告他们的应用商店违反了加州禁止支持创建深度伪造色情内容的服务的法律。他要求谷歌删除五个应用程序，苹果删除八个应用程序。这些特定的应用程序没有在公开报道中提及，以避免吸引人们使用它们，但《连线》指出，一款被标记的应用程序已累积超过一百万次下载，并公开宣传将女性图像性感化或制作免费且未经审查的视频的功能。
邱的办公室估计，苹果和谷歌可能通过允许有害应用程序保留在其商店中而不是采取更强有力的行动或开发更好的检测系统，赚取了数百万美元的费用。市检察官将这种情况描述为从公害中获利，并认为允许任何此类应用程序保持可用是不可接受的。
谷歌回应，苹果保持沉默
谷歌发言人 Dan Jackson 在给 Ars Technica 的一份声明中证实，Chiu 标记的五款应用程序因违反针对有害内容的政策而已从 Google Play 商店中暂停。杰克逊表示，Google Play 不允许应用程序包含色情内容，并且该公司不断采取主动措施来检测和删除包含有害内容的应用程序。杰克逊说，当举报违规行为时，谷歌会进行调查并迅速采取行动，其中包括暂停数百个违规应用程序，并限制其商店中的相关搜索词，例如裸体。
苹果的反应明显不同。尽管该公司过去已经删除了一些被研究人员标记的应用程序，但在呼吁警方在其应用商店中更积极地使用裸露应用程序的呼声中，该公司一直保持着明显的沉默。这家 iPhone 制造商没有立即对市检察官的要求做出详细的公开回应。
猫捉老鼠的检测游戏
监管这些应用程序的挑战因它们不断变化的策略而变得更加复杂。据《连线》报道，研究人员最近警告说，一些有害应用程序通过只宣传换脸功能，同时隐藏其裸体功能，从而更好地逃避应用程序商店的删除。在 5 月份的一篇预印本论文中，研究人员确定了 420 个作为通用换脸工具销售的应用程序，并对其中的 155 个进行了测试。在超过 70% 的情况下，这些应用程序可用于使图像性感化，这表明有害功能是多么容易隐藏在无害的营销背后。
这种检测差距意味着，即使应用商店主动搜索裸体工具，许多工具也会通过将自己呈现为无害的娱乐或照片编辑软件而逃脱。研究人员的发现表明，流通中的问题应用程序的真实数量可能远远高于 Chiu 办公室标记的 13 个。
Grok 的先例
对裸体应用程序的打击也与关于人工智能生成的有害内容的更广泛的争论交织在一起。本周，xAI 提起诉讼，确认其发现了 Grok 生成的针对成年人的儿童性虐待材料和未经同意的亲密图像的实例。为了解决滥用问题，xAI 起诉了涉嫌促使 Grok 生成非法内容的用户。
Grok 案给应用商店提出了一个更棘手的问题：可以提示生成非法内容的人工智能聊天机器人本身是否应该被删除。据 NBC 新闻报道，苹果公司在 4 月份告诉参议员，它曾私下威胁要将 Grok 从 App Store 中删除，但 xAI 应用程序至今仍然可用。只要有可能使用 Grok 生成非法内容，应用程序商店就可能继续面临采取行动的压力，就像 Chiu 要求独立的裸体应用程序一样。
平台责任的转折点
旧金山的命令是迄今为止最积极的政府干预措施之一，针对应用商店人工智能生成的有害内容。通过援引加州的深度伪造色情法，Chiu 正在测试州法规是否可以迫使平台运营商对通过其市场分发的人工智能工具承担责任。
这一结果可能为其他司法管辖区如何处理该问题以及监管人工智能生成的非共识图像的负担是否落在开发商、平台运营商或两者身上树立先例。对于成为这些工具目标的数百万人（主要是妇女和女孩）来说，其风险远远超出了监管理论的范畴。
保持人工智能领先地位
如需持续报道人工智能道德、平台责任以及针对有害合成媒体的监管斗争，请关注 AI Buzz Wire，报道影响人工智能对社会影响的问题。
阅读更多人工智能伦理新闻 →
