谷歌研究院宣布推出基于可信执行环境的下一代联邦学习系统,该团队正在提出几年前可能被认为无法实现的主张:首次为联邦学习提供外部可验证的中央差分隐私保证。该系统应用于 Gboard,用外部审计员可以实际检查的加密证明和公共日志取代了长期存在的“信任我们”安排。有关隐私保护机器学习的持续报道,请关注我们的最新人工智能发展。

联邦学习中的信任差距

谷歌于 2017 年推出的联邦学习旨在解决一个特定问题:如何在不集中收集数据的情况下根据用户数据训练有用的模型。设备不是将原始类型行为上传到服务器,而是在本地计算模型更新并仅贡献这些更新。这种方法悄悄地为用户每天接触的大量内容提供支持——Gboard 中的下一个单词预测和智能撰写、Google Messages 中的回复建议以及 Android 中的智能文本选择。

但最初的架构在其中心存在信任差距。设备上传数据以立即聚合,外部人员无法验证数据是否在此过程中从未被记录、保留或检查。用户必须相信谷歌关于服务器端发生的事情的说法。后来,安全聚合添加了加密保护,以便无法单独读取个人贡献 - 但该技术与最先进的中央差分隐私算法(例如矩阵分解 DP-FTRL)不兼容,并且它仍然没有触及一个假设:必须信任谷歌才能正确添加差分隐私噪声。除了犯错误的公司之外,任何人都看不到配置错误的噪声参数。

新系统如何运作

新设计直接攻击信任假设。它将客户端梯度计算移至服务器(在可信执行环境内),然后使该服务器逻辑可证明,因此操作员根本不再需要被信任。 TEE是一个硬件隔离的处理器飞地,其运行代码可以由外部人员进行密码验证;如果飞地所做的事情与它声称的不同,那么证明就会失效。

根据谷歌的公告,该系统协调四个核心组件。首先,数据上传:设备在本地加密训练示例,并预先授权访问策略,该策略准确列出哪些 TEE 计算可以处理数据,并且这些策略必须出现在公共透明日志中。其次,由运行 RAFT 共识协议的 TEE 构建的密钥管理系统仅向与已发布策略匹配的工作负载发布解密密钥。第三,工作负载执行:根 TEE 运行 Python 训练循环,并将子任务委托给工作 TEE,并由名为“联合语言”的系统处理编排,该系统源自 Google 的 TensorFlow 联合框架。只有差分私有模型权重才会从 enclave 中释放。第四,容错恢复:每轮训练都会保存一个 KMS 加密的恢复状态,以便根或工作节点故障不会破坏正在进行的训练。

为什么保证实际上可以被检查

可验证性主张依赖于一系列公共证据,而不是公司证明。访问策略发布到 Rekor(Sigstore 的公共透明度日志),因此外部审计人员可以跟踪设备数据可能提供的每个服务器工作负载。 KMS 和数据处理二进制文件可以从开源代码中重复构建,这意味着任何人都可以编译已发布的源代码并确认其与生产中运行的二进制文件匹配。

这些策略本身直接描述了 Python 训练程序,它弥补了隐私架构中最常见的漏洞:隐私策略所说的内容与代码实际执行的内容之间的差距。为了保护专有模型架构,TEE 确实支持在运行时旁加载序列化逻辑,但有一个硬​​性约束,即所有隐私相关逻辑必须在经过验证的程序中保持硬编码。工作负载运营商(包括 Google 自己的基础设施员工)只能看到指标和差分私有模型权重。加密数据上传后只能在有限的时间内解密,限制了任何内容都可以被检查的窗口。

从承诺到证据

设计的重要性不在于任何单个组件,而在于它所产生的负担的转移。机器学习中的隐私保证历来被视为由政策文件、内部审计和运营商声誉支持的承诺。该系统将这些承诺转化为工件——证明报告、透明日志条目、可重现的构建——怀疑论者无需访问谷歌内部即可验证这些工件。

它还标志着两个主要并行工作的研究社区的显着融合。可信执行环境和差异隐私解决了不同的问题:TEE 限制谁可以对数据进行计算,而 DP 则限制任何计算可能泄漏的内容。将它们结合在一个可验证的程序中,并在经过验证的 enclave 内生成 DP 噪声,可以单独解决每种方法的剩余弱点。

目前,该系统正在 Google 自己的堆栈中运行,为 Gboard 执行的训练工作负载提供支持。可验证的隐私是否成为整个行业的竞争期望(就像 HTTPS 在证书标准化透明度日志记录之后所做的那样)将取决于用户和监管机构是否开始向其他人工智能提供商询问该系统旨在回答的问题:证明这一点。

---

保持人工智能领先地位

获取最新的人工智能新闻、分析和突破——尽在一个地方。

阅读更多人工智能新闻 →