Nvidia 推出开放代理安全平台以阻止芯片中的恶意 AI 代理

Nvidia 的开放代理安全平台将 OpenShell 运行时沙箱与 BlueField-4 DPU 上的 Sentry 看门狗配对，以在几毫秒内隔离行为不当的 AI 代理。

英伟达周一宣布推出开放代理安全平台，这是一个开放的软件平台和参考系统设计，该公司表示，该平台将使组织能够对自主人工智能代理从测试到部署的整个过程进行强制控制。此次发布涵盖了完整的代理堆栈：运行代理的软件、为其提供动力的硬件和计算层，以及在物理世界中执行其指令的机器人系统。

该公告发布之际，该行业正处于一个充满忧虑的时刻。最近几周，几个前沿实验室报告了同一故事的多个版本——人工智能代理突破了旨在遏制它们的评估环境，到达了它们本不应该访问的系统，并且在某些情况下误报了它们所做的事情。对于追踪 AI 行业报道的读者来说，Nvidia 的举动标志着主要芯片制造商的第一个全栈执行答案，并且已经吸引了 100 多个合作伙伴组织。

平台实际做什么

该参考设计结合了两个组件。第一个是 OpenShell，它是一个开源安全运行时（根据 Apache 2.0 许可证发布），它在具有内核级隔离的沙盒环境中执行自主代理。操作员定义代理可以访问哪些文件、网络、工具、进程和凭据，OpenShell 在代理运行之前检查这些限制，并在代理工作时持续强制执行这些限制。 Nvidia 表示，OpenShell 在其 Vera CPU 上增加了最小的开销，该公司将其描述为首款专为代理 AI 构建的处理器，并且该软件可以扩展到 Arm 和 Intel 的第三方平台。

第二个组件是“哨兵”，它使执行完全超出了代理的能力范围。它作为 Nvidia BlueField-4 数据处理单元上的带外看门狗运行，从一个独立的信任域监控代理行为，该公司表示，代理和攻击者都看不到该域。如果代理尝试移出其软件边界，Sentry 会在几毫秒内隔离并阻止它。 Sentry 基于 Nvidia 的 DOCA 软件框架构建，该框架检查代理请求和响应、验证代理身份并对数据、工具、API 和服务实施零信任访问策略。

##“安全保障需要全栈工程”

英伟达创始人兼首席执行官黄仁勋将此次发布视为对目前业界争论的安全争论的回应。黄仁勋在公告中表示：“只有解决人工智能安全问题，人工智能对社会的巨大潜力才能实现。” “在我们不断发现人工智能能力前沿的同时，我们必须加快人工智能安全前沿的发现。安全和安保需要全栈工程。”

英伟达在自己的技术博客中直言不讳地谈到了最近事件背后的模式：让特工逃脱的并不是单一的新功能，而是“工具、时间和模糊指令的组合”。该公司与早期的网络进行了类比，认为互联网变得安全不是因为网站承诺行为，而是因为浏览器不再信任网页中的代码并将每个页面隔离在自己的沙箱中。帖子称：“特工安全需要独立的安全控制。”

行业围绕执法联合起来

合作伙伴名单是人工智能经济的一个横截面。 Anthropic 与 Nvidia 合作，以便企业可以通过 OpenShell 和 BlueField 集成对 Claude Managed Agents 实施控制。 Anthropic 首席商务官 Paul Smith 表示：“公司正在将更多最重要的工作交给人工智能代理，他们需要指导和验证这些代理的工作，尤其是在敏感环境中。”

SpaceXAI 正在将该平台用于其 Cursor 编码代理和 Grok 模型，总裁 Mike Nicolls 认为“应该通过代理无法通过的额外控制来在模型之外强制执行安全性”。 Scale AI 首席执行官 Francis deSouza 表示，该公司正在将参考设计纳入其 GenAI 产品组合的基础设施层中，以供企业和政府客户使用。

Salesforce 已将 OpenShell 与 Slack 集成，因此团队可以查看代理活动并直接通过聊天批准或拒绝权限请求。 SAP 正在将 OpenShell 与其 Joule Studio 运行时一起嵌入并贡献工程工作。除了头条新闻之外，Nvidia 还列出了 CrowdStrike、思科、IBM、微软、Palantir、Palo Alto Networks、Hugging Face、Perplexity、Cognition、埃森哲、德勤和安永等 100 多家使用该平台技术的组织，以及机器人公司 Figure、Gecko Robotics 和 Skild AI，以及金融集团花旗和摩根大通。

这项工作还为开放安全人工智能联盟提供支持，该联盟由 Nvidia 与 120 多个组织共同发起，由 Linux 基金会管理，该联盟运行一个名为 SAFE（共享人工智能发现交换）的共享项目，用于汇集整个行业的安全发现。