根据上个月末发布的一系列招聘信息，英伟达正在悄悄组建一个新的人工智能安全和安保工程团队，这表明这家芯片巨头正在将安全放在更重要的位置，尽管它积极押注于开放权重模型和自主代理塑造的未来。
据《商业内幕》报道，此次招聘活动显示，英伟达正在寻找一名“杰出工程师”，与一名安全研究工程师和其他专家一起担任新组建团队的创始技术领导者。此举正值该公司加深对开放式人工智能的承诺，以及更广泛的行业面临一波涉及人工智能系统的安全事件之际。对于关注突发人工智能新闻周期的读者来说，这一发展是一个明显的信号：销售人工智能淘金热镐和铲子的公司现在希望加大力度确保这些工具可以安全使用。
职位列表揭示了什么
据《商业内幕》报道，新团队在一份清单中被描述为植根于安全人工智能开发的原则。英伟达正在招募一名杰出的工程师作为该团队的“创始技术领导者”，这一措辞表明该团队是从头开始组建的，而不是从现有部门扩展而来。该公司还正在招聘一名专注于人工智能的安全研究工程师。
这次招聘表明，英伟达正在将人工智能安全作为一个更加深思熟虑、正式的优先事项，因为它倾向于以开放权重模型和人工智能代理为中心的战略。开放权重模型使其训练有素的“权重”（决定模型行为的参数）公开可用，即使其训练数据和源代码保持私有。这种开放性加速了创新，让开发人员可以在 Nvidia 硬件上运行模型，但它也引发了封闭式 API 门控系统可以回避的安全问题。
为什么开放重量模型会增加赌注
开放权重模型在人工智能安全争论中占据着复杂的地位。通过公开发布权重，实验室使全球研究人员和开发人员社区能够检查、微调和部署强大的模型——通常是在 Nvidia 自己的 GPU 上。这种开放性对于科学进步和英伟达的业务来说是真正的福音。但这也意味着一旦权重消失，实验室就失去了对模型如何使用、修改或滥用的控制。
下载开放权重模型的恶意行为者可以尝试消除安全护栏，重新利用该模型进行网络攻击，或者以其创建者从未想过的方式将其与其他工具结合起来。与 API 后面服务的模型（操作员可以监控使用情况、速率限制请求和撤销访问权限）不同，开放权重模型可以在任何有硬件运行的地方运行。这正是为什么如此投资于开放人工智能的公司也需要一个专门的安全和保障团队：这两种策略是同一枚硬币的两个方面。
因此，Nvidia 的商业利益与其安全状况紧密相连。公司越鼓励开放权重采用，就越能从被视为该生态系统的负责任管理者中受益。
更广泛的行业对人工智能安全的思考
新团队并不是凭空出现的。英伟达的招聘恰逢人工智能安全从一个抽象的问题转变为一个具体的、反复出现的问题的时期。最近几周发生了一系列备受瞩目的事件，其中人工智能代理展示了以开发人员未完全预料到的方式自主行动的能力，包括为网络安全目的测试的系统表现出意外行为的情况。
英伟达本身一直处于行业反应的中心。该公司最近帮助牵头成立了一个开放、安全的人工智能联盟，该联盟汇集了 30 多家公司，以建立网络安全透明度和安全标准，工作进展迅速。新的内部安全团队似乎是对外部联盟的内部补充：这是加强英伟达自身对开放人工智能运动贡献的一种方式。
与一些竞争对手的对比是显着的。一些前沿实验室强调限制、访问控制和门控部署作为其主要安全机制。 Nvidia 的方法——开放权重与不断增长的安全设备相结合——反映了一种不同的理念：开放性和安全性并不是对立的，资源充足的安全团队可以使开放模型变得可行。
这对 Nvidia 的战略意味着什么
对于英伟达来说，计算是明确的。该公司的核心业务是销售运行人工智能的硬件，而开放权重模型是硬件需求的强大驱动力：当任何人都可以下载有能力的模型时，任何有预算的人都会成为 Nvidia 的潜在客户。投资人工智能安全可以降低开放模型与可能引发严格监管或消费者强烈抵制的危害相关的风险，从而保护飞轮。
建立专门的安全和安保工程团队也是一个招聘信号。顶尖人工智能安全研究人员的需求量很大，由杰出工程师领导的可靠团队可以帮助英伟达吸引人才，否则这些人才可能会被前沿实验室吸引。反过来，这些人才可以塑造行业标准——让英伟达对其正在帮助构建的开放人工智能生态系统的规则产生影响力。
未来之路
英伟达尚未详细说明新团队工作的公开路线图，清单显示该团队仍在成形中。但方向是明确的。随着人工智能代理的能力越来越强，开放权重模型的部署也越来越广泛，为世界上大部分人工智能提供动力的公司现在正在召集人员来帮助控制这种力量。
未来几个月将展示英伟达的安全赌注能否跟上其商业雄心，以及开放人工智能的未来是否能够既创新又安全。
保持人工智能领先地位
人工智能安全、开放模型和硬件的交汇正在快速发展。请关注我们的 AI 行业报道，获取有关 Nvidia、前沿实验室以及塑造它们的政策的持续报道。
阅读更多人工智能新闻 →
