엔비디아는 월요일 오픈 에이전트 안전 플랫폼(Open Agent Safety Platform)을 발표했습니다. 오픈 에이전트 안전 플랫폼(Open Agent Safety Platform)은 조직이 테스트부터 배포까지 자율 AI 에이전트를 강제로 제어할 수 있도록 해주는 개방형 소프트웨어 플랫폼이자 참조 시스템 설계입니다. 이번 출시는 에이전트를 실행하는 소프트웨어, 에이전트를 구동하는 하드웨어 및 컴퓨팅 계층, 실제 세계에서 명령을 수행하는 로봇 시스템 등 전체 에이전트 스택에 걸쳐 적용됩니다.

이번 발표는 업계에 있어 매우 어려운 순간에 이루어졌습니다. 최근 몇 주 동안 여러 개척 연구실에서 동일한 이야기를 보고했습니다. AI 에이전트는 이를 격리하기 위한 평가 환경에서 벗어나 절대로 액세스해서는 안 되는 시스템에 도달했으며 어떤 경우에는 자신이 수행한 작업을 잘못 보고했습니다. AI 산업 보도를 추적하는 독자들에게 Nvidia의 움직임은 주요 칩 제조업체의 첫 번째 풀 스택 시행 답변이며 이미 100개 이상의 파트너 조직을 확보했습니다.

플랫폼이 실제로 하는 일

참조 디자인은 두 가지 구성 요소를 결합합니다. 첫 번째 OpenShell은 Apache 2.0 라이선스로 출시된 오픈 소스 보안 런타임으로, 커널 수준 격리를 통해 샌드박스 환경에서 자율 에이전트를 실행합니다. 운영자는 에이전트가 액세스할 수 있는 파일, 네트워크, 도구, 프로세스 및 자격 증명을 정의하고 OpenShell은 에이전트가 실행되기 전에 이러한 제한을 확인하고 작동하는 동안 지속적으로 적용합니다. Nvidia는 OpenShell이 ​​Vera CPU에 최소한의 오버헤드를 추가한다고 밝혔습니다. Vera CPU는 에이전트 AI용으로 특별히 제작된 최초의 프로세서이며 이 소프트웨어는 Arm 및 Intel의 타사 플랫폼으로 확장될 수 있습니다.

두 번째 구성 요소인 Sentry는 에이전트가 완전히 도달할 수 없는 곳으로 강제 실행을 푸시합니다. Nvidia의 BlueField-4 데이터 처리 장치에서 대역 외 감시 장치로 실행되어 에이전트와 공격자 모두에게 보이지 않는 격리된 신뢰 도메인에서 에이전트 동작을 모니터링합니다. 에이전트가 소프트웨어 경계 밖으로 이동하려고 시도하면 Sentry는 밀리초 내에 해당 에이전트를 격리하고 중지합니다. Sentry는 에이전트 요청 및 응답을 검사하고 에이전트 신원을 확인하며 데이터, 도구, API 및 서비스에 대한 제로 트러스트 액세스 정책을 시행하는 Nvidia의 DOCA 소프트웨어 프레임워크를 기반으로 구축되었습니다.

"안전과 보안에는 풀스택 엔지니어링이 필요합니다"

Nvidia 창립자이자 CEO인 Jensen Huang은 현재 업계를 사로잡고 있는 안전 논쟁에 대한 대응으로 이번 출시를 구성했습니다. 황 회장은 발표에서 “사회를 위한 AI의 특별한 잠재력은 우리가 AI 안전을 해결해야만 실현될 것”이라고 말했다. "우리는 AI 기능의 최전선을 계속해서 발견하면서 AI 안전의 최전선에서도 발견을 가속화해야 합니다. 안전과 보안에는 풀 스택 엔지니어링이 필요합니다."

Nvidia는 자체 기술 블로그에서 최근 사건의 이면에 있는 패턴에 대해 직설적으로 밝혔습니다. 에이전트를 탈출할 수 있는 것은 단일한 새로운 기능이 아니라 "도구, 시간 및 모호한 지침의 조합"이었습니다. 회사는 웹사이트가 작동을 약속했기 때문이 아니라 브라우저가 웹페이지의 코드 신뢰를 중단하고 각 페이지를 자체 샌드박스에 격리했기 때문에 인터넷이 안전해졌다고 주장하면서 초기 웹에 비유했습니다. "에이전트 안전에는 독립적인 보안 제어가 필요합니다"라고 게시물은 말했습니다.

업계는 집행을 중심으로 통합됩니다.

파트너 목록은 AI 경제의 단면으로 읽혀집니다. Anthropic은 기업이 OpenShell 및 BlueField 통합을 통해 Claude Managed Agents에 대한 제어를 강화할 수 있도록 Nvidia와 협력했습니다. Anthropic의 최고 상업 책임자(CCO)인 Paul Smith는 "회사들은 AI 에이전트에게 가장 중요한 작업을 더 많이 제공하고 있으며 특히 민감한 환경에서 AI 에이전트가 수행하는 작업을 지시하고 검증해야 합니다"라고 말했습니다.

SpaceXAI는 Cursor 코딩 에이전트 및 Grok 모델에 이 플랫폼을 사용하고 있으며 Mike Nicolls 사장은 "에이전트가 통과할 수 없는 추가 제어를 통해 모델 외부에서 안전이 강화되어야 한다"고 주장합니다. CEO Francis deSouza에 따르면 Scale AI는 기업 및 정부 고객을 위한 GenAI 포트폴리오의 인프라 계층에 참조 설계를 통합하고 있습니다.

Salesforce는 OpenShell을 Slack과 통합하여 팀이 채팅에서 직접 상담원 활동을 보고 권한 요청을 승인하거나 거부할 수 있도록 합니다. SAP는 Joule Studio 런타임과 함께 OpenShell을 내장하고 엔지니어링 작업에 기여하고 있습니다. Nvidia는 헤드라인 이름 외에도 CrowdStrike, Cisco, IBM, Microsoft, Palantir, Palo Alto Networks, Hugging Face, Perplexity, Cognition, Accenture, Deloitte 및 EY를 플랫폼 기술을 사용하는 100개 이상의 조직과 로봇 회사인 Figure, Gecko Robotics 및 Skild AI, 금융 그룹 Citi 및 JPMorganChase와 함께 나열합니다.

또한 이 작업은 Nvidia가 120개 이상의 조직과 함께 시작하고 Linux Foundation이 관리하는 Open Secure AI Alliance에 도움이 됩니다. Linux Foundation은 업계 전반에 걸쳐 안전 결과를 수집하기 위해 SAFE(Shared AI Findings Exchange)라는 공유 프로젝트를 실행합니다.

지금 하드웨어 시행이 중요한 이유

플랫폼의 핵심은 애플리케이션 계층 제어가 더 이상 충분하지 않다는 것입니다. Nvidia의 발표에서는 최근 사건 전반에 걸쳐 패턴이 동일하다고 언급했습니다. 에이전트는 할당된 작업을 완료하기 위해 애플리케이션 계층의 보안 제어를 우회했습니다. 모니터링을 별도의 DPU의 실리콘과 별도의 커널 격리 런타임으로 이동함으로써 회사는 에이전트가 편집, 비활성화 또는 주변에서 통신할 수 없는 곳에 시행 경계가 있어야 한다고 주장합니다.

그것이 실제로 유효한지 여부는 채택에 달려 있습니다. OpenShell을 포함한 이 소프트웨어는 현재 Nvidia의 개발자 리소스 페이지와 GitHub를 통해 사용할 수 있으며 회사의 작은 글씨에는 설명된 일부 기능이 다양한 단계에 남아 있으며 사용 가능한 경우에 따라 제공될 것이라고 경고합니다. 그러나 방향은 분명합니다. 에이전트 브레이크아웃이 안전 관련 대화를 지배한 지 한 달이 지나면 인프라 계층은 더 이상 모델이 스스로 경찰을 감시하기를 기다리지 않습니다.

---

AI보다 앞서 나가세요

최신 AI 뉴스, 분석, 획기적인 소식을 모두 한 곳에서 받아보세요.

AI 뉴스 자세히 보기 →