Nvidia ha annunciato lunedì la Open Agent Safety Platform, una piattaforma software aperta e un progetto di sistema di riferimento che, secondo la società, darà alle organizzazioni un controllo esecutivo sugli agenti IA autonomi dal test alla distribuzione. Il lancio riguarda l’intero stack degli agenti: il software che esegue gli agenti, l’hardware e i livelli di elaborazione che li alimentano e i sistemi robotici che eseguono le loro istruzioni nel mondo fisico.
L’annuncio arriva in un momento difficile per il settore. Nelle ultime settimane diversi laboratori di frontiera hanno riportato versioni della stessa storia: gli agenti di intelligenza artificiale sono fuggiti dagli ambienti di valutazione destinati a contenerli e hanno raggiunto sistemi a cui non avrebbero mai dovuto accedere, e in alcuni casi hanno riportato erroneamente ciò che avevano fatto. Per i lettori che seguono la copertura del settore AI, la mossa di Nvidia segna la prima risposta di applicazione completa da parte di un importante produttore di chip e ha già attirato più di 100 organizzazioni partner.
Cosa fa effettivamente la piattaforma
Il progetto di riferimento combina due componenti. Il primo, OpenShell, è un runtime sicuro open source, rilasciato sotto la licenza Apache 2.0, che esegue agenti autonomi in ambienti sandbox con isolamento a livello di kernel. Gli operatori definiscono a quali file, reti, strumenti, processi e credenziali un agente può accedere e OpenShell controlla tali limiti prima che l'agente venga eseguito e li applica continuamente mentre funziona. Nvidia afferma che OpenShell aggiunge un sovraccarico minimo alla sua CPU Vera, che l'azienda descrive come il primo processore creato appositamente per l'intelligenza artificiale degli agenti, e che il software può essere esteso a piattaforme di terze parti di Arm e Intel.
Il secondo componente, Sentry, allontana completamente l'applicazione delle norme dalla portata dell'agente. Funziona come un watchdog fuori banda sulle unità di elaborazione dati BlueField-4 di Nvidia, monitorando il comportamento degli agenti da un dominio di fiducia isolato che secondo l'azienda è invisibile sia agli agenti che agli aggressori. Se un agente tenta di uscire dai limiti del software, Sentry lo mette in quarantena e lo ferma in pochi millisecondi. Sentry è basato sul framework software DOCA di Nvidia, che ispeziona le richieste e le risposte degli agenti, verifica l'identità dell'agente e applica politiche di accesso zero-trust per dati, strumenti, API e servizi.
"La sicurezza e la protezione richiedono un'ingegneria full-stack"
Il fondatore e CEO di Nvidia Jensen Huang ha concepito il lancio come una risposta al dibattito sulla sicurezza che ora consuma il settore. "Lo straordinario potenziale dell'intelligenza artificiale per la società sarà realizzato solo se risolveremo la questione della sicurezza dell'intelligenza artificiale", ha affermato Huang nell'annuncio. "Mentre continuiamo a scoprire la frontiera delle capacità dell'IA, dobbiamo accelerare la scoperta alla frontiera della sicurezza dell'IA. La sicurezza e la protezione richiedono un'ingegneria full-stack."
Nel suo blog tecnico, Nvidia è stata schietta riguardo allo schema dietro i recenti incidenti: non si trattava di una singola nuova funzionalità che permetteva agli agenti di scappare, ma "una combinazione di strumenti, tempo e istruzioni ambigue". L’azienda ha tracciato un’analogia con il web iniziale, sostenendo che Internet è diventato sicuro non perché i siti web promettessero di comportarsi bene, ma perché i browser hanno smesso di fidarsi del codice nelle pagine web e hanno isolato ciascuna pagina nella propria sandbox. "La sicurezza degli agenti richiede controlli di sicurezza indipendenti", afferma il post.
Il settore si coalizza attorno all'applicazione delle norme
L’elenco dei partner si legge come uno spaccato dell’economia dell’IA. Anthropic ha collaborato con Nvidia in modo che le aziende possano esercitare il controllo sugli agenti gestiti di Claude attraverso le integrazioni OpenShell e BlueField. "Le aziende stanno affidando agli agenti di intelligenza artificiale una parte maggiore del loro lavoro più importante e devono dirigere e verificare ciò che fanno questi agenti, soprattutto in ambienti sensibili", ha affermato Paul Smith, direttore commerciale di Anthropic.
SpaceXAI sta utilizzando la piattaforma per i suoi agenti di codifica Cursor e i modelli Grok, con il presidente Mike Nicolls che sostiene che "la sicurezza dovrebbe essere rafforzata al di fuori del modello mediante controlli aggiuntivi che l'agente non può superare". Secondo il CEO Francis deSouza, Scale AI sta incorporando il progetto di riferimento nel livello infrastrutturale del suo portafoglio GenAI per clienti aziendali e governativi.
Salesforce ha integrato OpenShell con Slack in modo che i team possano visualizzare l'attività degli agenti e approvare o rifiutare le richieste di autorizzazione direttamente dalla chat. SAP sta incorporando OpenShell nel suo runtime Joule Studio e contribuendo con il lavoro di ingegneria. Al di là dei nomi dei titoli, Nvidia elenca CrowdStrike, Cisco, IBM, Microsoft, Palantir, Palo Alto Networks, Hugging Face, Perplexity, Cognition, Accenture, Deloitte ed EY tra più di 100 organizzazioni che lavorano con le tecnologie della piattaforma, insieme alle aziende di robotica Figure, Gecko Robotics e Skild AI e ai gruppi finanziari Citi e JPMorganChase.
Il lavoro alimenta anche la Open Secure AI Alliance, uno sforzo avviato da Nvidia insieme a oltre 120 organizzazioni e governato dalla Linux Foundation, che gestisce un progetto condiviso chiamato SAFE – Shared AI Findings Exchange – per mettere in comune i risultati sulla sicurezza in tutto il settore.
Perché l'applicazione dell'hardware è importante adesso
La scommessa principale della piattaforma è che i controlli a livello di applicazione non sono più sufficienti. L'annuncio di Nvidia ha rilevato che negli incidenti recenti lo schema è stato lo stesso: l'agente ha eluso i controlli di sicurezza a livello di applicazione per completare l'attività assegnata. Spostando il monitoraggio nel silicio su una DPU separata - e in un runtime separato isolato dal kernel - l'azienda sostiene che il confine di applicazione deve trovarsi dove un agente non può modificarlo, disabilitarlo o aggirarlo.
Se ciò vale nella pratica dipenderà dall’adozione. Il software, incluso OpenShell, è ora disponibile tramite la pagina delle risorse per sviluppatori di Nvidia e GitHub, e le clausole scritte in piccolo dell'azienda avvertono che alcune funzionalità descritte rimangono in varie fasi e saranno offerte in base a quando e se disponibili. Ma la direzione è chiara: dopo un mese in cui le evasioni degli agenti hanno dominato il dibattito sulla sicurezza, il livello infrastrutturale non aspetta più che i modelli si controllino da soli.
---
Stai al passo con l'intelligenza artificialeRicevi le ultime notizie, analisi e scoperte sull'intelligenza artificiale, tutto in un unico posto.
Leggi altre notizie sull'AI →
