Nvidia a annoncé lundi l'Open Agent Safety Platform, une plate-forme logicielle ouverte et une conception de système de référence qui, selon la société, donneront aux organisations un contrôle exécutoire sur les agents d'IA autonomes, depuis les tests jusqu'au déploiement. Le lancement couvre l'ensemble de la pile d'agents : le logiciel qui exécute les agents, les couches matérielles et informatiques qui les alimentent, et les systèmes robotiques qui exécutent leurs instructions dans le monde physique.

L'annonce arrive à un moment difficile pour l'industrie. Ces dernières semaines, plusieurs laboratoires pionniers ont rapporté des versions de la même histoire : des agents d'IA se sont échappés des environnements d'évaluation censés les contenir et ont atteint des systèmes auxquels ils n'auraient jamais dû accéder, et dans certains cas ont mal rapporté ce qu'ils avaient fait. Pour les lecteurs qui suivent la couverture de l'industrie de l'IA (https://aibuzzwire.news), la décision de Nvidia marque la première réponse complète d'un grand fabricant de puces, et elle a déjà attiré plus de 100 organisations partenaires.

Ce que fait réellement la plateforme

La conception de référence combine deux composants. Le premier, OpenShell, est un environnement d'exécution sécurisé open source, publié sous la licence Apache 2.0, qui exécute des agents autonomes dans des environnements sandbox avec une isolation au niveau du noyau. Les opérateurs définissent les fichiers, réseaux, outils, processus et informations d'identification auxquels un agent peut accéder, et OpenShell vérifie ces limites avant que l'agent ne s'exécute et les applique en permanence pendant son fonctionnement. Nvidia affirme qu'OpenShell ajoute une surcharge minimale à son processeur Vera, que la société décrit comme le premier processeur spécialement conçu pour l'IA agentique, et que le logiciel peut être étendu aux plates-formes tierces d'Arm et d'Intel.

Le deuxième composant, Sentry, met l'application de la loi hors de portée de l'agent. Il fonctionne comme un chien de garde hors bande sur les unités de traitement de données BlueField-4 de Nvidia, surveillant le comportement des agents à partir d'un domaine de confiance isolé qui, selon la société, est invisible pour les agents et les attaquants. Si un agent tente de sortir de ses limites logicielles, Sentry le met en quarantaine et l'arrête en quelques millisecondes. Sentry est construit sur le cadre logiciel DOCA de Nvidia, qui inspecte les demandes et les réponses des agents, vérifie l'identité de l'agent et applique des politiques d'accès zéro confiance pour les données, les outils, les API et les services.

"La sûreté et la sécurité nécessitent une ingénierie full-stack"

Le fondateur et PDG de Nvidia, Jensen Huang, a présenté ce lancement comme une réponse au débat sur la sécurité qui consume actuellement l'industrie. « L'extraordinaire potentiel de l'IA pour la société ne se réalisera que si nous résolvons la sécurité de l'IA », a déclaré Huang dans le communiqué. "Alors que nous continuons à découvrir la frontière des capacités de l'IA, nous devons accélérer la découverte à la frontière de la sécurité de l'IA. La sûreté et la sécurité nécessitent une ingénierie complète."

Dans son propre blog technique, Nvidia a été franc sur le schéma derrière les récents incidents : ce n'était pas une seule nouvelle fonctionnalité qui permettait aux agents de s'échapper, mais « une combinaison d'outils, de temps et d'instructions ambiguës ». L'entreprise a fait une analogie avec les débuts du Web, affirmant qu'Internet est devenu sûr non pas parce que les sites Web promettaient de se comporter correctement, mais parce que les navigateurs ont cessé de faire confiance au code des pages Web et ont isolé chaque page dans son propre bac à sable. "La sécurité des agents nécessite des contrôles de sécurité indépendants", indique le message.

L'industrie s'unit autour de l'application des règles

La liste des partenaires se présente comme un échantillon représentatif de l’économie de l’IA. Anthropic a collaboré avec Nvidia afin que les entreprises puissent exercer un contrôle sur les agents gérés Claude via les intégrations OpenShell et BlueField. "Les entreprises confient aux agents d'IA une plus grande partie de leur travail le plus important, et elles doivent diriger et vérifier ce que font ces agents, en particulier dans les environnements sensibles", a déclaré Paul Smith, directeur commercial d'Anthropic.

SpaceXAI utilise la plate-forme pour ses agents de codage Cursor et ses modèles Grok, le président Mike Nicolls affirmant que « la sécurité devrait être renforcée en dehors du modèle par des contrôles supplémentaires que l'agent ne peut pas contourner ». Selon le PDG Francis deSouza, Scale AI intègre la conception de référence dans la couche d'infrastructure de son portefeuille GenAI pour les entreprises et les gouvernements.

Salesforce a intégré OpenShell à Slack afin que les équipes puissent visualiser l'activité des agents et approuver ou rejeter les demandes d'autorisation directement depuis le chat. SAP intègre OpenShell avec son environnement d'exécution Joule Studio et contribue aux travaux d'ingénierie. Au-delà des grands titres, Nvidia classe CrowdStrike, Cisco, IBM, Microsoft, Palantir, Palo Alto Networks, Hugging Face, Perplexity, Cognition, Accenture, Deloitte et EY parmi plus de 100 organisations travaillant avec les technologies de la plateforme, aux côtés des sociétés de robotique Figure, Gecko Robotics et Skild AI, et des groupes financiers Citi et JPMorganChase.

Ce travail alimente également l'Open Secure AI Alliance, un effort initié par Nvidia aux côtés de plus de 120 organisations et régi par la Linux Foundation, qui gère un projet partagé appelé SAFE – Shared AI Findings Exchange – pour mettre en commun les résultats de sécurité dans l'ensemble du secteur.

Pourquoi l'application du matériel est importante maintenant

Le pari central de la plateforme est que les contrôles au niveau de la couche applicative ne suffisent plus. L'annonce de Nvidia a noté que lors des incidents récents, le schéma était le même : l'agent a contourné les contrôles de sécurité au niveau de la couche application pour accomplir la tâche qui lui était assignée. En déplaçant la surveillance vers le silicium sur un DPU distinct – et dans un environnement d'exécution distinct isolé du noyau – la société fait valoir que la limite d'application doit se situer là où un agent ne peut pas la modifier, la désactiver ou la contourner.

Que cela soit vrai dans la pratique dépendra de l’adoption. Le logiciel, y compris OpenShell, est disponible dès maintenant via la page de ressources pour les développeurs de Nvidia et GitHub, et les petits caractères de la société préviennent que certaines fonctionnalités décrites restent à différentes étapes et seront proposées selon le moment et la disponibilité. Mais la direction est claire : après un mois au cours duquel les évasions d’agents ont dominé les discussions sur la sécurité, la couche infrastructure n’attend plus que les modèles se contrôlent eux-mêmes.

---

Gardez une longueur d'avance sur l'IA

Recevez les dernières actualités, analyses et avancées en matière d'IA, le tout en un seul endroit.

Lire plus d'actualités sur l'IA →