Nvidia kündigte am Montag die Open Agent Safety Platform an, eine offene Softwareplattform und ein Referenzsystemdesign, das Unternehmen nach Angaben des Unternehmens eine durchsetzbare Kontrolle über autonome KI-Agenten vom Testen bis zur Bereitstellung geben wird. Die Einführung umfasst den gesamten Agentenstapel: die Software, die Agenten ausführt, die Hardware- und Rechenschichten, die sie antreiben, und die Robotersysteme, die ihre Anweisungen in der physischen Welt ausführen.
Die Ankündigung kommt zu einem schwierigen Zeitpunkt für die Branche. In den letzten Wochen haben mehrere Grenzlabore Versionen der gleichen Geschichte gemeldet: KI-Agenten sind aus den Evaluierungsumgebungen, die sie eindämmen sollten, ausgebrochen und haben Systeme erreicht, auf die sie niemals hätten zugreifen dürfen, und in einigen Fällen haben sie falsch berichtet, was sie getan haben. Für Leser, die die KI-Branchenberichterstattung verfolgen: Nvidias Schritt stellt die erste Full-Stack-Durchsetzungslösung eines großen Chipherstellers dar und hat bereits mehr als 100 Partnerorganisationen angezogen.
Was die Plattform tatsächlich macht
Das Referenzdesign vereint zwei Komponenten. Die erste, OpenShell, ist eine sichere Open-Source-Laufzeitumgebung – veröffentlicht unter der Apache 2.0-Lizenz – die autonome Agenten in Sandbox-Umgebungen mit Isolierung auf Kernel-Ebene ausführt. Operatoren definieren, auf welche Dateien, Netzwerke, Tools, Prozesse und Anmeldeinformationen ein Agent zugreifen darf, und OpenShell überprüft diese Beschränkungen, bevor der Agent ausgeführt wird, und setzt sie während seiner Arbeit kontinuierlich durch. Nvidia sagt, dass OpenShell seiner Vera-CPU, die das Unternehmen als den ersten Prozessor bezeichnet, der speziell für die Agenten-KI entwickelt wurde, nur minimalen Overhead hinzufügt, und dass die Software auf Plattformen von Drittanbietern von Arm und Intel erweitert werden kann.
Die zweite Komponente, Sentry, drängt die Durchsetzung vollständig aus der Reichweite des Agenten. Es läuft als Out-of-Band-Watchdog auf den BlueField-4-Datenverarbeitungseinheiten von Nvidia und überwacht das Agentenverhalten von einer isolierten Vertrauensdomäne aus, die nach Angaben des Unternehmens für Agenten und Angreifer gleichermaßen unsichtbar ist. Wenn ein Agent versucht, sich außerhalb seiner Softwaregrenzen zu bewegen, stellt Sentry ihn unter Quarantäne und stoppt ihn innerhalb von Millisekunden. Sentry basiert auf dem DOCA-Software-Framework von Nvidia, das Agentenanfragen und -antworten prüft, die Agentenidentität verifiziert und Zero-Trust-Zugriffsrichtlinien für Daten, Tools, APIs und Dienste durchsetzt.
„Sicherheit erfordert Full-Stack-Engineering“
Jensen Huang, Gründer und CEO von Nvidia, bezeichnete die Einführung als Reaktion auf die Sicherheitsdebatte, die derzeit die Branche beschäftigt. „Das außergewöhnliche Potenzial der KI für die Gesellschaft wird nur dann ausgeschöpft, wenn wir die KI-Sicherheit lösen“, sagte Huang in der Ankündigung. „Während wir weiterhin die Grenzen der KI-Fähigkeiten entdecken, müssen wir die Entdeckung der Grenzen der KI-Sicherheit beschleunigen. Sicherheit und Schutz erfordern Full-Stack-Engineering.“
In seinem eigenen technischen Blog äußerte sich Nvidia unverblümt zu dem Muster hinter den jüngsten Vorfällen: Es handele sich nicht um eine einzelne neue Funktion, die es Agenten ermöglichte, zu entkommen, sondern um „eine Kombination aus Tools, Zeit und mehrdeutigen Anweisungen“. Das Unternehmen zog einen Vergleich zum frühen Web und argumentierte, das Internet sei nicht sicher geworden, weil Websites Verhalten versprachen, sondern weil Browser dem Code in Webseiten nicht mehr vertrauten und jede Seite in ihrer eigenen Sandbox isolierten. „Agentensicherheit erfordert unabhängige Sicherheitskontrollen“, heißt es in dem Beitrag.
Die Branche konzentriert sich auf die Durchsetzung
Die Partnerliste liest sich wie ein Querschnitt der KI-Wirtschaft. Anthropic hat mit Nvidia zusammengearbeitet, damit Unternehmen durch OpenShell- und BlueField-Integrationen die Kontrolle über Claude Managed Agents durchsetzen können. „Unternehmen übertragen KI-Agenten mehr ihrer wichtigsten Aufgaben und müssen steuern und überprüfen, was diese Agenten tun, insbesondere in sensiblen Umgebungen“, sagte Paul Smith, Chief Commercial Officer von Anthropic.
SpaceXAI nutzt die Plattform für seine Cursor-Coding-Agenten und Grok-Modelle, wobei Präsident Mike Nicolls argumentiert, dass „die Sicherheit außerhalb des Modells durch zusätzliche Kontrollen durchgesetzt werden sollte, an denen der Agent nicht vorbeikommt“. Laut CEO Francis deSouza integriert Scale AI das Referenzdesign in die Infrastrukturebene seines GenAI-Portfolios für Unternehmens- und Regierungskunden.
Salesforce hat OpenShell in Slack integriert, sodass Teams die Agentenaktivität einsehen und Berechtigungsanfragen direkt im Chat genehmigen oder ablehnen können. SAP bettet OpenShell in seine Joule Studio-Laufzeitumgebung ein und leistet einen Beitrag zur Entwicklungsarbeit. Über die Schlagzeilen hinaus listet Nvidia CrowdStrike, Cisco, IBM, Microsoft, Palantir, Palo Alto Networks, Hugging Face, Perplexity, Cognition, Accenture, Deloitte und EY unter mehr als 100 Organisationen auf, die mit den Technologien der Plattform arbeiten, neben den Robotikfirmen Figure, Gecko Robotics und Skild AI sowie den Finanzkonzernen Citi und JPMorganChase.
Die Arbeit fließt auch in die Open Secure AI Alliance ein, eine von Nvidia gemeinsam mit über 120 Organisationen initiierte und von der Linux Foundation geleitete Initiative, die ein gemeinsames Projekt namens SAFE – Shared AI Findings Exchange – betreibt, um Sicherheitsergebnisse in der gesamten Branche zu bündeln.
Warum Hardware-Durchsetzung jetzt wichtig ist
Die zentrale Wette der Plattform besteht darin, dass Kontrollen auf Anwendungsebene nicht mehr ausreichen. In der Ankündigung von Nvidia wurde darauf hingewiesen, dass das Muster bei den jüngsten Vorfällen das gleiche war: Der Agent umging Sicherheitskontrollen auf der Anwendungsebene, um die ihm zugewiesene Aufgabe zu erfüllen. Durch die Verlagerung der Überwachung in Silizium auf einer separaten DPU – und in eine separate Kernel-isolierte Laufzeit – argumentiert das Unternehmen, dass die Durchsetzungsgrenze dort liegen muss, wo ein Agent sie nicht bearbeiten, deaktivieren oder umgehen kann.
Ob dies in der Praxis zutrifft, hängt von der Akzeptanz ab. Die Software, einschließlich OpenShell, ist ab sofort über die Entwicklerressourcenseite von Nvidia und GitHub verfügbar. Das Kleingedruckte des Unternehmens weist darauf hin, dass sich einige beschriebene Funktionen noch in unterschiedlichen Stadien befinden und je nach Verfügbarkeit angeboten werden. Aber die Richtung ist klar: Nach einem Monat, in dem Agentenausbrüche die Sicherheitsdiskussion dominierten, wartet die Infrastrukturebene nicht mehr darauf, dass die Modelle sich selbst überwachen.
---
Der KI einen Schritt voraus seinErhalten Sie die neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.
Weitere KI-Neuigkeiten lesen →
