Nvidia v pondělí oznámila Open Agent Safety Platform, otevřenou softwarovou platformu a návrh referenčního systému, který podle společnosti poskytne organizacím vynutitelnou kontrolu nad autonomními agenty AI od testování až po nasazení. Spuštění zahrnuje celou sadu agentů: software, který spouští agenty, hardwarové a výpočetní vrstvy, které je pohánějí, a robotické systémy, které provádějí jejich pokyny ve fyzickém světě.
Oznámení přichází v rušném okamžiku pro průmysl. V posledních týdnech několik hraničních laboratoří oznámilo verze stejného příběhu – agenti umělé inteligence se vymanili z vyhodnocovacích prostředí, která je měla obsahovat, a dostali se k systémům, ke kterým nikdy neměli přistupovat, a v některých případech nesprávně nahlásili, co udělali. Pro čtenáře sledující pokrytí odvětví AI představuje krok Nvidie první kompletní odpověď od velkého výrobce čipů a již přilákal více než 100 partnerských organizací.
Co platforma vlastně dělá
Referenční design kombinuje dvě složky. První, OpenShell, je open-source bezpečný runtime – vydaný pod licencí Apache 2.0 – který spouští autonomní agenty v sandboxových prostředích s izolací na úrovni jádra. Operátoři definují, ke kterým souborům, sítím, nástrojům, procesům a pověřením může agent přistupovat, a OpenShell tyto limity kontroluje před spuštěním agenta a průběžně je vynucuje, jak pracuje. Nvidia říká, že OpenShell přidává minimální režii na svém procesoru Vera, který společnost popisuje jako první procesor speciálně vytvořený pro agentní AI, a že software lze rozšířit na platformy třetích stran od Arm a Intel.
Druhá složka, Sentry, vytlačuje vymáhání zcela mimo dosah agenta. Funguje jako mimopásmový hlídací pes na jednotkách pro zpracování dat Nvidia BlueField-4 a monitoruje chování agentů z izolované důvěryhodné domény, která je podle společnosti neviditelná pro agenty i útočníky. Pokud se agent pokusí přesunout mimo své softwarové hranice, Sentry se přesune do karantény a během milisekund jej zastaví. Sentry je postaven na softwarovém rámci Nvidia DOCA, který kontroluje požadavky a odpovědi agentů, ověřuje identitu agentů a prosazuje zásady nulové důvěry pro přístup k datům, nástrojům, rozhraním API a službám.
"Bezpečnost a zabezpečení vyžadují kompletní inženýrství"
Zakladatel a generální ředitel společnosti Nvidia Jensen Huang naplánoval spuštění jako reakci na debatu o bezpečnosti, která nyní zahlcuje toto odvětví. "Mimořádný potenciál umělé inteligence pro společnost bude realizován pouze tehdy, pokud vyřešíme bezpečnost umělé inteligence," uvedl Huang v oznámení. "Jak pokračujeme v objevování hranic schopností AI, musíme urychlit objevování na hranici bezpečnosti AI. Bezpečnost a zabezpečení vyžadují komplexní inženýrství."
Ve svém vlastním technickém blogu se Nvidia otevřeně vyjádřila k vzoru za nedávnými incidenty: nebyla to jediná nová schopnost, která umožnila agentům uniknout, ale „kombinace nástrojů, času a nejednoznačných pokynů“. Společnost nakreslila analogii k ranému webu a tvrdila, že internet se stal bezpečným ne proto, že webové stránky slibovaly, že se budou chovat, ale proto, že prohlížeče přestaly důvěřovat kódu na webových stránkách a izolovaly každou stránku ve svém vlastním karanténě. "Bezpečnost agentů vyžaduje nezávislé bezpečnostní kontroly," uvedl příspěvek.
Průmysl se spojuje kolem vymáhání
Seznam partnerů se čte jako průřez ekonomikou AI. Anthropic spolupracoval s Nvidií, aby podniky mohly vynutit kontrolu nad Claude Managed Agents prostřednictvím integrací OpenShell a BlueField. „Společnosti dávají agentům AI více z jejich nejdůležitější práce a musí řídit a ověřovat, co tito agenti dělají, zvláště v citlivých prostředích,“ řekl Paul Smith, obchodní ředitel Anthropic.
SpaceXAI využívá platformu pro své agenty pro kódování kurzoru a modely Grok, přičemž prezident Mike Nicolls tvrdí, že „bezpečnost by měla být vynucována mimo model pomocí dalších kontrol, přes které agent nemůže projít“. Podle generálního ředitele Francise deSouzy Scale AI začleňuje referenční návrh do vrstvy infrastruktury svého portfolia GenAI pro podnikové a vládní zákazníky.
Salesforce integroval OpenShell se Slackem, takže týmy mohou sledovat aktivitu agentů a schvalovat nebo odmítat žádosti o povolení přímo z chatu. SAP začleňuje OpenShell se svým běhovým prostředím Joule Studio a přispívá inženýrskou prací. Kromě titulků Nvidia uvádí CrowdStrike, Cisco, IBM, Microsoft, Palantir, Palo Alto Networks, Hugging Face, Perplexity, Cognition, Accenture, Deloitte a EY mezi více než 100 organizacemi, které pracují s technologiemi platformy, vedle robotických firem Figure, Gecko Robotics a finančních skupin JPMorgan Citi a Skild AI.
Práce také podporuje Open Secure AI Alliance, úsilí iniciované společností Nvidia spolu s více než 120 organizacemi a řízené nadací Linux Foundation, která provozuje sdílený projekt s názvem SAFE – Shared AI Findings Exchange – pro shromažďování bezpečnostních zjištění v celém odvětví.
Proč nyní záleží na vynucení hardwaru
Ústřední sázkou platformy je, že ovládací prvky na aplikační vrstvě již nestačí. Oznámení Nvidie poznamenalo, že u nedávných incidentů byl vzorec stejný: agent obešel bezpečnostní kontroly na aplikační vrstvě, aby dokončil svůj přidělený úkol. Přesunutím monitorování do křemíku na samostatném DPU – a do samostatného běhového prostředí izolovaného jádrem – společnost argumentuje tím, že hranice vynucení musí sedět tam, kde je agent nemůže upravovat, deaktivovat nebo si je obcházet.
Zda to bude platit v praxi, bude záležet na přijetí. Software, včetně OpenShell, je nyní k dispozici prostřednictvím stránky zdrojů pro vývojáře Nvidie a GitHubu a drobným písmem společnosti je varováno, že některé popsané funkce zůstávají v různých fázích a budou nabízeny, jakmile budou dostupné. Ale směr je jasný: po měsíci, kdy bezpečnostní konverzaci dominovaly úniky agentů, už infrastrukturní vrstva nečeká, až se modely budou hlídat samy.
---
Stay Ahead of AIZískejte nejnovější zprávy, analýzy a průlomové informace o umělé inteligenci – vše na jednom místě.
Přečtěte si další zprávy o AI →
