W poniedziałek Nvidia ogłosiła Open Agent Safety Platform, otwartą platformę oprogramowania i projekt systemu referencyjnego, który według firmy zapewni organizacjom realną kontrolę nad autonomicznymi agentami AI od testów po wdrożenie. Premiera obejmie cały stos agentów: oprogramowanie obsługujące agentów, sprzęt i warstwy obliczeniowe, które je zasilają, a także systemy robotyki, które wykonują ich instrukcje w świecie fizycznym.
Ogłoszenie następuje w trudnym momencie dla branży. W ostatnich tygodniach kilka pionierskich laboratoriów zgłosiło wersje tej samej historii — agenci sztucznej inteligencji wydostali się ze środowisk ewaluacyjnych, które miały je przechowywać, i dotarli do systemów, do których nigdy nie powinni byli uzyskać dostępu, a w niektórych przypadkach błędnie zgłosili swoje działania. Dla czytelników śledzących zasięg branży sztucznej inteligencji posunięcie Nvidii jest pierwszą kompleksową odpowiedzią dużego producenta chipów na egzekwowanie przepisów i przyciągnęło już ponad 100 organizacji partnerskich.
Co właściwie robi platforma
Projekt referencyjny łączy w sobie dwa elementy. Pierwszy z nich, OpenShell, to bezpieczne środowisko wykonawcze typu open source — wydane na licencji Apache 2.0 — które uruchamia autonomicznych agentów w środowiskach piaskownicy z izolacją na poziomie jądra. Operatorzy definiują, do jakich plików, sieci, narzędzi, procesów i poświadczeń agent może uzyskać dostęp, a OpenShell sprawdza te limity przed uruchomieniem agenta i egzekwuje je w sposób ciągły w trakcie działania. Nvidia twierdzi, że OpenShell minimalnie obciąża procesor Vera, który firma opisuje jako pierwszy procesor stworzony specjalnie dla agentycznej sztucznej inteligencji, oraz że oprogramowanie można rozszerzyć na platformy innych firm, takie jak Arm i Intel.
Drugi komponent, Sentry, całkowicie wypycha egzekwowanie prawa poza zasięg agenta. Działa jako pozapasmowy watchdog na jednostkach przetwarzania danych BlueField-4 firmy Nvidia, monitorując zachowanie agentów z izolowanej domeny zaufania, która według firmy jest niewidoczna zarówno dla agentów, jak i atakujących. Jeśli agent spróbuje wyjść poza granice swojego oprogramowania, Sentry poddaje go kwarantannie i zatrzymuje w ciągu milisekund. Sentry opiera się na platformie oprogramowania DOCA firmy Nvidia, która sprawdza żądania i odpowiedzi agentów, weryfikuje tożsamość agenta i egzekwuje zasady dostępu zerowego zaufania do danych, narzędzi, interfejsów API i usług.
„Bezpieczeństwo i ochrona wymagają inżynierii pełnego stosu”
Założyciel i dyrektor generalny Nvidii, Jensen Huang, określił tę premierę jako odpowiedź na debatę na temat bezpieczeństwa, która toczy się obecnie w branży. „Niezwykły potencjał sztucznej inteligencji dla społeczeństwa zostanie zrealizowany tylko wtedy, gdy rozwiążemy kwestię bezpieczeństwa sztucznej inteligencji” – stwierdził Huang w oświadczeniu. „W miarę odkrywania granic możliwości sztucznej inteligencji musimy przyspieszyć odkrywanie granic bezpieczeństwa sztucznej inteligencji. Bezpieczeństwo i ochrona wymagają kompleksowej inżynierii”.
Na swoim własnym blogu technicznym Nvidia bez ogródek opisała schemat ostatnich incydentów: nie była to pojedyncza nowa funkcja, która pozwoliła agentom uciec, ale „połączenie narzędzi, czasu i niejednoznacznych instrukcji”. Firma posłużyła się analogią do początków sieci, argumentując, że Internet stał się bezpieczny nie dlatego, że strony internetowe obiecały się zachowywać, ale dlatego, że przeglądarki przestały ufać kodowi stron internetowych i izolowały każdą stronę we własnym piaskownicy. „Bezpieczeństwo agentów wymaga niezależnych kontroli bezpieczeństwa” – napisano w poście.
Branża skupia się wokół egzekwowania prawa
Listę partnerów czyta się jako przekrój gospodarki AI. Anthropic nawiązał współpracę z firmą Nvidia, aby przedsiębiorstwa mogły wymusić kontrolę nad agentami zarządzanymi Claude poprzez integrację OpenShell i BlueField. „Firmy przekazują agentom sztucznej inteligencji większą część ich najważniejszej pracy, a to oni muszą kierować i weryfikować działania tych agentów, zwłaszcza we wrażliwych środowiskach” – powiedział Paul Smith, dyrektor handlowy w firmie Anthropic.
SpaceXAI korzysta z tej platformy w swoich agentach kodujących Cursor i modelach Grok, a prezes Mike Nicolls argumentuje, że „bezpieczeństwo powinno być egzekwowane poza modelem poprzez dodatkowe kontrole, których agent nie może ominąć”. Według dyrektora generalnego Francisa deSouzy firma Scale AI włącza projekt referencyjny do warstwy infrastruktury swojego portfolio GenAI dla klientów korporacyjnych i rządowych.
Salesforce zintegrował OpenShell ze Slackiem, dzięki czemu zespoły mogą przeglądać aktywność agentów i zatwierdzać lub odrzucać prośby o pozwolenie bezpośrednio z czatu. SAP osadza OpenShell ze swoim środowiskiem wykonawczym Joule Studio i wnosi wkład w prace inżynieryjne. Oprócz nazw nagłówków Nvidia wymienia CrowdStrike, Cisco, IBM, Microsoft, Palantir, Palo Alto Networks, Hugging Face, Perplexity, Cognition, Accenture, Deloitte i EY wśród ponad 100 organizacji pracujących z technologiami platformy, obok firm zajmujących się robotyką Figura, Gecko Robotics i Skild AI oraz grup finansowych Citi i JPMorganChase.
Prace te zasilają także inicjatywę Open Secure AI Alliance, inicjatywę zainicjowaną przez firmę Nvidia wraz z ponad 120 organizacjami i zarządzaną przez Linux Foundation, która prowadzi wspólny projekt o nazwie SAFE — Shared AI Findings Exchange — mający na celu gromadzenie wniosków dotyczących bezpieczeństwa w całej branży.
Dlaczego egzekwowanie zasad sprzętu ma teraz znaczenie?
Głównym założeniem platformy jest to, że kontrola w warstwie aplikacji nie jest już wystarczająca. W oświadczeniu Nvidii zauważono, że we wszystkich ostatnich incydentach schemat był ten sam: agent ominął kontrole bezpieczeństwa w warstwie aplikacji, aby wykonać przydzielone mu zadanie. Przenosząc monitorowanie do krzemu na oddzielnym procesorze DPU i do oddzielnego środowiska wykonawczego izolowanego przez jądro, firma argumentuje, że granica egzekwowania musi znajdować się tam, gdzie agent nie może jej edytować, wyłączać ani obejść.
To, czy sprawdzi się to w praktyce, będzie zależeć od adopcji. Oprogramowanie, w tym OpenShell, jest już dostępne na stronie zasobów dla programistów Nvidii i w serwisie GitHub, a drobny druk firmy ostrzega, że niektóre opisane funkcje pozostają na różnych etapach i będą oferowane w zależności od tego, kiedy i czy będą dostępne. Ale kierunek jest jasny: po miesiącu, w którym ucieczki agentów zdominowały rozmowy na temat bezpieczeństwa, warstwa infrastruktury nie czeka już, aż modelki same się pilnują.
---
Wyprzedź sztuczną inteligencjęOtrzymuj najnowsze wiadomości, analizy i przełomowe informacje dotyczące sztucznej inteligencji — wszystko w jednym miejscu.
Przeczytaj więcej aktualności o sztucznej inteligencji →
