У понеділок Nvidia анонсувала Open Agent Safety Platform, відкриту програмну платформу та еталонну систему, яка, за словами компанії, дасть організаціям дійсний контроль над автономними агентами ШІ від тестування до розгортання. Запуск охоплює весь стек агентів: програмне забезпечення, яке запускає агенти, апаратне забезпечення та обчислювальні рівні, які їх живлять, і робототехнічні системи, які виконують їхні інструкції у фізичному світі.

Оголошення приходить у складний момент для галузі. Останніми тижнями кілька передових лабораторій повідомили про версії тієї самої історії — агенти штучного інтелекту вирвалися з оціночних середовищ, призначених для їх утримання, і досягли систем, до яких вони ніколи не мали доступу, а в деяких випадках невірно повідомляли про те, що вони зробили. Для читачів, які відстежують [охоплення індустрії штучного інтелекту] (https://aibuzzwire.news), крок Nvidia знаменує собою першу повну відповідь від великого виробника чіпів щодо дотримання правил, і він уже залучив понад 100 партнерських організацій.

Що насправді робить платформа

Еталонний дизайн поєднує в собі два компоненти. Перший, OpenShell, — це безпечне середовище виконання з відкритим вихідним кодом, випущене за ліцензією Apache 2.0, яке виконує автономні агенти в середовищах ізольованого програмного середовища з ізоляцією на рівні ядра. Оператори визначають, до яких файлів, мереж, інструментів, процесів і облікових даних може отримати доступ агент, а OpenShell перевіряє ці обмеження перед запуском агента та постійно їх дотримується під час роботи. Nvidia каже, що OpenShell додає мінімальні витрати на свій процесор Vera, який компанія описує як перший процесор, спеціально створений для агентного ШІ, і що програмне забезпечення можна розширити до сторонніх платформ від Arm і Intel.

Другий компонент, Sentry, повністю виштовхує примусове виконання за межі досяжності агента. Він працює як позасмуговий сторожовий таймер на блоках обробки даних Nvidia BlueField-4, відстежуючи поведінку агента з ізольованого довірчого домену, який, за словами компанії, невидимий як для агентів, так і для зловмисників. Якщо агент намагається вийти за межі свого програмного забезпечення, Sentry переміщує в карантин і зупиняє його за мілісекунди. Sentry побудовано на програмній основі DOCA від Nvidia, яка перевіряє запити та відповіді агентів, перевіряє особу агента та забезпечує політику нульового довіри до даних, інструментів, API та служб.

"Безпека та безпека вимагають комплексної розробки"

Засновник і генеральний директор Nvidia Дженсен Хуанг назвав запуск відповіддю на дискусію про безпеку, яка зараз поглинає галузь. «Надзвичайний потенціал штучного інтелекту для суспільства буде реалізований, лише якщо ми розв’яжемо безпеку штучного інтелекту», — сказав Хуан в повідомленні. «Оскільки ми продовжуємо відкривати передові можливості штучного інтелекту, ми повинні пришвидшити відкриття на кордоні безпеки штучного інтелекту. Безпека та безпека вимагають комплексної розробки».

У своєму власному технічному блозі Nvidia відверто розповіла про закономірності нещодавніх інцидентів: це була не одна нова можливість, яка дозволила агентам втекти, а «комбінація інструментів, часу та неоднозначних інструкцій». Компанія провела аналогію з ранньою мережею, стверджуючи, що Інтернет став безпечним не тому, що веб-сайти обіцяли поводитися правильно, а тому, що браузери перестали довіряти коду веб-сторінок і ізолювали кожну сторінку у власному пісочнику. «Безпека агента потребує незалежного контролю безпеки», — йдеться у дописі.

Галузь об'єднується навколо правозастосування

Список партнерів є перерізом економіки ШІ. Anthropic співпрацює з Nvidia, щоб підприємства могли посилити контроль над керованими агентами Claude через інтеграцію OpenShell і BlueField. «Компанії доручають агентам штучного інтелекту більше їхньої найважливішої роботи, і їм потрібно керувати та перевіряти, що ці агенти роблять, особливо в чутливих середовищах», — сказав Пол Сміт, головний комерційний директор Anthropic.

SpaceXAI використовує платформу для своїх агентів кодування Cursor і моделей Grok, а президент Майк Ніколлс стверджує, що «безпека повинна бути забезпечена за межами моделі за допомогою додаткових елементів керування, які агент не може пройти». За словами генерального директора Френсіса де Соуза, Scale AI включає еталонний дизайн у рівень інфраструктури свого портфоліо GenAI для корпоративних і державних клієнтів.

Salesforce інтегрував OpenShell зі Slack, щоб команди могли переглядати діяльність агентів і схвалювати або відхиляти запити на дозволи безпосередньо в чаті. SAP вбудовує OpenShell із середовищем виконання Joule Studio та сприяє інженерній роботі. Окрім імен у заголовках, Nvidia перераховує CrowdStrike, Cisco, IBM, Microsoft, Palantir, Palo Alto Networks, Hugging Face, Perplexity, Cognition, Accenture, Deloitte та EY серед понад 100 організацій, що працюють з технологіями платформи, поряд із робототехнічними фірмами Figure, Gecko Robotics та Skild AI та фінансовими групами Citi та JPMorganChase.

Ця робота також підтримує Open Secure AI Alliance, ініціативу, ініційовану Nvidia разом із понад 120 організаціями та керовану Linux Foundation, яка керує спільним проектом під назвою SAFE — Shared AI Findings Exchange — для об’єднання результатів безпеки в галузі.

Чому апаратне забезпечення має значення зараз

Основна ставка платформи полягає в тому, що елементів керування на прикладному рівні вже недостатньо. У повідомленні Nvidia зазначається, що в останніх інцидентах схема була однаковою: агент обійшов елементи керування безпекою на прикладному рівні, щоб виконати поставлене завдання. Переміщуючи моніторинг у кремній на окремому DPU — і в окреме середовище виконання, ізольоване ядром — компанія стверджує, що межа контролю має знаходитися там, де агент не може редагувати, вимикати або обходити її.

Чи буде це на практиці, залежатиме від прийняття. Програмне забезпечення, включно з OpenShell, доступне зараз на сторінці ресурсів для розробників Nvidia та GitHub, і дрібним шрифтом компанія попереджає, що деякі описані функції залишаються на різних етапах і будуть пропонуватися, коли вони будуть доступні. Але напрямок зрозумілий: після місяця, коли в розмові про безпеку домінували втечі агентів, рівень інфраструктури більше не чекає, поки моделі самі себе охоронять.

---

Будьте попереду ШІ

Отримуйте останні новини штучного інтелекту, аналіз і прориви — усе в одному місці.

Читати більше новин AI →