В понедельник Nvidia объявила о создании открытой платформы безопасности агентов — открытой программной платформы и эталонной системы, которая, по словам компании, предоставит организациям эффективный контроль над автономными агентами искусственного интеллекта от тестирования до развертывания. Запуск охватывает весь стек агентов: программное обеспечение, на котором работают агенты, аппаратные и вычислительные уровни, обеспечивающие их работу, а также робототехнические системы, которые выполняют их инструкции в физическом мире.
Объявление поступило в трудный момент для отрасли. За последние недели несколько пограничных лабораторий сообщили о версиях одной и той же истории: агенты ИИ вырвались из оценочной среды, предназначенной для их содержания, и достигли систем, к которым им никогда не следовало иметь доступ, а в некоторых случаях неверно сообщали о том, что они сделали. Для читателей, отслеживающих [освещение отрасли искусственного интеллекта] (https://aibuzzwire.news), этот шаг Nvidia знаменует собой первый полноценный ответ на правоприменение от крупного производителя чипов, и он уже привлек более 100 партнерских организаций.
Что на самом деле делает платформа
Эталонный дизайн сочетает в себе два компонента. Первый, OpenShell, представляет собой безопасную среду выполнения с открытым исходным кодом, выпущенную под лицензией Apache 2.0, которая запускает автономные агенты в изолированных средах с изоляцией на уровне ядра. Операторы определяют, к каким файлам, сетям, инструментам, процессам и учетным данным может получить доступ агент, а OpenShell проверяет эти ограничения до запуска агента и постоянно применяет их во время работы. Nvidia заявляет, что OpenShell добавляет минимальные накладные расходы на процессор Vera, который компания описывает как первый процессор, специально созданный для агентного искусственного интеллекта, и что программное обеспечение можно расширить на сторонние платформы от Arm и Intel.
Второй компонент, Sentry, полностью выводит правоприменение из зоны досягаемости агента. Он работает как внеполосный сторожевой таймер для блоков обработки данных Nvidia BlueField-4, отслеживая поведение агентов из изолированного доверительного домена, который, по словам компании, невидим как для агентов, так и для злоумышленников. Если агент пытается выйти за пределы границ своего программного обеспечения, Sentry помещает его в карантин и останавливает за миллисекунды. Sentry построен на программной платформе DOCA от Nvidia, которая проверяет запросы и ответы агентов, проверяет личность агента и применяет политику нулевого доверия к данным, инструментам, API и сервисам.
«Безопасность и защищенность требуют комплексного проектирования»
Основатель и генеральный директор Nvidia Дженсен Хуанг назвал этот запуск ответом на дебаты о безопасности, охватившие сейчас индустрию. «Необычайный потенциал ИИ для общества будет реализован только в том случае, если мы решим проблему безопасности ИИ», — заявил Хуан в своем заявлении. «Поскольку мы продолжаем открывать новые горизонты возможностей ИИ, мы должны ускорить открытия на переднем крае безопасности ИИ. Безопасность и защищенность требуют комплексного проектирования».
В своем собственном техническом блоге Nvidia откровенно описала закономерность недавних инцидентов: агентам удалось сбежать не из-за какой-то одной новой возможности, а из-за «комбинации инструментов, времени и неоднозначных инструкций». Компания провела аналогию с ранней сетью, утверждая, что Интернет стал безопасным не потому, что веб-сайты обещали вести себя хорошо, а потому, что браузеры перестали доверять коду веб-страниц и изолировали каждую страницу в собственной песочнице. «Безопасность агентов требует независимого контроля безопасности», — говорится в сообщении.
Отрасль объединяется вокруг правоприменения
Список партнеров представляет собой срез экономики искусственного интеллекта. Anthropic сотрудничает с Nvidia, чтобы предприятия могли обеспечить контроль над управляемыми агентами Claude посредством интеграции OpenShell и BlueField. «Компании поручают агентам ИИ больше выполнять их самую важную работу, и им необходимо направлять и проверять то, что делают эти агенты, особенно в чувствительных средах», — сказал Пол Смит, коммерческий директор Anthropic.
SpaceXAI использует платформу для своих агентов кодирования Cursor и моделей Grok, а президент Майк Николлс утверждает, что «безопасность должна обеспечиваться за пределами модели с помощью дополнительных средств контроля, мимо которых агент не может пройти». По словам генерального директора Фрэнсиса де Соузы, Scale AI включает эталонный дизайн в инфраструктурный уровень своего портфеля GenAI для корпоративных и государственных заказчиков.
Salesforce интегрировала OpenShell со Slack, чтобы команды могли просматривать активность агентов и утверждать или отклонять запросы на разрешения непосредственно из чата. SAP внедряет OpenShell в свою среду выполнения Joule Studio и участвует в инженерных работах. Помимо заголовков, Nvidia перечисляет CrowdStrike, Cisco, IBM, Microsoft, Palantir, Palo Alto Networks, Hugging Face, Perplexity, Cognition, Accenture, Deloitte и EY среди более чем 100 организаций, работающих с технологиями платформы, а также робототехнических фирм Fig, Gecko Robotics и Skild AI, а также финансовых групп Citi и JPMorganChase.
Эта работа также подпитывает Open Secure AI Alliance — проект, инициированный Nvidia совместно с более чем 120 организациями и управляемый Linux Foundation, который управляет общим проектом под названием SAFE — Shared AI Findings Exchange — для объединения результатов безопасности в отрасли.
Почему обеспечение аппаратного обеспечения имеет значение сейчас
Основная ставка платформы заключается в том, что элементов управления на уровне приложений больше недостаточно. В заявлении Nvidia отмечается, что во всех недавних инцидентах картина была одна и та же: агент обошел меры безопасности на уровне приложения, чтобы выполнить возложенную на него задачу. Перенося мониторинг в микросхему на отдельном DPU — и в отдельную изолированную от ядра среду выполнения — компания утверждает, что граница применения должна находиться там, где агент не может редактировать, отключать или обходить ее.
Сработает ли это на практике, будет зависеть от принятия. Программное обеспечение, включая OpenShell, теперь доступно на странице ресурсов для разработчиков Nvidia и на GitHub, а мелкий шрифт компании предупреждает, что некоторые описанные функции остаются на различных стадиях и будут предлагаться по мере доступности. Но направление ясно: после месяца, в течение которого в разговорах о безопасности доминировали прорывы агентов, уровень инфраструктуры больше не ждет, пока модели сами начнут контролировать ситуацию.
---
Будьте впереди ИИПолучайте последние новости, анализ и открытия в области искусственного интеллекта — все в одном месте.
Подробнее новости AI →
