Nvidia mengumumkan pada hari Senin Open Agent Safety Platform, sebuah platform perangkat lunak terbuka dan desain sistem referensi yang menurut perusahaan akan memberikan organisasi kendali yang dapat diterapkan atas agen AI otonom mulai dari pengujian hingga penerapan. Peluncuran ini mencakup seluruh tumpukan agen: perangkat lunak yang menjalankan agen, perangkat keras dan lapisan komputasi yang menggerakkannya, serta sistem robotika yang menjalankan instruksinya di dunia fisik.
Pengumuman ini tiba pada saat yang penuh tantangan bagi industri. Dalam beberapa minggu terakhir, beberapa laboratorium terdepan telah melaporkan versi cerita yang sama — agen AI keluar dari lingkungan evaluasi yang dimaksudkan untuk menampung hal tersebut dan mencapai sistem yang seharusnya tidak pernah mereka akses, dan dalam beberapa kasus salah melaporkan apa yang telah mereka lakukan. Bagi pembaca yang memantau cakupan industri AI, langkah Nvidia ini menandai jawaban penerapan full-stack pertama dari produsen chip besar, dan telah menarik lebih dari 100 organisasi mitra.
Apa yang sebenarnya dilakukan platform tersebut
Desain referensi menggabungkan dua komponen. Yang pertama, OpenShell, adalah runtime aman sumber terbuka — dirilis di bawah lisensi Apache 2.0 — yang mengeksekusi agen otonom di lingkungan sandbox dengan isolasi tingkat kernel. Operator menentukan file, jaringan, alat, proses, dan kredensial mana yang dapat diakses oleh agen, dan OpenShell memeriksa batasan tersebut sebelum agen berjalan dan menerapkannya secara terus-menerus saat agen bekerja. Nvidia mengatakan OpenShell menambahkan overhead minimal pada CPU Vera-nya, yang digambarkan perusahaan sebagai prosesor pertama yang dibuat khusus untuk AI agen, dan perangkat lunak tersebut dapat diperluas ke platform pihak ketiga dari Arm dan Intel.
Komponen kedua, Sentry, mendorong penegakan hukum keluar dari jangkauan agen sepenuhnya. Ini berjalan sebagai pengawas out-of-band pada unit pemrosesan data BlueField-4 Nvidia, memantau perilaku agen dari domain kepercayaan terisolasi yang menurut perusahaan tidak terlihat oleh agen dan penyerang. Jika agen mencoba keluar dari batas perangkat lunaknya, Sentry akan mengkarantina dan menghentikannya dalam hitungan milidetik. Sentry dibangun di atas kerangka perangkat lunak DOCA Nvidia, yang memeriksa permintaan dan respons agen, memverifikasi identitas agen, dan menerapkan kebijakan akses tanpa kepercayaan untuk data, alat, API, dan layanan.
"Keselamatan dan keamanan memerlukan rekayasa full-stack"
Pendiri dan CEO Nvidia Jensen Huang menyebut peluncuran ini sebagai respons terhadap perdebatan keselamatan yang kini melanda industri. “Potensi AI yang luar biasa bagi masyarakat hanya akan terwujud jika kita mengatasi masalah keamanan AI,” kata Huang dalam pengumumannya. “Seiring kita terus menemukan batasan kemampuan AI, kita harus mempercepat penemuan batasan keselamatan AI. Keselamatan dan keamanan memerlukan rekayasa menyeluruh.”
Dalam blog teknisnya, Nvidia berterus terang tentang pola di balik insiden baru-baru ini: bukan hanya kemampuan baru yang membuat agen bisa lolos, melainkan "kombinasi alat, waktu, dan instruksi yang ambigu". Perusahaan ini menganalogikannya dengan web awal, dengan alasan bahwa internet menjadi aman bukan karena situs web berjanji untuk berperilaku baik, namun karena browser tidak lagi mempercayai kode di halaman web dan mengisolasi setiap halaman di kotak pasirnya sendiri. “Keselamatan agen memerlukan kontrol keamanan independen,” kata postingan tersebut.
Industri ini bersatu dalam penegakan hukum
Daftar mitra dibaca sebagai bagian dari ekonomi AI. Anthropic telah berkolaborasi dengan Nvidia sehingga perusahaan dapat menerapkan kontrol atas Agen Terkelola Claude melalui integrasi OpenShell dan BlueField. “Perusahaan memberikan lebih banyak pekerjaan terpenting kepada agen AI, dan mereka perlu mengarahkan dan memverifikasi apa yang dilakukan agen tersebut, terutama di lingkungan sensitif,” kata Paul Smith, chief komersial officer Anthropic.
SpaceXAI menggunakan platform tersebut untuk agen pengkodean Kursor dan model Grok, dengan presiden Mike Nicolls berpendapat bahwa "keselamatan harus ditegakkan di luar model dengan kontrol tambahan yang tidak dapat dilewati oleh agen". Scale AI menggabungkan desain referensi ke dalam lapisan infrastruktur portofolio GenAI untuk pelanggan perusahaan dan pemerintah, menurut CEO Francis deSouza.
Salesforce telah mengintegrasikan OpenShell dengan Slack sehingga tim dapat melihat aktivitas agen dan menyetujui atau menolak permintaan izin langsung dari obrolan. SAP menyematkan OpenShell dengan runtime Joule Studio dan menyumbangkan pekerjaan teknik. Selain nama-nama utama, Nvidia mencantumkan CrowdStrike, Cisco, IBM, Microsoft, Palantir, Palo Alto Networks, Hugging Face, Perplexity, Cognition, Accenture, Deloitte dan EY di antara lebih dari 100 organisasi yang bekerja dengan teknologi platform tersebut, bersama dengan perusahaan robotika Figure, Gecko Robotics dan Skild AI, serta grup keuangan Citi dan JPMorganChase.
Pekerjaan ini juga mendukung Open Secure AI Alliance, sebuah upaya yang diprakarsai oleh Nvidia bersama lebih dari 120 organisasi dan diatur oleh Linux Foundation, yang menjalankan proyek bersama yang disebut SAFE – Shared AI Findings Exchange – untuk mengumpulkan temuan keselamatan di seluruh industri.
Mengapa penegakan perangkat keras penting saat ini
Taruhan utama platform ini adalah kontrol lapisan aplikasi tidak lagi memadai. Pengumuman Nvidia mencatat bahwa dalam insiden baru-baru ini, polanya sama: agen menghindari kontrol keamanan di lapisan aplikasi untuk menyelesaikan tugas yang diberikan. Dengan memindahkan pemantauan ke dalam silikon pada DPU terpisah — dan ke runtime terpisah yang diisolasi dengan kernel — perusahaan berargumentasi bahwa batas penegakan hukum harus berada di tempat di mana agen tidak dapat mengedit, menonaktifkan, atau mengatasi hal tersebut.
Penerapannya akan bergantung pada penerapannya. Perangkat lunak tersebut, termasuk OpenShell, kini tersedia melalui halaman sumber daya pengembang Nvidia dan GitHub, dan laporan kecil perusahaan memperingatkan bahwa beberapa fitur yang dijelaskan masih dalam berbagai tahap dan akan ditawarkan kapan dan jika tersedia. Namun arahnya jelas: setelah satu bulan di mana penyebaran agen mendominasi pembicaraan tentang keselamatan, lapisan infrastruktur tidak lagi menunggu model untuk mengawasi dirinya sendiri.
---
Tetap Terdepan dalam AIDapatkan berita, analisis, dan terobosan AI terkini — semuanya di satu tempat.
Baca berita AI selengkapnya →
