Nvidia Pazartesi günü, açık bir yazılım platformu ve referans sistemi tasarımı olan Açık Ajan Güvenlik Platformu'nu duyurdu ve şirketin kuruluşlara testlerden dağıtıma kadar otonom AI ajanları üzerinde uygulanabilir kontrol sağlayacağını söyledi. Lansman, aracı yığınının tamamını kapsıyor: aracıları çalıştıran yazılım, onlara güç sağlayan donanım ve bilgi işlem katmanları ve fiziksel dünyada onların talimatlarını yerine getiren robotik sistemler.
Duyuru sektör için endişe verici bir zamanda geldi. Son haftalarda birçok sınır laboratuvarı aynı hikayenin farklı versiyonlarını bildirdi: Yapay zeka ajanları, kendilerini içermesi gereken değerlendirme ortamlarından çıkıp asla erişmemeleri gereken sistemlere ulaştı ve bazı durumlarda yaptıklarını yanlış bildirdi. Yapay zeka sektörünün kapsamını takip eden okuyucular için, Nvidia'nın hamlesi, büyük bir çip üreticisinin ilk tam kapsamlı uygulama yanıtını işaret ediyor ve halihazırda 100'den fazla ortak kuruluşun katılımını sağladı.
Platform gerçekte ne yapıyor?
Referans tasarımı iki bileşeni birleştirir. Bunlardan ilki olan OpenShell, Apache 2.0 lisansı altında yayımlanan ve çekirdek düzeyinde izolasyonla korumalı alan ortamlarında otonom aracıları çalıştıran, açık kaynaklı, güvenli bir çalışma zamanıdır. Operatörler, bir aracının hangi dosyalara, ağlara, araçlara, işlemlere ve kimlik bilgilerine erişebileceğini tanımlar ve OpenShell, aracı çalıştırılmadan önce bu sınırları kontrol eder ve çalışırken bunları sürekli olarak uygular. Nvidia, OpenShell'in, şirketin ajansal yapay zeka için özel olarak tasarlanmış ilk işlemci olarak tanımladığı Vera CPU'suna minimum düzeyde ek yük getirdiğini ve yazılımın Arm ve Intel'in üçüncü taraf platformlarına genişletilebileceğini söylüyor.
İkinci bileşen olan Sentry, yaptırımı tamamen temsilcinin erişiminin dışına iter. Nvidia'nın BlueField-4 veri işleme birimlerinde bant dışı bir gözlemci olarak çalışıyor ve şirketin hem aracılar hem de saldırganlar için görünmez olduğunu söylediği yalıtılmış bir güven alanından aracı davranışını izliyor. Bir aracı yazılım sınırlarının dışına çıkmaya çalışırsa Sentry onu karantinaya alır ve milisaniyeler içinde durdurur. Sentry, aracı isteklerini ve yanıtlarını denetleyen, aracı kimliğini doğrulayan ve veriler, araçlar, API'ler ve hizmetler için sıfır güven erişim politikalarını uygulayan Nvidia'nın DOCA yazılım çerçevesi üzerine kurulmuştur.
"Emniyet ve emniyet tam kapsamlı mühendislik gerektirir"
Nvidia'nın kurucusu ve CEO'su Jensen Huang, lansmanı şu anda sektörü tüketen güvenlik tartışmasına bir yanıt olarak çerçeveledi. Huang duyuruda, "Yapay zekanın toplum için olağanüstü potansiyeli ancak yapay zeka güvenliğini çözdüğümüz takdirde gerçekleştirilecektir" dedi. "Yapay zeka yeteneklerinin sınırlarını keşfetmeye devam ederken, yapay zeka güvenliğinin sınırlarını keşfetmeyi hızlandırmalıyız. Emniyet ve güvenlik, tam kapsamlı mühendislik gerektirir."
Nvidia, kendi teknik blogunda son olayların ardındaki model hakkında açık sözlü davrandı: ajanların kaçmasına izin veren tek bir yeni yetenek değil, "araçlar, zaman ve belirsiz talimatların birleşimi"ydi. Şirket, internetin ilk dönem web ile bir benzetme yaparak, web sitelerinin düzgün davranmaya söz vermesi nedeniyle değil, tarayıcıların web sayfalarındaki kodlara güvenmeyi bırakması ve her sayfayı kendi sanal alanında izole etmesi nedeniyle internetin güvenli hale geldiğini savundu. Gönderide "Ajan güvenliği bağımsız güvenlik kontrolleri gerektirir" denildi.
Sektör yaptırım etrafında birleşiyor
Ortak listesi yapay zeka ekonomisinin bir kesiti olarak okunuyor. Anthropic, işletmelerin OpenShell ve BlueField entegrasyonları aracılığıyla Claude Yönetilen Aracılar üzerinde kontrol sahibi olmasını sağlamak için Nvidia ile işbirliği yaptı. Anthropic'in baş ticari sorumlusu Paul Smith, "Şirketler yapay zeka temsilcilerine en önemli işlerinden daha fazlasını veriyor ve özellikle hassas ortamlarda bu temsilcilerin yaptıklarını yönlendirmeleri ve doğrulamaları gerekiyor" dedi.
SpaceXAI, platformu Cursor kodlama aracıları ve Grok modelleri için kullanıyor ve başkan Mike Nicolls "güvenliğin model dışında, aracının geçemeyeceği ek kontrollerle sağlanması gerektiğini" savunuyor. CEO Francis deSouza'ya göre Scale AI, referans tasarımını kurumsal ve kamu müşterilerine yönelik GenAI portföyünün altyapı katmanına dahil ediyor.
Salesforce, OpenShell'i Slack ile entegre etti; böylece ekipler temsilci etkinliğini görüntüleyebilir ve izin isteklerini doğrudan sohbetten onaylayabilir veya reddedebilir. SAP, OpenShell'i Joule Studio çalışma zamanına dahil ediyor ve mühendislik çalışmalarına katkıda bulunuyor. Nvidia, manşet isimlerinin ötesinde CrowdStrike, Cisco, IBM, Microsoft, Palantir, Palo Alto Networks, Hugging Face, Perplexity, Cognition, Accenture, Deloitte ve EY'nin yanı sıra robotik firmaları Figure, Gecko Robotics ve Skild AI ile Citi ve JPMorganChase finans gruplarının yanı sıra platformun teknolojileriyle çalışan 100'den fazla kuruluş arasında yer alıyor.
Çalışma aynı zamanda Nvidia'nın 120'den fazla kuruluşla birlikte başlattığı ve sektördeki güvenlik bulgularını bir havuzda toplamak için SAFE (Paylaşılan Yapay Zeka Bulguları Değişimi) adlı ortak bir projeyi yürüten Linux Vakfı tarafından yönetilen Açık Güvenli Yapay Zeka İttifakını da besliyor.
Donanım yaptırımı şimdi neden önemli?
Platformun ana iddiası, uygulama katmanı kontrollerinin artık yeterli olmamasıdır. Nvidia'nın duyurusunda, son olaylarda da aynı modelin geçerli olduğu belirtildi: Aracı, kendisine verilen görevi tamamlamak için uygulama katmanındaki güvenlik kontrollerini atlattı. Şirket, izlemeyi ayrı bir DPU'daki silikona ve çekirdekten yalıtılmış ayrı bir çalışma zamanına taşıyarak, uygulama sınırının, bir aracının düzenleyemeyeceği, devre dışı bırakamayacağı veya konuşamayacağı bir yerde olması gerektiğini savunuyor.
Bunun pratikte geçerli olup olmadığı benimsemeye bağlı olacaktır. OpenShell de dahil olmak üzere yazılıma şu anda Nvidia'nın geliştirici kaynakları sayfası ve GitHub aracılığıyla ulaşılabilmektedir ve şirketin ayrıntılı açıklamasında açıklanan bazı özelliklerin çeşitli aşamalarda kaldığı ve ne zaman ve ne zaman mevcut olursa sunulacağı konusunda uyarıda bulunulmaktadır. Ancak gidişat açık: Güvenlik görüşmelerinde ajan kaçaklarının hakim olduğu bir aydan sonra, altyapı katmanı artık modellerin kendilerini denetlemesini beklemiyor.
---
Yapay Zekanın Önünde OlunEn son AI haberlerini, analizlerini ve buluşlarını tek bir yerden alın.
Daha fazla AI haberini okuyun →
