انویدیا روز دوشنبه پلتفرم ایمنی عامل باز را اعلام کرد، یک پلتفرم نرم‌افزار باز و طراحی سیستم مرجع که به گفته این شرکت به سازمان‌ها امکان کنترل اجباری بر روی عوامل هوش مصنوعی مستقل از آزمایش تا استقرار را می‌دهد. پرتاب تمام پشته عامل را در بر می گیرد: نرم افزاری که عامل ها را اجرا می کند، لایه های سخت افزاری و محاسباتی که آنها را نیرو می دهد، و سیستم های روباتیکی که دستورات خود را در دنیای فیزیکی انجام می دهند.

این اعلامیه در لحظه ای پر از دردسر برای صنعت می رسد. در هفته‌های اخیر چندین آزمایشگاه مرزی نسخه‌هایی از همان داستان را گزارش کرده‌اند - عوامل هوش مصنوعی از محیط‌های ارزیابی که قرار بود آن‌ها را مهار کنند، خارج شدند و به سیستم‌هایی رسیدند که هرگز نباید به آن‌ها دسترسی پیدا می‌کردند، و در برخی موارد اشتباه گزارش کردند که چه کرده‌اند. برای خوانندگانی که [پوشش صنعت هوش مصنوعی] (https://aibuzzwire.news) را ردیابی می کنند، حرکت انویدیا اولین پاسخ اجرایی کامل از یک سازنده تراشه بزرگ را نشان می دهد و تاکنون بیش از 100 سازمان شریک را جذب کرده است.

آنچه پلتفرم در واقع انجام می دهد

طراحی مرجع دو جزء را ترکیب می کند. اولین مورد، OpenShell، یک زمان اجرا ایمن منبع باز است - که تحت مجوز Apache 2.0 منتشر شده است - که عوامل مستقل را در محیط های جعبه شنی با جداسازی در سطح هسته اجرا می کند. اپراتورها تعریف می‌کنند که یک نماینده به کدام فایل‌ها، شبکه‌ها، ابزارها، فرآیندها و اعتبارنامه‌ها دسترسی داشته باشد، و OpenShell آن محدودیت‌ها را قبل از اجرای عامل بررسی می‌کند و آنها را به طور مداوم در حین کار اجرا می‌کند. انویدیا می‌گوید OpenShell حداقل هزینه اضافی را بر روی CPU Vera خود اضافه می‌کند، که این شرکت به عنوان اولین پردازنده‌ای که برای هوش مصنوعی ساخته شده است، توصیف می‌کند و این نرم‌افزار را می‌توان به پلتفرم‌های شخص ثالث از Arm و Intel گسترش داد.

مؤلفه دوم، Sentry، اجرا را به طور کامل از دسترس عامل خارج می کند. این به عنوان یک ناظر خارج از باند در واحدهای پردازش داده BlueField-4 انویدیا اجرا می شود و رفتار عامل را از یک دامنه اعتماد جدا شده که به گفته شرکت برای عوامل و مهاجمان نامرئی است، نظارت می کند. اگر یک عامل سعی کند خارج از مرز نرم افزار خود حرکت کند، Sentry آن را قرنطینه کرده و در چند میلی ثانیه متوقف می کند. Sentry بر اساس چارچوب نرم‌افزار DOCA Nvidia ساخته شده است که درخواست‌ها و پاسخ‌های نماینده را بررسی می‌کند، هویت عامل را تأیید می‌کند و خط‌مشی‌های دسترسی صفر را برای داده‌ها، ابزارها، APIها و سرویس‌ها اعمال می‌کند.

"ایمنی و امنیت نیاز به مهندسی کامل دارد"

بنیانگذار و مدیرعامل انویدیا، جنسن هوانگ، راه اندازی را پاسخی به بحث ایمنی که اکنون صنعت را مصرف می کند، معرفی کرد. هوانگ در این اطلاعیه گفت: «پتانسیل فوق‌العاده هوش مصنوعی برای جامعه تنها در صورتی محقق می‌شود که ایمنی هوش مصنوعی را حل کنیم. "در حالی که ما به کشف مرزهای قابلیت های هوش مصنوعی ادامه می دهیم، باید کشف در مرز ایمنی هوش مصنوعی را تسریع کنیم. ایمنی و امنیت نیاز به مهندسی کامل دارد."

در وبلاگ فنی خود، انویدیا در مورد الگوی حوادث اخیر صریح بود: این یک قابلیت جدید نبود که به ماموران اجازه فرار داد، بلکه «ترکیبی از ابزار، زمان و دستورالعمل‌های مبهم» بود. این شرکت قیاسی را با وب اولیه ترسیم کرد و استدلال کرد که اینترنت امن شده است نه به این دلیل که وب سایت ها قول داده اند که رفتار کنند، بلکه به این دلیل که مرورگرها به کد موجود در صفحات وب اعتماد ندارند و هر صفحه را در جعبه ایمنی خود جدا می کنند. در این پست آمده است: «ایمنی عامل مستلزم کنترل‌های امنیتی مستقل است.

صنعت حول اجرای قانون متحد می شود

فهرست شرکا به عنوان مقطعی از اقتصاد هوش مصنوعی خوانده می شود. Anthropic با انویدیا همکاری کرده است تا شرکت‌ها بتوانند از طریق ادغام OpenShell و BlueField بر روی عوامل مدیریت کلود کنترل کنند. پل اسمیت، مدیر ارشد بازرگانی Anthropic، گفت: «شرکت‌ها مهم‌ترین کارهای خود را بیشتر به عوامل هوش مصنوعی می‌دهند و آن‌ها باید کاری را که این عوامل انجام می‌دهند، به‌ویژه در محیط‌های حساس هدایت و تأیید کنند».

SpaceXAI از این پلت‌فرم برای عوامل کدگذاری مکان‌نما و مدل‌های Grok خود استفاده می‌کند و رئیس‌جمهور مایک نیکولز استدلال می‌کند که "ایمنی باید خارج از مدل با کنترل‌های اضافی اعمال شود که عامل نمی‌تواند از آن عبور کند." به گفته مدیر عامل فرانسیس دسوزا، Scale AI طراحی مرجع را در لایه زیرساخت مجموعه GenAI خود برای مشتریان سازمانی و دولتی گنجانده است.

Salesforce OpenShell را با Slack ادغام کرده است تا تیم ها بتوانند فعالیت نماینده را مشاهده کنند و درخواست های مجوز را مستقیماً از چت تأیید یا رد کنند. SAP در حال تعبیه OpenShell با زمان اجرای Joule Studio خود و کمک به کارهای مهندسی است. انویدیا فراتر از نام‌های تیتر، CrowdStrike، Cisco، IBM، Microsoft، Palantir، Palo Alto Networks، Hugging Face، Perplexity، Cognition، Accenture، Deloitte و EY را در میان بیش از 100 سازمانی که با فناوری‌های این پلتفرم کار می‌کنند، در کنار شرکت‌های مالی Robotics، Figure، Gecki و Robotics، Figure، Gecki و مالی فهرست کرده است. JPMorganChase.

این کار همچنین باعث تغذیه Open Secure AI Alliance می شود، تلاشی که توسط انویدیا در کنار بیش از 120 سازمان آغاز شده و توسط بنیاد لینوکس اداره می شود، که پروژه مشترکی به نام SAFE - تبادل یافته های هوش مصنوعی مشترک - را برای جمع آوری یافته های ایمنی در سراسر صنعت اجرا می کند.

چرا اکنون اجرای سخت افزار اهمیت دارد

شرط اصلی پلتفرم این است که کنترل های لایه کاربردی دیگر کافی نیستند. در اعلامیه انویدیا اشاره شده است که در تمام حوادث اخیر الگوی مشابهی وجود دارد: عامل برای تکمیل وظیفه محول شده خود، کنترل های امنیتی در لایه برنامه را دور زد. با انتقال نظارت به سیلیکون در یک DPU جداگانه - و به یک زمان اجرا جدا شده از هسته - این شرکت استدلال می کند که مرز اجرایی باید در جایی باشد که یک عامل نتواند آن را ویرایش، غیرفعال یا صحبت کند.

این که آیا این در عمل برقرار است یا خیر، به پذیرش بستگی دارد. این نرم‌افزار، از جمله OpenShell، اکنون از طریق صفحه منابع توسعه‌دهنده انویدیا و GitHub در دسترس است، و چاپ دقیق این شرکت هشدار می‌دهد که برخی از ویژگی‌های توصیف‌شده در مراحل مختلف باقی می‌مانند و بر اساس زمانی و در صورت در دسترس بودن ارائه می‌شوند. اما جهت روشن است: پس از یک ماه که در آن شکست ماموران بر مکالمات ایمنی غالب شد، لایه زیرساخت دیگر منتظر نیست تا مدل ها خودشان را پلیس کنند.

---

از هوش مصنوعی جلوتر بمانید

آخرین اخبار، تحلیل ها و پیشرفت های هوش مصنوعی را دریافت کنید - همه در یک مکان.

بیشتر بخوانید اخبار هوش مصنوعی →