Nvidia הכריזה ביום שני על Open Agent Safety Platform, פלטפורמת תוכנה פתוחה ועיצוב מערכת התייחסות שלדבריה תעניק לארגונים שליטה ניתנת לאכיפה על סוכני AI אוטונומיים מבדיקות ועד פריסה. ההשקה משתרעת על כל ערימת הסוכנים: התוכנה שמפעילה סוכנים, שכבות החומרה והמחשוב שמניעות אותם ומערכות הרובוטיקה שמבצעות את הוראותיהן בעולם הפיזי.

ההודעה מגיעה ברגע עמוס עבור התעשייה. בשבועות האחרונים מספר מעבדות גבול דיווחו על גרסאות של אותו סיפור - סוכני AI פרצו מסביבות ההערכה שנועדו להכיל אותם והגיעו למערכות שאף פעם לא היו צריכים לגשת אליהן, ובמקרים מסוימים דיווחו לא נכון על מה שעשו. לקוראים העוקבים אחר סיקור תעשיית AI, המהלך של Nvidia מסמן את התשובה הראשונה לאכיפה מלאה מיצרנית שבבים גדולה, והיא כבר משכה יותר מ-100 ארגונים שותפים.

מה הפלטפורמה עושה בפועל

עיצוב ההתייחסות משלב שני מרכיבים. הראשון, OpenShell, הוא זמן ריצה מאובטח בקוד פתוח - ששוחרר תחת רישיון Apache 2.0 - המבצע סוכנים אוטונומיים בסביבות עם ארגז חול עם בידוד ברמת הקרנל. המפעילים מגדירים לאילו קבצים, רשתות, כלים, תהליכים ואישורים שסוכן יכול לגשת אליו, ו-OpenShell בודק את המגבלות הללו לפני שהסוכן פועל ואוכף אותן ברציפות תוך כדי פעולתו. Nvidia אומרת ש-OpenShell מוסיפה תקורה מינימלית ל-Vera CPU שלה, שהחברה מתארת ​​כמעבד הראשון שנבנה במיוחד עבור AI סוכן, וכי ניתן להרחיב את התוכנה לפלטפורמות צד שלישי מ-Arm ואינטל.

המרכיב השני, Sentry, דוחק את האכיפה מחוץ להישג ידו של הסוכן לחלוטין. הוא פועל ככלב שמירה מחוץ לתחום ביחידות עיבוד הנתונים BlueField-4 של Nvidia, ועוקב אחר התנהגות סוכנים מתחום אמון מבודד שלדברי החברה אינו נראה לסוכנים ולתוקפים כאחד. אם סוכן מנסה לעבור אל מחוץ לגבולות התוכנה שלו, Sentry מעביר את הסגר ועוצר אותו תוך אלפיות שניות. Sentry בנויה על מסגרת התוכנה DOCA של Nvidia, אשר בודקת בקשות ותגובות של סוכן, מאמתת את זהות הסוכן ואוכפת מדיניות גישה אפס אמון עבור נתונים, כלים, ממשקי API ושירותים.

"בטיחות ואבטחה דורשות הנדסה מלאה"

מייסד ומנכ"ל Nvidia, Jensen Huang, הגדיר את ההשקה כתגובה לדיון הבטיחותי שצורך כעת את התעשייה. "הפוטנציאל יוצא הדופן של AI לחברה יתממש רק אם נפתור את בטיחות AI", אמר הואנג בהודעה. "כשאנחנו ממשיכים לגלות את גבול יכולות ה-AI, עלינו להאיץ את הגילוי בגבול הבטיחות של AI. בטיחות ואבטחה דורשות הנדסה מלאה".

בבלוג הטכני שלה, Nvidia הייתה בוטה לגבי הדפוס מאחורי התקריות האחרונות: זו לא הייתה יכולת חדשה אחת שנתנה לסוכנים לברוח, אלא "שילוב של כלים, זמן והוראות מעורפלות". החברה יצרה אנלוגיה לרשת המוקדמת, בטענה שהאינטרנט הפך בטוח לא בגלל שאתרים הבטיחו להתנהג אלא בגלל שדפדפנים הפסיקו לסמוך על הקוד בדפי אינטרנט ובידדו כל עמוד בארגז החול שלו. "בטיחות הסוכן דורשת בקרות אבטחה עצמאיות", נכתב בפוסט.

התעשייה מתלכדת סביב האכיפה

רשימת השותפים נקראת חתך רוחב של כלכלת הבינה המלאכותית. Anthropic שיתפה פעולה עם Nvidia כדי שארגונים יוכלו לאכוף שליטה על קלוד מנוהלים באמצעות שילובי OpenShell ו-BlueField. "חברות נותנות לסוכני בינה מלאכותית יותר מהעבודה החשובה ביותר שלהן, והן צריכות לכוון ולאמת את מה שהסוכנים האלה עושים, במיוחד בסביבות רגישות", אמר פול סמית', מנהל המסחר הראשי של אנתרופיק.

SpaceXAI משתמשת בפלטפורמה עבור סוכני קידוד Cursor ודגמי Grok, כאשר הנשיא מייק ניקולס טוען כי "יש לאכוף בטיחות מחוץ למודל על ידי בקרות נוספות שהסוכן לא יכול לעבור". Scale AI משלבת את עיצוב הייחוס בשכבת התשתית של תיק ה-GenAI שלה עבור לקוחות ארגוניים וממשלתיים, לדברי המנכ"ל פרנסיס דה סוזה.

Salesforce שילבה את OpenShell עם Slack כך שצוותים יכולים לראות את פעילות הסוכן ולאשר או לדחות בקשות הרשאה ישירות מהצ'אט. SAP מטמיעה את OpenShell עם זמן הריצה של Joule Studio שלה ותורמת עבודה הנדסית. מעבר לשמות הכותרות, Nvidia מפרטת את CrowdStrike, Cisco, IBM, Microsoft, Palantir, Palo Alto Networks, Hugging Face, Perplexity, Cognition, Accenture, Deloitte ו-EY מבין יותר מ-100 ארגונים העובדים עם הטכנולוגיות של הפלטפורמה, לצד חברות הרובוטיקה Figure, Gecko JPM ו-Skill קבוצות פיננסיות.

העבודה גם מזינה את Open Secure AI Alliance, מאמץ שיזמה Nvidia לצד למעלה מ-120 ארגונים ונשלטת על ידי קרן לינוקס, המנהלת פרויקט משותף בשם SAFE - Shared AI Findings Exchange - לאיגור ממצאי בטיחות ברחבי התעשייה.

מדוע אכיפת חומרה חשובה כעת

ההימור המרכזי של הפלטפורמה הוא שבקרות שכבת האפליקציה כבר לא מספיקות. ההודעה של Nvidia ציינה כי לאורך התקריות האחרונות הדפוס היה זהה: הסוכן עקף את בקרות האבטחה בשכבת האפליקציה כדי להשלים את המשימה שהוקצתה לו. על ידי העברת הניטור לסיליקון ב-DPU נפרד - ולתוך זמן ריצה נפרד מבודד ליבה - החברה טוענת שגבול האכיפה חייב לשבת במקום שבו סוכן לא יכול לערוך, להשבית או לדבר על דרכו.

האם זה מתקיים בפועל תלוי באימוץ. התוכנה, כולל OpenShell, זמינה כעת דרך דף משאבי המפתחים של Nvidia ו-GitHub, והאותיות הקטנות של החברה מזהירות שחלק מהתכונות המתוארות נשארות בשלבים שונים ויוצעו על בסיס מתי-ו-אם-זמינות. אבל הכיוון ברור: אחרי חודש שבו פריצות סוכנים שלטו בשיחת הבטיחות, שכבת התשתית כבר לא מחכה שהדוגמניות ישטרו את עצמן.

---

הישאר לפני AI

קבל את החדשות, הניתוחים ופריצות הדרך האחרונות של AI - הכל במקום אחד.

קרא עוד חדשות AI →