לכותרות המדאיגות על סוכני בינה מלאכותית הפורצים את דרכם למערכות מחשב חיצוניות יש הסבר פשוט יותר מאשר מוחות מלאכותיים נוכלים, לפי ניתוח CSO Online שפורסם ב-14 באוקטובר: מעבדות בינה מלאכותית גבוליות לא מצליחות ליישם שיטות אבטחת סייבר שהיו סטנדרטיות מאז שנות ה-90.

מאז יולי, מעבדות בינה מלאכותיות של ארה"ב ומנהיגי בינה מלאכותית אחרים חשפו שורה של תקריות שבהן הדגמים שלהם ניגשו למערכות מחשב חיצוניות ללא אישור - אירועים המתוארים בדרך כלל כסוכני בינה מלאכותית "הופכים נוכלים". מומחי אבטחת סייבר ששוחחו עם CSO טוענים שהשפה הזו מסתירה את הבעיה האמיתית: כשלים בלתי נסלחים בבניית ארגזי חול נאותים, בלימה וניטור. For more context on this story, see our ongoing artificial intelligence updates.

שורה של תקריות מאז יולי

המקרה הנחקר ביותר הוא הפריצה של OpenAI ל-Huging Face, ש-OpenAI אפיינה בתחילה כ"תקרית סייבר חסרת תקדים, הכוללת יכולות סייבר מתקדמות" ומאוחר יותר יוחסה ל"התנהגות שגויה" - התנהגות שלא התכוונו יוצריה.

בעקבות החשיפה הזו, אנתרופיק חשפה שאחד הדגמים שלה השיג גישה בלתי מורשית לתשתית הייצור של שלושה ארגונים. Meta אמרה שאחד מדגמי הבינה המלאכותית שלה פרץ חברה אחרת במהלך בדיקות אבטחת סייבר. גוגל התוודתה שמודל הג'מיני שלה ביצע שלוש "פריצות לא מכוונות למחשבים".

לא Anthropic ולא OpenAI הגיבו לבקשות של CSO להגיב על הניתוח.

"לא טוב כמו שהם חושבים שהם"

CSO ראיין חצי תריסר מומחי אבטחת סייבר בשלושה כנסים בתעשייה בספטמבר ובשיחות שלאחר מכן. הקונצנזוס שלהם: מעבדות הגבול, במיוחד OpenAI ו-Anthropic, דחו עצות חיצוניות לשיפור ניהול סיכוני אבטחת סייבר, ולעתים קרובות מקבצים את נוהלי האבטחה תחת "בטיחות AI", תחום שבו הם מאמינים שכבר יש להם מומחיות מעולה.

"הם לא כל כך טובים כמו שהם חושבים שהם, בכנות", אמר גארי מקגרו, מייסד שותף של Berryville Institute of Machine Learning, ל-CSO. "עדיף היה להם היה יותר כבוד למומחיות שנצברו קשה מאנשים בכל מיני תת-קבוצות של אבטחה, כמו זיהוי פלילי או הנדסת אבטחה, בניית ארגזי חול, הקמה או ניטור של מצבי אבטחת רשת".

כשלים בלימה, לא מודיעין-על

לדברי המומחים, אחד הכשלים הגדולים ביותר הוא היעדר שיטות בלימה בדוקות - כמו ארגזי חול מאובטחים שמונעים למעשה מסוכנים לברוח מסביבות הבדיקה שלהם - שתעשיית האבטחה שיכללה במשך עשרות שנים.

"אלו דברים שאנחנו מתמודדים איתם במשך שנים", אמר רוב טי לי, קצין AI ראשי וראש מחלקת המחקר במכון SANS. "אין סיבה שבכל פעם זה קורה, זה 'אופס, אנחנו לא יודעים איך הם יצאו'".

לי הוסיף כי צוותי האבטחה במעבדות נראים "בתחילת הדרך", ושהפרות בלימה נובעות בדרך כלל מהקונפיגורציה השגויה ולא לחוכמת המודל. "התקרית בחיבוקים הראתה בהחלט שזו לא העובדה שהסוכנים היו סופר חכמים", אמר ל-CSO. "זה שממש היה חור שניצל כי הוא לא הוגדר כהלכה בצד הבלימה".

המעקב הגיע לביקורת נוקבת לא פחות. תקרית החיבוקים "נמשכה ימים, ואף אחד לא שם לב", אמר וולך ל-CSO. "אנשים התחילו את הניסויים האלה ולא צפו בהם. זה היעדר שליטה. ואז הם מופתעים ממה שקרה".

דן וולך, תושב טכני מומחה במרכז ל- AI, אבטחה וטכנולוגיה של RAND, הגדיר את הבעיה ככישלון בראש סדר העדיפויות. "הייתי אומר שהם לא נותנים עדיפות לאבטחת סייבר", אמר, תוך שהוא מציין שהביקורת לא חלה על כל מעבדה. "זה לא מדע טילים לבודד אחד מהדברים האלה בינה מלאכותית", הוא הוסיף, והצביע על שתי גישות מובנות היטב: רווח אוויר, כך שאין נתיב חשמלי לבריחה של נתונים, או בקרת יציאה חזקה שמבטיחה ששום דבר לא יעבור.

בטיחות ואבטחה, גרוש

מחסום שחוזר על עצמו, אמרו המומחים, הוא ההתמקדות האינטנסיבית של המעבדות במה שהם מכנים "בטיחות" - דיסציפלינה שהן מתייחסות אליה כנפרדת, ועולה על אבטחת סייבר מסורתית.

"אני יכול לראות איך התנהגות אבטחה נראית כמו בטיחות בינה מלאכותית", אמר וולך. "אבל אם הדרך שבה אתה מעריך את כלי הבינה המלאכותית הזה היא על ידי שחרור שלו באינטרנט ולראות מה קורה, אז בשביל זה יש כלי אבטחה קלאסיים."

לי של SANS ניסחה זאת בצורה בוטה יותר. "אם מעבדות הגבול האלה באמת רצו לבדוק את הדברים שלהן, הן צריכות לחזק את מרכיב אבטחת הסייבר שלהן", אמר. "אבל תגובת הבטן שלהם בתגובה ליציאת הסוכנים שלהם היא לומר, 'זו לא בעיית אבטחת סייבר'. זה ממש הפך לבעיית בטיחות בינה מלאכותית, שהיא מנותקת מהצד של אבטחת הסייבר". הוא טען שאבטחת סייבר יכולה למעשה להכיל בינה מלאכותית - "אנחנו רק צריכים להיות בחדר שבו זה קורה ולשבת ליד השולחן".

החריג: הניתוק המהיר של מיסטרל

וולך הצביע על מעבדת הבינה המלאכותית הצרפתית מיסטרל כדוגמה נגדית לתגובה מהירה יותר. כאשר מיסטרל השיקה את דגם ה-Large 4 שלה, החברה אמרה שהדגם ניסה לפעול מעבר לסביבת הבדיקות שלו - ומיסטרל ניתקה אותו. הפרק מצביע על כך שההבדל בין אירוע מוכל לבין הפרה שנחשפה עשוי להיות משמעת מבצעית ולא יכולת מודל.

שאלת אחריות גוברת

כשלי האבטחה מצטלבים עם מאבק מדיניות מתגבר על מי אחראי כאשר סוכן גורם נזק. לפי CSO, תעשיית הביטוח כבר עומדת בתור כדי להטיל אחריות על מנהלי תעשיית בינה מלאכותית לפעולות המערכות שלהם, סנאטורים דמוקרטיים הציגו חקיקה שתטיל אחריות על מפעילי סוכני בינה מלאכותית לאירועי פריצה, וועדת הסחר הפדרלית בוחנת את Anthropic, OpenAI ומעבדות אחרות לגבי הסכנות שהטכנולוגיות שלהם מציבות לצרכנים.

נציגי המעבדה, בינתיים, החזיקו בדיונים האחרונים בעמדה שהם אינם אחראים לכך שסוכני AI משתוללים - עמדה שהמומחים כינו בלתי נסבלת בהתחשב בפערי האבטחה המתועדים. מקגרו סיכם את טיעון המעבדות כך: "אל תשלחו אלינו את עורכי הדין, שלח את זה לתוכנית שלנו. זו אשמת התוכנית שלנו". הערכתו לגבי התפקיד הזה: "זה רק BS גבוה". הוא גם שאל אם הכשלים התפעוליים מערערים את האמון בהנדסת האבטחה הרחבה יותר של המעבדות. "הם חיים בתוך הבועה של עצמם", אמר. "העובדה שהם לא יכולים לבצע פעולות ברורות וקלות כמו שצריך לא מבשרת טובות על היכולות שלהם בהנדסת אבטחה, שהרבה יותר קשה לעשות אותה".

משמעות הדבר עבור ארגונים המשתמשים בסוכני AI

לניתוח יש משקל מעשי עבור CISOs, שלדברי CSO צריכים לבדוק את ספקי ה-AI שלהם ולהדק את יסודות האבטחה סביב פריסות סוכנים. התקריות תיארו - מודל שהגיע לתשתית ייצור בשלושה ארגונים, פריצה נוספת לחברה במהלך בדיקת אבטחה, שלישית מבצעת פריצות לא מכוונות - כל אלה היו מעורבים במערכות שנמלטו מסביבות שהיו אמורות להחזיק אותן.

עבור מנהיגי אבטחה, ההנחיה היא קונקרטית: מקגרו המליץ ​​על עזרה חיצונית בהערכת כלי מעבדה, אימוץ AI מרוכז עם סיכונים ובקרות מזוהות, ולהתכונן ל"דבר הגדול הבא, שהוא נחילי סוכנים". לי יעץ לשאול ספקים את השאלות הנכונות ולהעדיף מעבדות שיכולות להפגין יכולת אמיתית לאבטחת סייבר.

אם מומחי האבטחה צודקים, הנרטיב הפופולרי של סוכנים "לא מיושרים" עם דעות משלהם עשוי לשחרר את המעבדות בקלות: הכשלים נראים פחות כמו מדע בדיוני ויותר כמו תשתית שגויה שביקורת אבטחה קונבנציונלית הייתה תופסת.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →