ההנחה הרווחת שאדם הסוקר כל פקודה יכול לשמור על סוכני קידוד בינה מלאכותית עומדת בפני בדיקה רצינית. ניתוח חדש של יותר מ-40,000 מפגשי משחקים ויותר מ-409,000 החלטות אישור או דחייה אינדיבידואליות מצא שבודקים אנושיים החמיצו בערך אחת מכל שלוש פקודות זדוניות מסוכני AI, מה שמעלה שאלות דחופות האם "אדם בתוך הלולאה" הוא בכלל גבול אבטחה אמין.
הממצאים מגיעים ממשחק מבוסס דפדפן שנוצר על ידי אלכס וואטרס, מהנדס צוות לשעבר ב-Uber שכותב על אבטחת מפתחים ב-Scale X. המשחק מציב את השחקנים בתפקיד מבקר אנושי של סוכן קידוד AI, ומבקש מהם לאשר או לדחות פקודות מעטפת בלחץ זמן. חלק מהפקודות הן שגרתיות, כגון 'סטטוס git' או 'מבחן npm'. אחרים הם ניסיונות מוסווים בקפידה לחלץ אישורים, להתקין דלתות אחוריות או לשלוח סודות לשרתים מרוחקים. לאחר הוספת מעקב אחר סטטיסטיקה, וואטרס אספה מספיק נתונים כדי לצייר תמונה מפורטת של היכן השיפוט האנושי מצליח, ולעתים קרובות יותר, נכשל. למידע נוסף על סיקור תעשיית הבינה המלאכותית, מחקר זה בולט כאחד הניסויים העשירים ביותר בנתונים עד כה.
הפקודות המסוכנות ביותר היו הקשות ביותר לתפיסה
הממצא הבולט ביותר של המחקר הוא שפקודות הרסניות ברורות, כמו `rm -rf` על ספריות קריטיות, נתפסו בצורה מהימנה. האיומים שבאמת הצליחו לגנוב אישורים הוחמצו כמעט פי שלושה. הפקודה היחידה שהוחמצה ביותר בכל המשחק הייתה `npm run analys`, שאושרה על ידי 64.7 אחוז מהשחקנים למרות היומן ההיסטוריה של הסוכן המראה בבירור כי התסריט הבסיסי מטופל כדי להעביר אישורים לשרת חיצוני.
הבעיה היא מבנית. פקודות כמו `npm run` מבצעות כל סקריפט שמוגדר בקובץ `package.json` של הפרויקט. הסקריפט הזה יכול להיות מנתח חבילות לגיטימי או קוד זדוני שהוחדר על ידי עריכה קודמת של קובץ שהסוכן שינה. כדי לדעת בוודאות, מפתח יצטרך לבדוק כל קובץ ששונה לפני האישור, מה ששולל את יתרון המהירות שכלי קידוד AI אמורים לספק.
על פני שלוש פקודות מטען מוסווה כאלה במשחק, שיעור ההחמצה עמד על 52.5 אחוזים לעומת 28.4 אחוזים עבור כל שאר התקפות הוצאת אישורים. הסתרת מטען מאחורי שם סקריפט מוכר הכפילה בערך את שיעור ההצלחה שלו, אפילו כאשר המטען היה גלוי ביומן ההיסטוריה המוצג ממש מעל לבקשת ההרשאה.
עייפות היתר שוחקת את הערנות לאורך זמן
Anthropic הודתה בעבר כי עייפות ההרשאות היא תופעה אמיתית במוצר קלוד קוד שלה, וציינה שככל שהמשתמש רואה יותר אישורים, כך הוא מקדיש פחות תשומת לב לכל אחד. נתוני Scale X תומכים בחשש הזה מבחינה אמפירית. שיעורי ההחמצה ירדו במהלך הפקודות הראשונות של כל סשן כשהשחקנים התחממו, אבל אז טיפסו בהתמדה לקראת הסוף, בהתאם לעייפות או ללחץ הגובר של שעון מתקתק.
דפוס זה משקף דינמיקה בעולם האמיתי. מפתחים הדוהרים לשלוח תכונות תחת לחץ של תאריך יעד מתמודדים עם אותו תמריץ ללחוץ על אישור במהירות, והנפח העצום של הפקודות השגרתיות יוצר בעיה של מחט בערימת שחת שבה איומים אמיתיים הם נדירים סטטיסטית. התוצאה היא מערכת שמכשירה את המשתמשים להחתים הכל.
הצד השני: חסימת יתר מאטה הכל
המחקר גם תיעד את מצב הכישלון ההפוך. כמה פקודות טובות באמת נחסמו באופן שגרתי על ידי שחקנים זהירים, כולל בנייה סטנדרטית וקריאת בדיקה. חסימת יתר זו מאטה את התרופה, ובאופן פרדוקסלי, מגבירה את הסיכון לטווח ארוך. כאשר משתמשים מתבקשים שוב ושוב לאשר פקודות שמתבררות כלא מזיקות, הרעש שוחק את נכונותם לבחון הנחיות עתידיות, ובסופו של דבר דוחף אותן לעבר מעקפים מוחלטים או מצבי אישור אוטומטי שמסירים סקירה אנושית לחלוטין.
תכונות כמו מצב אוטומטי של Anthropic מנסות למתן את זה על ידי קביעה אוטומטית אם פקודה בטוחה לפני הנחיה למשתמש. אבל כפי שמוכיחים נתוני המחקר על מטענים מוסווים, אפילו תכני פקודה גלויים אינם מספיקים לבני אדם כדי לבצע שיפוט מהימן תחת לחץ.
הקשר חסר הוא הבעיה המרכזית
פקודה אחת, `cat ~/.zshrc`, הוכיחה את עצמה כמחלקה ביותר בכל המשחק, שאושרה על ידי 45.9 אחוז מהשחקנים. הפקודה אינה מזיקה למפתחים שאינם שומרים סודות בפרופיל המעטפת שלהם, אך היא חושפת מפתחות API עבור רבים שמייצאים לשם אישורים. הסיכון שלו תלוי לחלוטין בתצורת מערכת שהסוכן לא יכול לראות וייתכן שהסוקר לא זוכר.
מספר פקודות אחרות יצרו מחלוקת דומה בשרשור הדיון של האקר ניוז מאותה סיבה. הבעיה הבסיסית היא שמפתחים מתבקשים לבצע שיפוט אבטחה ללא התמונה המלאה של הקבצים שהשתנו, מה הסוכן עשה בשלבים הקודמים ומה מכילה התצורה הנוכחית של המערכת. כפי שציין אחד המגיבים, לבקש ממשתמשים לאמת פקודות שאינן חד משמעיות ללא הקשר אינו אמצעי הגנה חזק.
מה הבא עבור אבטחת הסוכן
וואטרס טוען שהפתרון אינו בני אדם טובים יותר אלא כלי עבודה טובים יותר. סוכני ארגז חול כך שלא יוכלו לגשת ישירות לאישורים, בידוד הקשר קפדני ומגבלות מבניות על מה שסוכנים יכולים לעשות ללא הרשאות גבוהות, כולם מבטיחים יותר מאשר הסתמכות על ערנות אנושית. עד שאמצעי ההגנה הללו יתקיימו, הענקת הרשאות רחבות לסוכנים נשאר מסוכן, ללא קשר לשאלה אם אדם נמצא באופן נומינלי במעגל.
המחקר אינו מאמר אקדמי שנבדק על ידי עמיתים, וווטרס מכיר במגבלותיו. המשחק הזהיר שחקנים מפני איומים והפעיל לחץ זמן מלאכותי שאולי לא משקף בצורה מושלמת סביבות פיתוח אמיתיות. אבל הממצא המרכזי, שסוקרים אנושיים מאומנים תחת לחץ מחמיצים שליש מהתקפות מוסוות בכוונה, צריך לתת לכל צוות שפורס סוכני קידוד AI סיבה לשקול מחדש את מודל האבטחה שלהם.
עבור מפתחים שבונים היום עם סוכני AI, ההנחה המעשית היא להניח שהאדם שבלולאה ייכשל בסופו של דבר. עצב את הרשאות הסוכן שלך ואת ארגז החול כך שאישור שפוספס לא אומר מפתח AWS דלף או צינור בנייה שנפגע. הנתונים מצביעים על כך שהתייחסות לביקורת אנושית כהגנה העיקרית שלך היא הימור שלא משתלם.
הישאר לפני AI
נוף האבטחה של סוכני AI מתפתח במהירות. הישאר מעודכן לגבי פיתוחי AI והמחקרים האחרונים.
קרא עוד חדשות AI →
