חוקרים הדגימו מתקפה חדשה ועוצמתית נגד מודלים של AI חשיבה המנצלת נקודה עיוורת בסיסית באופן שבו מודלים של שפות גדולות (LLMs) מפרידים בין הוראות לנתונים. הטכניקה, הנקראת Chain-of-Thought (CoT) Forgery, מרמה מודל להתייחס לטקסט שסופק על ידי התוקף כאילו היה היגיון פנימי פרטי של המודל עצמו, ומאפשרת לטקסט לעקוף הוראות לגיטימיות.
הממצאים, שדווחו על ידי Hackaday, מדגישים מדוע אבטחת מערכות בינה מלאכותית מפני מניפולציה נותרה בעיה בלתי פתורה. כדי להתעדכן באיומים המתפתחים בתחום, עקוב אחר סיקור תעשיית הבינה המלאכותית שלנו לניתוח מתמשך.
הסיבה השורשית: בלבול תפקידים
בלב הפגיעות עומד מה שהחוקרים מתארים כ"בלבול תפקידים". לימודי LLM מודרניים מקבלים את כל הקלט שלהם - כללי מערכת, בקשות משתמשים והנמקות של המודל עצמו - דרך ערוץ טקסט אחד. כדי להטיל סדר, מפתחים משתמשים בתגיות מטא נתונים כגון `
התג `
איך פועלת ההתקפה
באופן מכריע, זיוף CoT הוא לא רק עניין של עטיפה של הנחיה זדונית בתוך תגיות `
לפי Hackaday, זה גורם ל-LLM לקבל נימוקים לא הגיוניים בשקיפות כמסקנה ידועה מראש, ולשנות את תגובתו לבקשת המשתמש. מכיוון שהתוכן המזויף נתפס כמחשבה פנימית בעלת אמון גבוה ולא כקלט משתמש בעל אמון נמוך, הוא יכול לעקוף מעקות בטיחות שבדרך כלל יחסמו הוראות מניפולטיביות.
ההיררכיה של אמון בתוך LLM
ההבנה מדוע ההתקפה מצליחה דורשת הבנה כיצד פועלים תפקידים. מתחת למכסה המנוע, תפקידים מחלקים את הקלט של המודל להיררכיה מאורגנת. הנחיות בתפקיד מבוצעות כל עוד הן אינן מתנגשות עם הנחיות בעדיפות גבוהה יותר. הנחיה ברמת המערכת של "אל תדון בפעילויות לא חוקיות", למשל, נועדה לעקוף בקשת משתמש לספק מתכון אסור. התפקיד '
ההתמוטטות מתרחשת מכיוון שהמודל אינו אוכף את ההיררכיה הזו בצורה מכנית. במקום זאת, הוא מסיק לאיזה טקסט שייך לאיזה תפקיד, חלקית מתוך רמזים סגנוניים. כפי שציין דיון קהילתי במחקר, אם טקסט מעוצב כמו הקשר חשיבה, המודל יכול לטעות בכל טקסט בעל מבנה דומה בהיגיון אמיתי - ולטקסט חושב יש עדיפות גבוהה יותר מטקסט משתמש רגיל.
תבנית מוכרת עם טוויסט חדש
המחקר מתבסס על חולשה מוכרת זמן רב במערכות AI: הזרקה מהירה. התקפות מוקדמות ניצלו את העובדה של-LLMs אין זרמים נפרדים להוראות ונתונים, כך שביטוי כמו "התעלם מכל ההוראות הקודמות" יכול לפעמים לחטוף התנהגות של דוגמנית. הצגת תפקידים ותגי מטא נתונים נועדה למתן את זה על ידי יצירת היררכיית אמון.
זיוף CoT מוכיח שההקלה אינה שלמה. כל עוד מודלים שופטים את מהימנות הטקסט בחלקו לפי המאפיינים הסגנוניים שלו ולא אך ורק לפי המטא נתונים המבניים שלו, תוקפים שיכולים לחקות את הסגנון הנכון יכולים להסלים את הסמכות הנתפסת של הקלט שלהם.
למה קשה לתקן
החוקרים, צ'ארלס יה, ג'סמין קוי ודילן הדפילד-מנל, טוענים שתפיסת תפקידים בלימודי LLM אינה מאפיין בינארי שניתן לאכוף בצורה נקייה. מודלים לומדים לפרש תגים באמצעות אימון ולא באמצעות חוקים מקודדים, כלומר ההתנהגות שלהם מעוצבת על ידי דפוסים בנתונים - וניתן לחקות דפוסים.
דיון קהילתי על העבודה, שהודגש על ידי Hackaday, עלה על פניו נושא חוזר: התיקון הנקי ביותר ידרוש ממודלים להתמודד עם תשומות מהימנות דרך מסלולים נפרדים מבחינה מבנית במקום להסתמך על רמזים נלמדים מבוססי סגנון. עד שזה יקרה, הגנה מפני התקפות מהירות בסגנון הזרקה תישאר ככל הנראה תהליך מתפתח ולא בעיה שנפתרה.
ההשלכות הרחבות יותר
הפגיעות חשובה מעבר להדגמות מעבדה. מודלים של הנמקה נפרסים יותר ויותר במערכות אגנטיות שיכולות לגלוש באינטרנט, להפעיל קוד ולנקוט פעולות בשמו של המשתמש. אם תוקף יכול לזייף מסקנות פנימיות של מודל, ייתכן שהוא יוכל לכוון את הפעולות הללו לעבר תוצאות לא מכוונות או מזיקות. הסיכון גדל ככל שהמודלים מקבלים יותר אוטונומיה וגישה לכלים. החוקרים מציינים שבני אדם נשארים חכמים ויצירתיים, וכל עוד למודלים אין הפרדה אדריכלית נקייה בין טקסט מהימן לטקסט שאינו מהימן, תוקפים נחושים ימשיכו למצוא דרכים לטשטש את הגבול. המאמר ממסגר את האתגר פחות כבאג שיש לתקן ויותר כמאפיין מבני של מערכות שלומדות את התנהגותן מנתונים ולא מחוקים מקודדים.
המאמר המלא זמין ב-arXiv, והחוקרים פרסמו דוגמאות קוד ב-GitHub כדי שמפתחים יוכלו לבדוק אם המערכות שלהם רגישות.
הישאר לפני AI
למידע נוסף על מחקר בטיחות בינה מלאכותית, פגיעויות אבטחה והגבול של דגמי שפות גדולים, בקר ב-AI Buzz Wire.
קרא עוד חדשות AI →
