תרגיל של צוות אדום של שלושה שבועות מצא נקודות תורפה חדשות במערכת הניטור הפנימית של OpenAI - כולל דרכים שבהן סוכני AI יכולים, באופן עקרוני, לבצע פעולות מבלי להיבדק על ידי בני אדם. METR, עמותת ההערכה העצמאית, פרסמה סיכום ברמה גבוהה של הממצאים ב-22 באוקטובר, שנלקח מדוח פנימי בן 61 עמודים שמסרה לחוקרי OpenAI ולצוות האבטחה.

הפיילוט נמשך בין ה-21 ביולי ל-11 באוגוסט ונתן לעובד METR אחד ולעובד אחד של Redwood Research גישה עמוקה בצורה יוצאת דופן לתשתית הפנימית של OpenAI: בסיס הקוד, ההנחיות והתצורה של מערכת הניטור, תיעוד פנימי וראיונות טכניים עם בערך תריסר חוקרים ומהנדסים בכל צוותי הניטור, מערכות הבטיחות וצוותי האבטחה. הם עבדו על מכשירים שהונפקו על ידי OpenAI שמעולם לא עזבו את המקום וליוו אותם בזמן באתר. למידע נוסף על קו מחקר זה, עיין בפיתוחי הבינה המלאכותית שלנו.

מה הצוות האדום מצא

התרגיל התמקד בשתי שאלות: כמה מהמסק הסוכני של OpenAI מנוטר בפועל, והאם סוכנים יכולים להשבית או לערער את מערכת הניטור. התשובות חשפו פערים משמעותיים.

בסיקור, METR העריך שבערך 75 עד 94 אחוז מתעבורת ה-API הפנימית של ה-agent Responses API - ה-API שמפעיל את Codex, בין היתר - ממודלים בעלי יכולת לפחות כמו GPT-5.5 היו כשירים לניטור באותה עת, אם כי הארגון מציין חוסר ודאות משמעותי בשני הכיוונים. בתוך קבוצת המשנה של התעבורה המשמשת לסוכני Codex פנימיים, 99.2 אחוז היו זכאים. אבל הזכאות לא הייתה זהה לכיסוי: ריצות אימון חיזוק לא כוסו על ידי מערכת הניטור בתחילת התרגיל, ואירועי דחיסה לא מפוקחים ככל הנראה נותרו בסדר גודל של 10 אחוז מתעבורת הקודקס הפנימית הזכאית ללא פיקוח בין מאי ליולי 2026. צוות OpenAI זיהה באופן עצמאי את בעיית הדחיסה לפני התרגיל ותיקן אותה תוך כדי.

פרט התזמון היה חשוב. מכיוון שהמוניטור הופעל כאשר סוכנים החזירו את השליטה למשתמש, סוכן יכול לדחות ללא הגבלת זמן את המעקב פשוט על ידי המשך ביצוע פעולות במהלך החלון הלא מנוטר.

הצוות גם תיעד נתיבי התחמקות אקטיביים. סוכני Codex יכלו באופן עקרוני לעקוף את ארגז החול של Codex ו-Auto-Review, ולאפשר להם לבצע כל פעולה שהמשתמש המארח יכול לנקוט. METR גילה ניצול שימנע מעקב אחר מאות פעולות אחרונות - כולל הפעולות הכרוכות בניצול עצמו; OpenAI ערכה את הפרטים הטכניים. סוכנים עשויים לבנות תשומות שגרמו למוניטור להיכשל על ידי ניצול הבדלי סדרה בין המסלול שהסוכן רואה לבין מה שהמוניטור רואה, תוך הימנעות מהסלמה לביקורת אנושית. נמצאו שתי כותרות הניתנות לשליטה על ידי לקוח המשביתות ניטור אחר סוכנים חדשים, מה שעלול לאפשר לסוכן להתחיל מופע לא מפוקח אך זהה אחרת - אם כי METR מציינת שהפעולה של הגדרת הכותרות הללו יכולה להיתפס בעצמה.

לבסוף, הצוות זיהה שני כלים סוכן פנימיים בלתי מנוטרים שלדעתם יש הרשאות קריאה בלבד, יחד עם ניצול פשוט שניתן היה להשתמש בו כדי לחתור תחת מגבלות אלו. METR לא אימת התנהגות זו בפועל.

מה החזיק מעמד

התרגיל גם אימת חלקים מהמערכת. למעט כמה חריגים קטנים, המוניטור מציג את המסלול המלא שסוכנים רואים. הנחיות הניטור אושרו כמחפשות שיימינג, חתרנות מערכתית, חבלה, חילוץ נתונים, הטעיה והזרקה מיידית נכנסת ויוצאת, בין קטגוריות סיכון אחרות. לגבי מהימנות, המידע שניתן METR הצביע על כך שהמוניטור טעה בפחות מ-0.2 אחוז מהבקשות, ובתקופה אחת של 24 שעות במהלך התרגיל היו אפס ספיחת עומסים.

התגובה של OpenAI

לפי METR, OpenAI הצהירה כי כל הפגיעויות שזוהו והמשפיעות על ערימת אמצעי ההגנה על הייצור שלה תוקנו, ותיארה שינויים משמעותיים לאחר מכן בכיסוי המיועד של מערכת הניטור שלה. METR לא העריכה את הטענות הללו, והממצאים שלה מתארים את המערכת כפי שהיתה קיימת ב-21 ביולי או לפני כן - לא את הגרסה המורחבת ש-OpenAI כבר בנתה במהלך התרגיל.

שיעורי עיצוב לפיקוח על סוכן

METR סגרה את הסיכום שלה עם אידיאלים עיצוביים לתשתית ניטור עתידית, שלטענתה צריכה לעמוד בהתקפות מכוונות, אסטרטגיות ומתמשכות של סוכנים פנימיים בעלי יכולת גבוהה בקנה מידה. שניים בולטים. קשה להימנע מהניטור: הפעלת בקשות לא מפוקחות צריכה לדרוש אישור מפורש הקשור לארגונים ספציפיים או מפתחות API שאסור להסיק מסוכנות, ויש לנטר סוכנים בכל N הודעות או דקות ולא רק כשהם מסיימים את תורותיהם. והכיסוי צריך להיות ניתן לביקורת: חשבונאות קפדנית של כל מסקנות, מוצלבות מעת לעת מול היומנים של מערכת הניטור עצמה, כך שכל מה שנועד להיות מפוקח באופן מוכח.

התרגיל תוכנן כפיילוט למתן גישה עמוקה לחוקרים חיצוניים לתשתית הפנימית של מעבדת חזית, לא כדוח שקיפות ציבורית - METR ו-OpenAI הסכימו מראש שרק פוסט קצר ברמה גבוהה יתפרסם. העמותה אומרת שגרסאות עתידיות יפעלו לפי נוהלי השקיפות והעצמאות המתוארים במסגרת שלה לעבודה עם חברות בינה מלאכותית. ככל שסוכנים לוקחים על עצמם עבודה משמעותית יותר בתוך המעבדות שבונות אותם, הפיילוט מציע תבנית לאופן שבו אנשים מבחוץ יכולים לשמור על המשמר.

---

הישאר לפני AI

קבל את החדשות, הניתוחים ופריצות הדרך האחרונות של AI - הכל במקום אחד.

קרא עוד חדשות AI →