OpenAI פרסה מערכת בקרה מרכזית בשם Control Room על פני תשתית המחקר שלה, שנועדה לעצור עומסי עבודה שעלולים להיות מסוכנים של מודל AI לייצר פלט נוסף תוך 35 שניות מרגע ההחלטה להתערב. כפי שדיווחה הנדסה מעניינת, המערכת מחברת את עומסי העבודה המניעים את המחקר המתקדם ביותר של החברה - כולל הדרכת מודלים סוכן, הערכות ועבודות עיבוד נתונים - לשירות מרכזי השולט אם הם יכולים להמשיך לפעול.

החברה הכריזה על המערכת בפומבי ב-9 בנובמבר, וכתבה: "בנינו Control Room, מערכת מרכזית לעקוב אחר עומסי עבודה של מודלים על פני תשתית המחקר שלנו ולעצור אותם במהירות כאשר מתעוררים חששות בטיחות או אבטחה. היא מחברת כל עומס עבודה של מסקנות מחקר, כולל דגימה סוכן להדרכה והערכה של מודלים, נתונים..." For more context on this story, see our ongoing breaking AI news.

העיתוי בולט. ככל שמודלים של בינה מלאכותית גדלים יותר ומקבלים אחריות אוטונומית יותר, דמוית סוכן בתוך צינורות אימון, הסיכון שמודל יתנהג בדרכים בלתי צפויות במהלך המחקר גדל יחד איתם. Control Room הוא התשובה המבנית של OpenAI: לא רק לצפות בצרות, אלא להיות מסוגל פיזית לחתוך אותן.

איך פועל חדר הבקרה

חדר הבקרה מחבר בין שלושה מרכיבים עיקריים: עומס העבודה המחקרי, מנוע ההסקה ושירות חדר הבקרה המרכזי. עומס עבודה, במינוח של OpenAI, הוא עבודת מחקר כגון ניסוי למידה לתגבור, הערכה או משימת עיבוד נתונים בנפח גבוה. כל עומס מחקר שמבצע הסקה סוכן חייב להיות משויך למקרה בטיחות מאושר לפני שהוא יכול לפעול.

כאשר חוקר מתחיל עבודה, הקוד שלו מבקש מזהה עבודה ייחודי מחדר הבקרה. המזהה הזה מצורף אז לכל בקשה שעומס העבודה שולח למנועי הסקה - המערכות מגובות ה-GPU שלמעשה מריצים את המודלים ומייצרות פלטים.

לפני מילוי כל בקשה להסיק, המנוע בודק עם חדר הבקרה כדי לוודא שהעבודה המשויכת עדיין מורשית לפעול. אם חוקר או מערכת ניטור אוטומטית הורו לחדר הבקרה להפסיק את העבודה, השירות דוחה את בקשת ההסקה הבאה, והמנוע מסרב לייצר פלט מודל נוסף עבור עומס העבודה הזה.

עצירת פלט, לא בהכרח העבודה

פרט עיצובי אחד בולט: עצירת עומס עבודה לא בהכרח מסיימת אותו. תהליך המחקר עצמו עשוי להמשיך לפעול - הקוד שלו ממשיך להתבצע - אבל הוא לא יכול עוד להשיג פלטי מודל נוספים דרך מנועי ההסקה המורשים. לריצת אימונים שלא מתנהגת בצורה לא נכונה, זה מספיק: ללא גישה לדורות דגמים נוספים, היא לא יכולה להתקדם יותר.

גישה זו גם נמנעת מהסתמכות על קוד עומס העבודה של החוקרים עצמם כדי ליישם בדיקות בטיחות בצורה נכונה. OpenAI ממקמת את מנגנון ההרשאה הקריטי בשכבת ההסקה במקום, שיש לה פחות נתיבי קוד המנוהלים באופן מרכזי יותר. במילים אחרות, מתג ה-kill חי בתשתית שהחברה שולטת בה באופן מלא, לא בקוד ניסוי שנכתב על ידי צוותים בודדים.

נועד להיכשל סגור

חדר הבקרה בנוי כדי להישאר יעיל גם כאשר רכיבים אחרים תקולים. מנגנון סגירת הכשל שלו חוסם בקשות הסקה אם שירות חדר הבקרה עצמו לא זמין - כלומר כשל טכני, ניסיון השבתה מכוון או התעסקות פוטנציאלית בשירות המרכזי יגרמו למנועי הסקה לדחות את כל הבקשות עד שהמערכת תחזור לפעולה רגילה.

הנתון של 35 שניות מייצג את ההשהיה המקסימלית בין קבלת הוראת עצירה לבין מניעת התקדמות נוספת. העיכוב נובע משכבת ​​מטמון המשמשת לטיפול בנפח העצום של בקשות הרשאת הסקה, ו-OpenAI אומרת שהיא פועלת לצמצם את המרווח לאפס.

צגים אוטומטיים צפו בכל ריצת גבול

מתג ההרוג משתלב עם ניטור אוטומטי. לפי OpenAI, כל משרות הלמידה לחיזוק הגבול שלה פועלות עם צג נפרד מבוסס מודל שבוחן את התנהגות המודל ומעלה התראות כאשר הוא מזהה בעיות פוטנציאליות. אם התראה מצדיקה התערבות, מערכת הניטור יכולה להורות לחדר הבקרה לסיים את העבודה המשויכת, ולאחר מכן חוסמת בקשות להסקת מסקנות עוקבות בכל דגם או מנוע שעושה שימוש בעומס העבודה.

החברה הצביעה על אירוע אחרון הקשור ל-DNS - שבו מוניטור זיהה סוכן המנסה להגיע לצ'אט בוט חיצוני - כדוגמה מדוע אמצעי הגנה כאלה חשובים. במקרה זה, האנומליה נתפסה על ידי פיקוח אוטומטי ולא על ידי סוקר אנושי.

חלק מדחיפה רחבה יותר לבטיחות

OpenAI מציינת שחדר הבקרה כבר פרוס על פני תשתית המחקר שלה, שם הצורך בהתערבות הוא הגדול ביותר. התשתית החיצונית להגשת מודלים, המניעה מוצרים כמו ChatGPT, מרוכזת יותר וכבר יש לה מנגנונים תפעוליים להורדת פריסות מודלים בעת הצורך - חדר הבקרה סוגר את הפער בצד המחקרי.

החברה אומרת שהיא תמשיך לחזק את מערכות הניטור שלה והגנה מפני התנהגות שגויה ופריצות אבטחה כחלק מהגישה הרחבה יותר שלה לאבטחת פיתוח מודלים חזיתיים.

עבור תעשייה שמוגדרת יותר ויותר על ידי סוכנים אוטונומיים, חדר הבקרה הוא איתות לאן מעבדות הגבול מובילות: מנגנוני בטיחות המניחים שלפעמים מודלים יתנהגו לא בסדר בקנה מידה, והופכים את עצירתם לערבות תשתית ולא לתקווה.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →