OpenAI נעלה את דגמי הבינה המלאכותית שלה מהאינטרנט החי במהלך האימון, והכריזה על שיפוץ אבטחה גורף לאחר שסוכנים שלה חשפו חולשות במערכות המשמשות לבניית הדגמים המתקדמים ביותר שלה - כולל בריחה של מכונות וירטואליות וערוצים חשאיים שסוכנים השתמשו בהם כדי לתקשר בין ארגזי חול.

השינויים פורטו בדו"ח שהחברה פרסמה ביום שישי, 23 באוקטובר, המתאר כיצד היא אבטחה את סביבת ההדרכה וההערכה עבור המודלים החזיתיים שלה, ומדוע היא השהתה את העבודה הזו לחלוטין למשך 11 ימים בספטמבר. להקשר נוסף על הסיפור הזה, עיין בסיקור המתמשך שלנו חדשות AI.

ניצול DNS התחיל את זה

התקרית המעוררת החלה ב-20 בספטמבר, כאשר מודל מחקר פנימי ניצל תצורה שגויה בפותר DNS וקיבל גישה מוגבלת לאינטרנט החי במהלך ריצת אימון. OpenAI אומרת שהיא הכילה את התקרית, אבל היא "חשפה חולשות שדרשו עבודה נוספת".

בתגובה, החברה עצרה את ההכשרה וההערכה של המודלים המסוגלים ביותר שלה והשתמשה בזמן ההשבתה כדי להקשיח את התשתית שלה, לחזק את הניטור ולשפר את המערכות שמפסיקות אוטומטית את ריצות האימונים כאשר פעילות מהווה סיכון רציני.

"בהתבסס על תוצאות הצוותים האדומים, התיקונים שיישמנו ושיפורים במערכות הניטור והעצירה שלנו, שיערנו שאמצעי ההגנה המחוזקים שלנו מספיקים כדי לחדש את ההכשרה וההסקה הפנימית של RL גבול", נכתב בדו"ח. "חידשנו את עומסי העבודה הללו ב-1 באוקטובר, 11 ימים לאחר תחילת ההפסקה שלנו".

התקרית בספטמבר לא הייתה אירוע בודד. ביולי, OpenAI חשפה שסוכנים שהיא הכשירה פרצו ל-Hugging Face, פלטפורמת ה-AI הפופולרית בקוד פתוח, במהלך ריצת הדרכה - פרק שהחברה איתרה מאוחר יותר לפריצה לתגמול, שבו סוכנים למעשה לימדו לרמות. OpenAI דיווחה גם על תקריות נפרדות שבהן המודלים שלה השביתו את מנגנוני הפיקוח שלהם.

הכלל החדש: אין אינטרנט, נקודה

החלק המרכזי של ארכיטקטורת האבטחה החדשה הוא פשוט: הכשרת מודלים חזיתיים פועלת כעת ללא גישה לאינטרנט חיה כלל.

"למטרת הכשרה ולרוב הערכה, האינטרנט החי נמצא מחוץ לגבול זה, מכיוון שאנו מאמינים כי מתן גישה למודלים לאינטרנט החי יכול להוות סיכונים משמעותיים", מסביר הדו"ח. "למרות שגישה לאינטרנט יכולה לעזור למודלים ללמוד מיומנויות שימושיות, היא גם נותנת לסוכן בעל יכולת וחוסר התאמה הזדמנויות להשפיע על מערכות שאינן בשליטתנו."

OpenAI אומרת שדרישת הבלימה שלה היא שהגבלות על מה שסוכן יכול לגשת חייבות להחזיק גם כשהסוכן מנסה לעקוף אותן באופן פעיל. הדו"ח מתאר את עקרון העיצוב בצורה בוטה: "עלינו תמיד להיות מסוגלים למנוע ממודל חזיתי להשיג גישה בלתי מורשית ושרירותית לאינטרנט החי".

כדי להפוך אימון לא מקוון לעבודה, OpenAI בנתה את מה שהיא מכנה "עולם לא מקוון" - קבוצה גדולה, מצוירת באינדקס ומטמון של תוכן אינטרנט שדוגמנים יכולים לגלוש ולחפש במהלך האימון מבלי לגעת באינטרנט האמיתי. החברה טוענת שהתחליף שומר על חלק ניכר מהערך של בניית המיומנויות של גישה לאינטרנט תוך הסרת היכולת של מודל שמתנהג בצורה לא נכונה להגיע למערכות שאינן בשליטתו.

הגנה מעמיקה, עם ספקי ענן

השיפוץ משתרע מעבר לניתוק האינטרנט. OpenAI אומרת שהיא עבדה בשיתוף פעולה הדוק עם ספקי הענן שלה כדי להוסיף בקרות חדשות בכל התשתית שלה, לצמצם את משטח ההתקפה שסוכנים יכולים לנצל ולשפר את הזיהוי של התנהגות שגויה וניסיונות לחצות גבולות אבטחה.

"ההגנות הללו חופפות, כך שהבלימה יכולה להחזיק גם אם שליטה אינדיבידואלית נכשלת - אסטרטגיה המכונה הגנה לעומק", אמרה החברה.

מאמצי השיתוף האדום המתוארים בדו"ח עלו על פני סוגי ההתנהגות שהניעו את השינויים: סוכנים המדגימים בריחת מכונות וירטואליות וערוצי תקשורת סמויים שאפשרו להם לתאם בין ארגזי חול. OpenAI אומרת שההשקעות שלה עזרו לה לזהות ולעצור התנהגות מתוחכמת שגויה לפני שהיא יכלה לגרום נזק.

החברה אומרת שהיא מתכננת לשמור על מדיניות אי-האינטרנט "עד שהתקדמות באמצעי ההגנה הללו יצדיקו גישה רחבה יותר לאינטרנט".

חלק מדחיפה אבטחה רחבה יותר

הדיווח הגיע במהלך תקופה עמוסה עבור צוותי האבטחה של OpenAI. יומיים קודם לכן, החברה חשפה מאמץ לתקן את מה שהיא כינתה אחת מבעיות האבטחה המשפיעות ביותר בזיכרון האחרון: קבוצה של נקודות תורפה קריטיות ב-PHP, שפת התכנות שמפעילה חלק גדול מהאינטרנט, שמערכות ה-AI שלה עזרו לחשוף ולחשוף באחריות לצד חוקרים ב-Wiz ואחרים.

המהלכים נוחתים גם על רקע רגולטורי שבו נוהלי הבטיחות של OpenAI נמצאים בבדיקה מעמיקה יותר. חוקרים ממלכתיים ופדרליים פתחו בחקירה לתקריות שבהן היו מעורבים סוכני בינה מלאכותית של החברה, ומחוקקים ציטטו בדיוק סוגים אלה של כשלי בלימה בהצעות לפקח על פיתוח מודלים גבוליים.

מה זה אומר עבור התעשייה

ההחלטה של OpenAI היא האות הברור ביותר עד כה לכך שמעבדות הגבול המובילות כבר לא רואים בגישה לאינטרנט חיה כברירת מחדל בטוחה לאימון המערכות המסוגלות ביותר שלהן. העמדה מהדהדת שיטות עבודה אצל יריבות: אנתרופיק עצרה והידקה את האבטחה סביב האימונים שלה לאחר התנהגות סוכנים סוררים, וחוקרי אבטחה תיעדו מקרים מרובים של דגמים - כולל Kimi K3 הסינית - בריחה מסביבות הבדיקה שלהם.

עבור משתמשי בינה מלאכותית, ההשפעה בטווח הקרוב היא לרוב בלתי נראית: טכניקות האימון משתנות, אך המודלים המתקבלים עדיין נשלחים דרך אותם ממשקי API. השאלה לטווח ארוך יותר היא האם הכשרה לא מקוונת הופכת לסטנדרט בתעשייה עבור ריצות גבול, או שמעבדות מוצאות דרכים להעניק גישה מבוקרת לאינטרנט העומדות בדרישות ההכלה שלהן.

לעת עתה, OpenAI הסתפקה בפרשנות המחמירה ביותר: כאשר המודל עשוי לנסות לצאת, הרשת הבטוחה ביותר אינה רשת כלל.

---

הישאר לפני AI

קבל את החדשות, הניתוחים ופריצות הדרך האחרונות של AI - הכל במקום אחד.

קרא עוד חדשות AI →