Cloudflare פרסמה דוח תקריות מפורט המתאר כיצד באג בטיפול במטמון בפלטפורמת הבינה המלאכותית שלה ללא שרת גרם לפחות ל-155 משתמשים בפריסה של דגם GLM-5.3 לקבל תגובות המכילות קטעים של הנחיות ופלטים של לקוחות אחרים. הדו"ח, שפורסם ב-26 באוקטובר כחשיפה מתואמת לצד פרויקט מנוע ההסקה בקוד פתוח SGLang, מציע מבט ציבורי נדיר בתוך הצנרת של הגשת LLM מרובה דיירים - ואזהרה לגבי הנחות האבטחה של זיכרון GPU.
איך נמצאה הדליפה For more context on this story, see our ongoing breaking AI news.
לפי Cloudflare, חוקר האבטחה גדי עברון מחברת Knostic התריע בפני החברה ב-8 בספטמבר 2026, באמצעות תוכנית הבאונטי HackerOne שלה. אברון דיווח שהנחיות ארוכות מאוד שנשלחו לדגם GLM-5.3 בפלטפורמת Workers AI של Cloudflare החזירו לפעמים טקסט ששייך להפעלות של משתמשים אחרים. Cloudflare שיחזר את הבעיה למחרת בבוקר והשבית את הדגם באותו היום, ושחזר אותו ב-9 בספטמבר לאחר פריסת תיקונים.
המודל המושפע היה @cf/zai-org/glm-5.3 - מודל הקידוד הסוכן מ-Z.ai ש-Cloudflare משרת באמצעות Workers AI, פלטפורמת ההסקה ללא שרתים של החברה. Cloudflare אישרה שאף דגם אחר המתארח בפלטפורמה לא הושפע.
מה באמת קרה
התקרית נובעת משתי בעיות חופפות, אחת תפעולית ואחת במנוע עצמו.
ראשית, התצורה השגויה. Cloudflare פרסה GLM-5.3 עם חלון הקשר של 1,048,576 אסימונים, אך במאגר המטמון של ערך מפתח (KV) ב-GPUs מראש המילוי שלו היה מקום רק ל-681,280 אסימונים. החברה הכירה שהיא מודעת לחוסר ההתאמה הזה לפני ההשקה וציפתה שמנוע ההסקה ידחה בבטחה בקשות ארוכות מדי.
שנית, באג המנוע. במצב מילוי/פענוח מפורק - הארכיטקטורה ש-Workers AI משתמשת בה, שבה מאגר אחד של GPUs מעבד את ההנחיה ומעביר את המטמון KV שנוצר למאגר נפרד של GPUs שיוצרים את התגובה - SGLang טיפל בבקשה לאורך יתר בצורה שגויה. הנחיה שלא התאימה לבריכה סומנה פנימית כנדחתה והוחלפה במציין סמל אחד. אבל במקום לבטל את הבקשה ולהחזיר שגיאת לקוח, שלב המילוי המוקדם יצר KV cache עבור ההנחיה של מציין המיקום והעביר אותו לצומת הפענוח, אשר לאחר מכן הפיק תגובה שהתערבבה בנתונים שנשארו מבקשות קודמות שחולקו את אותם דפי זיכרון.
התוצאה: בין ה-27 באוגוסט ל-9 בספטמבר, מספר מצומצם של לקוחות המשתמשים במודל קיבלו תגובות המכילות נתונים מפניות של לקוחות אחרים שנעשו זמן קצר לפני שלהם. בסך הכל, 155 תגובות הושפעו - כולן, כך מצא Cloudflare, להנחיות ארוכות מ-681,280 אסימונים.
אין עדות לניצול מכוון
Cloudflare קבעה כי לאחר אי הכללה של הבדיקות שלה ושל בקשות האימות של החוקר, הבקשות המושפעות היו עקביות בתזמון ובנפח עם שימוש רגיל בהקשר ארוך, והחברה לא מצאה ראיות לכך שמישהו ניצל את הבאג בכוונה. מכיוון שכל בקשה מושפעת חרגה מהיכולת של הבריכה הקטנה, חלון החשיפה היה תחום בחוזקה - בטנה כסופה שנובעת מעצם התצורה השגויה שגרמה לבעיה.
התיקון: בריכות גדולות יותר ונתיב כשל בטוח יותר
התיקון עבד על שני רבדי הכישלון. Cloudflare הגדירה מחדש את פריסת ה-GLM-5.3 שלה כך שתתאים לתצורת ה-GLM-5.2 שלה, ושחררה מספיק זיכרון GPU כדי שמאגר KV מראש יכיל כעת כ-2.04 מיליון אסימונים - בערך כפול מאורך ההקשר של 1,048,576 אסימונים של הדגם. הנחיה שמתאימה לחלון ההקשר מתאימה כעת תמיד לבריכה.
אבל החברה גם הדגישה שהסתמכות על גודל הבריכה בלבד היא שבירה: שינויים בקוונטיזציה, מקביליות טנזור, גדלי גרפי CUDA או גרסת מודל עתידית יכולים לשנות בשקט את גודל הבריכה. אז הוא גם תיקן את נתיב הדחייה של SGLang עצמו, והבטיח שבקשה שנדחתה תבוטל בצורה נקייה במקום ליצור ולהעביר מטמון עבור מציין מיקום. שני השינויים אושרו כנגד תסריט השעתוק של החוקר ובדיקות הסמן הקנרי של Cloudflare עצמו לפני שחזור המודל, והתיקונים נתרמו במעלה הזרם לתחזקי SGLang.
מדוע זיכרון GPU משותף הוא שאלת אבטחה
הדו"ח מסביר נוהג שיפתיע מפתחי אפליקציות רבים: מנועי הסקה בדרך כלל אינם מאפסים דפי KV מטמון בין בקשות, מכיוון שהבקשה הבאה פשוט מחליפה אותם. זהו פשרה מכוונת של ביצועים, נפוץ בכל מנועי הסקה, אך כפי שמראה תקרית זו, כל נתיב המאפשר ליצור תגובה לפני שדפים אלה נמחקים במלואם הופך אופטימיזציה של ביצועים לוקטור של דליפת נתונים.
החשיפה נחתה אצל קהילת המפתחים: הסיפור הגיע ל-123 נקודות ב-Hacker News תוך שעות, כשהדיון התמקד כיצד מצב הכשל - בקשה שהייתה צריכה להיכשל בקול רם במקום להמשיך בשקט במצב פגום - משקף לקחים קלאסיים מהנדסת מערכות מבוזרות.
שיעור רחב יותר עבור תשתית AI
התקרית היא תזכורת לכך שהיקף האבטחה עבור יישומי בינה מלאכותית משתרע כעת עמוק לתוך תשתית ההסקה. הגשה של מודל ריבוי דיירים מרכזת נתונים של לקוחות רבים באמצעות מאיצים משותפים, מאגרי מטמון משותפים, וארכיטקטורות אקזוטיות יותר ויותר כמו מילוי מוקדם מפורק וגישה ישירה לזיכרון מרחוק. חוסר התאמה עדין בין חלון ההקשר המפורסם של דגם לבין היכולת הפיזית שהוקצה לשרת אותו הספיק כדי להפר את בידוד הדיירים.
עבור ארגונים הבנויים על פלטפורמות AI ללא שרת, ההשלכה מהדוח של Cloudflare היא כפולה: באגים של בידוד דיירים בשרת LLM הם אמיתיים וכבר התרחשו בייצור, וזמן התגובה של הספקים - מתחת ל-24 שעות מדיווח לביטול, יום אחד לתיקון ושחזור - הוא הסטנדרט של הקפדה על הדרישה מכל ספק המטפל בהנחיות רגישות.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
