क्लाउडफ्लेयर ने एक विस्तृत घटना रिपोर्ट प्रकाशित की है जिसमें बताया गया है कि कैसे इसके सर्वर रहित एआई प्लेटफॉर्म में कैश-हैंडलिंग बग के कारण जीएलएम-5.3 मॉडल परिनियोजन के कम से कम 155 उपयोगकर्ताओं को अन्य ग्राहकों के संकेतों और आउटपुट के टुकड़े वाली प्रतिक्रियाएं प्राप्त हुईं। एसजीएलएंग ओपन-सोर्स इंट्रेंस इंजन प्रोजेक्ट के साथ एक समन्वित प्रकटीकरण के रूप में 26 अक्टूबर को प्रकाशित रिपोर्ट, मल्टी-टेनेंट एलएलएम सेवा की पाइपलाइन के अंदर एक दुर्लभ सार्वजनिक नज़र पेश करती है - और जीपीयू मेमोरी की सुरक्षा धारणाओं के बारे में एक चेतावनी।

लीक का पता कैसे चला For more context on this story, see our ongoing AI trends.

क्लाउडफ्लेयर के अनुसार, नॉस्टिक के सुरक्षा शोधकर्ता गाडी एवरॉन ने 8 सितंबर, 2026 को अपने हैकरवन बग बाउंटी प्रोग्राम के माध्यम से कंपनी को सचेत किया। एवरॉन ने बताया कि क्लाउडफ्लेयर के वर्कर्स एआई प्लेटफॉर्म पर जीएलएम-5.3 मॉडल को भेजे गए बहुत लंबे संकेत कभी-कभी ऐसे टेक्स्ट लौटाते हैं जो अन्य उपयोगकर्ताओं के सत्रों से संबंधित होते हैं। क्लाउडफ्लेयर ने अगली सुबह इस समस्या को दोहराया और उसी दिन मॉडल को अक्षम कर दिया, और सुधार लागू करने के बाद 9 सितंबर को इसे बहाल कर दिया।

प्रभावित मॉडल @cf/zai-org/glm-5.3 था - Z.ai का एजेंटिक कोडिंग मॉडल जिसे Cloudflare कंपनी के सर्वर रहित अनुमान प्लेटफॉर्म वर्कर्स AI के माध्यम से कार्य करता है। क्लाउडफ़ेयर ने पुष्टि की कि प्लेटफ़ॉर्म पर होस्ट किया गया कोई अन्य मॉडल प्रभावित नहीं हुआ है।

वास्तव में क्या हुआ

यह घटना दो अतिव्यापी समस्याओं का पता लगाती है, एक परिचालनात्मक और एक इंजन में ही।

सबसे पहले, ग़लत कॉन्फ़िगरेशन. क्लाउडफ्लेयर ने 1,048,576-टोकन संदर्भ विंडो के साथ GLM-5.3 को तैनात किया, लेकिन इसके प्रीफिल जीपीयू पर की-वैल्यू (KV) कैश पूल में केवल 681,280 टोकन के लिए जगह थी। कंपनी ने स्वीकार किया कि उसे लॉन्च से पहले इस बेमेल के बारे में पता था और उम्मीद थी कि अनुमान इंजन ओवर-लेंथ अनुरोधों को सुरक्षित रूप से अस्वीकार कर देगा।

दूसरा, इंजन बग. अलग-अलग प्रीफ़िल/डीकोड मोड में - आर्किटेक्चर वर्कर्स एआई का उपयोग करता है, जिसमें जीपीयू का एक पूल प्रॉम्प्ट को संसाधित करता है और परिणामी केवी कैश को जीपीयू के एक अलग पूल में सौंप देता है जो प्रतिक्रिया उत्पन्न करता है - एसजीलैंग ने ओवर-लेंथ अनुरोध को गलत तरीके से संभाला। एक संकेत जो पूल में फिट नहीं हुआ, उसे आंतरिक रूप से अस्वीकृत के रूप में चिह्नित किया गया और एक-टोकन प्लेसहोल्डर के साथ बदल दिया गया। लेकिन अनुरोध को निरस्त करने और क्लाइंट त्रुटि लौटाने के बजाय, प्रीफ़िल चरण ने प्लेसहोल्डर प्रॉम्प्ट के लिए केवी कैश उत्पन्न किया और इसे डिकोड नोड में स्थानांतरित कर दिया, जिसने तब एक प्रतिक्रिया उत्पन्न की जो समान मेमोरी पेजों को साझा करने वाले पिछले अनुरोधों से बचे हुए डेटा में मिश्रित हो गई।

परिणाम: 27 अगस्त और 9 सितंबर के बीच, मॉडल का उपयोग करने वाले ग्राहकों की एक छोटी संख्या को ऐसी प्रतिक्रियाएं मिलीं जिनमें उनके अनुरोध से कुछ समय पहले किए गए अन्य ग्राहकों के अनुरोधों का डेटा शामिल था। कुल मिलाकर, 155 प्रतिक्रियाएँ प्रभावित हुईं - सभी, क्लाउडफ्लेयर ने पाया, 681,280 टोकन से अधिक लंबे संकेतों के लिए।

जानबूझकर शोषण का कोई सबूत नहीं

क्लाउडफ्लेयर ने कहा कि अपने स्वयं के परीक्षण और शोधकर्ता के सत्यापन अनुरोधों को छोड़कर, प्रभावित अनुरोध सामान्य लंबे-संदर्भ उपयोग के साथ समय और मात्रा में सुसंगत थे, और कंपनी को कोई सबूत नहीं मिला कि किसी ने जानबूझकर बग का फायदा उठाया। क्योंकि प्रत्येक प्रभावित अनुरोध अंडरसाइज़्ड पूल की क्षमता से अधिक था, एक्सपोज़र विंडो को कसकर बांध दिया गया था - एक उम्मीद की किरण जो उसी गलत कॉन्फ़िगरेशन से उत्पन्न होती है जो समस्या का कारण बनी।

समाधान: बड़े पूल और एक सुरक्षित विफलता पथ

सुधार ने विफलता की दोनों परतों पर काम किया। क्लाउडफ़ेयर ने अपने GLM-5.2 कॉन्फ़िगरेशन से मेल खाने के लिए अपने GLM-5.3 परिनियोजन को पुन: कॉन्फ़िगर किया, जिससे पर्याप्त GPU मेमोरी मुक्त हो गई कि प्रीफ़िल KV पूल में अब लगभग 2.04 मिलियन टोकन हैं - जो मॉडल की 1,048,576-टोकन संदर्भ लंबाई से लगभग दोगुना है। एक संकेत जो संदर्भ विंडो में फिट बैठता है वह अब हमेशा पूल में फिट बैठता है।

लेकिन कंपनी ने इस बात पर भी जोर दिया कि अकेले पूल आकार पर निर्भर रहना नाजुक है: परिमाणीकरण, टेंसर समानता, सीयूडीए ग्राफ आकार, या भविष्य के मॉडल संस्करण में परिवर्तन चुपचाप पूल आकार को बदल सकते हैं। इसलिए इसने SGLang के अस्वीकृति पथ को भी पैच कर दिया, जिससे यह सुनिश्चित हो गया कि अस्वीकृत अनुरोध प्लेसहोल्डर के लिए कैश उत्पन्न करने और स्थानांतरित करने के बजाय सफाई से निरस्त हो जाता है। मॉडल को पुनर्स्थापित करने से पहले शोधकर्ता की पुनरुत्पादन स्क्रिप्ट और क्लाउडफ़ेयर के स्वयं के कैनरी-मार्कर परीक्षणों के विरुद्ध दोनों परिवर्तनों को मान्य किया गया था, और फिक्स को एसजीलैंग अनुरक्षकों के लिए अपस्ट्रीम में योगदान दिया गया है।

साझा जीपीयू मेमोरी एक सुरक्षा प्रश्न क्यों है

रिपोर्ट एक ऐसी प्रथा की व्याख्या करती है जो कई एप्लिकेशन डेवलपर्स को आश्चर्यचकित कर देगी: अनुमान इंजन आम तौर पर अनुरोधों के बीच केवी कैश पृष्ठों को शून्य नहीं करते हैं, क्योंकि अगला अनुरोध बस उन्हें अधिलेखित कर देता है। यह एक जानबूझकर किया गया प्रदर्शन व्यापार-बंद है, जो अनुमान इंजनों में आम है, लेकिन जैसा कि इस घटना से पता चलता है, कोई भी पथ जो उन पृष्ठों को पूरी तरह से अधिलेखित होने से पहले प्रतिक्रिया उत्पन्न करने देता है, प्रदर्शन अनुकूलन को डेटा-लीक वेक्टर में बदल देता है।

खुलासा डेवलपर समुदाय के साथ हुआ: कहानी कुछ ही घंटों में हैकर न्यूज पर 123 अंक तक पहुंच गई, जिसमें चर्चा इस बात पर केंद्रित थी कि विफलता मोड - एक अनुरोध जिसे भ्रष्ट स्थिति पर चुपचाप आगे बढ़ने के बजाय जोर से विफल होना चाहिए था - वितरित सिस्टम इंजीनियरिंग से क्लासिक सबक को प्रतिबिंबित करता है।

एआई इन्फ्रास्ट्रक्चर के लिए एक व्यापक सबक

यह घटना एक अनुस्मारक है कि एआई अनुप्रयोगों के लिए सुरक्षा परिधि अब अनुमान बुनियादी ढांचे में गहराई तक फैली हुई है। मल्टी-टेनेंट मॉडल सेवा साझा एक्सेलेरेटर, साझा कैश पूल और अलग-अलग प्रीफिल और रिमोट डायरेक्ट मेमोरी एक्सेस जैसे तेजी से विदेशी आर्किटेक्चर के माध्यम से कई ग्राहकों के डेटा को केंद्रित करती है। किसी मॉडल की विज्ञापित संदर्भ विंडो और उसकी सेवा के लिए प्रदान की गई भौतिक क्षमता के बीच एक सूक्ष्म बेमेल किरायेदार अलगाव को भंग करने के लिए पर्याप्त था।

सर्वर रहित एआई प्लेटफॉर्म पर निर्माण करने वाले उद्यमों के लिए, क्लाउडफ्लेयर की रिपोर्ट से दो बातें स्पष्ट हैं: एलएलएम सेवा में किरायेदार अलगाव बग वास्तविक हैं और पहले से ही उत्पादन में हो चुके हैं, और विक्रेताओं की प्रतिक्रिया का समय - रिपोर्ट से अक्षम करने के लिए 24 घंटे से कम, ठीक करने और पुनर्स्थापित करने के लिए एक दिन - संवेदनशील संकेतों को संभालने वाले किसी भी प्रदाता से मांग करने के लिए परिश्रम का मानक है।

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →