क्लाउडफ्लेअरने त्याच्या सर्व्हरलेस एआय प्लॅटफॉर्ममधील कॅशे-हँडलिंग बगमुळे GLM-5.3 मॉडेलच्या किमान 155 वापरकर्त्यांना इतर ग्राहकांच्या प्रॉम्प्ट्स आणि आउटपुटचे तुकडे असलेले प्रतिसाद कसे प्राप्त झाले याचे वर्णन करणारा तपशीलवार घटना अहवाल प्रकाशित केला आहे. SGLang ओपन-सोर्स इन्फरेन्स इंजिन प्रोजेक्टच्या बाजूने समन्वित प्रकटीकरण म्हणून 26 ऑक्टोबर रोजी प्रकाशित झालेला अहवाल, मल्टी-टेनंट LLM सर्व्हिंगच्या प्लंबिंगमध्ये एक दुर्मिळ सार्वजनिक देखावा ऑफर करतो — आणि GPU मेमरीच्या सुरक्षिततेच्या गृहीतकांबद्दल चेतावणी देतो.

गळती कशी सापडली For more context on this story, see our ongoing breaking AI news.

क्लाउडफ्लेअरच्या मते, नॉस्टिकचे सुरक्षा संशोधक गाडी एव्हरॉन यांनी 8 सप्टेंबर 2026 रोजी कंपनीला त्याच्या HackerOne बग बाउंटी प्रोग्रामद्वारे अलर्ट केले. एव्हरॉनने नोंदवले की क्लाउडफ्लेअरच्या वर्कर्स एआय प्लॅटफॉर्मवर GLM-5.3 मॉडेलला पाठवलेले खूप लांब प्रॉम्प्ट काहीवेळा इतर वापरकर्त्यांच्या सत्राशी संबंधित मजकूर परत करतात. Cloudflare ने दुसऱ्या दिवशी सकाळी समस्येचे पुनरुत्पादन केले आणि त्याच दिवशी मॉडेल अक्षम केले, निराकरणे तैनात केल्यानंतर 9 सप्टेंबर रोजी पुनर्संचयित केले.

प्रभावित मॉडेल @cf/zai-org/glm-5.3 होते — Z.ai चे एजंटिक कोडिंग मॉडेल जे क्लाउडफ्लेअर कंपनीचे सर्व्हरलेस इन्फरन्स प्लॅटफॉर्म Workers AI द्वारे सेवा देते. Cloudflare ने पुष्टी केली की प्लॅटफॉर्मवर होस्ट केलेल्या इतर कोणत्याही मॉडेलवर परिणाम झाला नाही.

नेमकं काय झालं

ही घटना दोन आच्छादित समस्यांकडे परत येते, एक कार्यरत आणि दुसरी इंजिनमध्येच.

प्रथम, चुकीचे कॉन्फिगरेशन. Cloudflare ने 1,048,576-टोकन कॉन्टेक्स्ट विंडोसह GLM-5.3 तैनात केले, परंतु त्याच्या प्रीफिल GPU वरील की-व्हॅल्यू (KV) कॅशे पूलमध्ये फक्त 681,280 टोकनसाठी जागा होती. कंपनीने कबूल केले की लाँच करण्यापूर्वी या विसंगतीची जाणीव होती आणि अनुमान इंजिनने जास्त लांबीच्या विनंत्या सुरक्षितपणे नाकारल्या जातील अशी अपेक्षा केली.

दुसरे, इंजिन बग. विभक्त प्रीफिल/डीकोड मोडमध्ये — आर्किटेक्चर वर्कर्स AI वापरतो, ज्यामध्ये GPU चा एक पूल प्रॉम्प्टवर प्रक्रिया करतो आणि परिणामी KV कॅशे GPU च्या वेगळ्या पूलला देतो जे प्रतिसाद निर्माण करतात — SGLang ने जास्त लांबीची विनंती चुकीच्या पद्धतीने हाताळली. पूलमध्ये बसत नसलेल्या प्रॉम्प्टवर अंतर्गतरित्या नाकारले गेले म्हणून चिन्हांकित केले गेले आणि एक-टोकन प्लेसहोल्डरने बदलले. परंतु विनंती रद्द करण्याऐवजी आणि क्लायंट त्रुटी परत करण्याऐवजी, प्रीफिल स्टेजने प्लेसहोल्डर प्रॉम्प्टसाठी KV कॅशे व्युत्पन्न केले आणि ते डीकोड नोडमध्ये हस्तांतरित केले, ज्याने नंतर समान मेमरी पृष्ठे सामायिक करणाऱ्या मागील विनंत्यांमधील उरलेल्या डेटामध्ये मिसळून प्रतिसाद दिला.

परिणाम: 27 ऑगस्ट ते 9 सप्टेंबर दरम्यान, मॉडेल वापरणाऱ्या काही ग्राहकांना त्यांच्या काही वेळापूर्वी केलेल्या इतर ग्राहकांच्या विनंत्यांचा डेटा असलेले प्रतिसाद मिळाले. एकूण, 155 प्रतिसाद प्रभावित झाले होते - सर्व, क्लाउडफ्लेअरला आढळले, 681,280 टोकन्सपेक्षा जास्त काळ प्रॉम्प्ट करण्यासाठी.

जाणूनबुजून केलेल्या शोषणाचा कोणताही पुरावा नाही

क्लाउडफ्लेअरने सांगितले की स्वतःची चाचणी आणि संशोधकाच्या प्रमाणीकरण विनंत्या वगळल्यानंतर, प्रभावित विनंत्या सामान्य दीर्घ-संदर्भ वापरासह वेळेत आणि व्हॉल्यूममध्ये सुसंगत होत्या, आणि कंपनीला कोणताही पुरावा आढळला नाही की कोणीही मुद्दाम बग शोषण केले. प्रत्येक प्रभावित विनंतीने अंडरसाइज्ड पूलची क्षमता ओलांडल्यामुळे, एक्सपोजर विंडो घट्ट बांधलेली होती — एक चांदीचे अस्तर जे अगदी चुकीच्या कॉन्फिगरेशनमुळे उद्भवते ज्यामुळे समस्या उद्भवली.

निराकरण: मोठे पूल आणि एक सुरक्षित अयशस्वी मार्ग

बिघाडाच्या दोन्ही स्तरांवर उपाय कार्य केले. क्लाउडफ्लेअरने त्याच्या GLM-5.2 कॉन्फिगरेशनशी जुळण्यासाठी GLM-5.3 उपयोजन पुन्हा कॉन्फिगर केले, पुरेशी GPU मेमरी मुक्त केली जी प्रीफिल KV पूलमध्ये आता सुमारे 2.04 दशलक्ष टोकन्स आहेत — मॉडेलच्या 1,048,576-टोकन संदर्भ लांबीच्या अंदाजे दुप्पट. संदर्भ विंडोमध्ये बसणारा प्रॉम्प्ट आता नेहमी पूलमध्ये बसतो.

परंतु कंपनीने असेही सांगितले की केवळ पूल आकारावर अवलंबून राहणे नाजूक आहे: परिमाणीकरण, टेन्सर समांतरता, CUDA आलेख आकारात बदल किंवा भविष्यातील मॉडेल आवृत्ती शांतपणे पूल आकार बदलू शकते. त्यामुळे प्लेसहोल्डरसाठी कॅशे व्युत्पन्न आणि हस्तांतरित करण्याऐवजी नाकारलेली विनंती स्वच्छपणे रद्द केली जाईल याची खात्री करून, SGLang च्या नकाराचा मार्ग देखील पॅच केला. मॉडेल पुनर्संचयित करण्यापूर्वी संशोधकाच्या पुनरुत्पादन स्क्रिप्ट आणि क्लाउडफ्लेअरच्या स्वतःच्या कॅनरी-मार्कर चाचण्यांनुसार दोन्ही बदल प्रमाणित केले गेले आणि SGLang देखभालकर्त्यांना अपस्ट्रीममध्ये सुधारणांचे योगदान दिले गेले.

सामायिक GPU मेमरी हा एक सुरक्षा प्रश्न का आहे

अहवालात अनेक ऍप्लिकेशन डेव्हलपर्सना आश्चर्यचकित करणाऱ्या सरावाचे स्पष्टीकरण दिले आहे: अनुमान इंजिन सामान्यत: विनंत्यांमधील KV कॅशे पृष्ठे शून्य करत नाहीत, कारण पुढील विनंती त्यांना फक्त ओव्हरराइट करते. हे जाणूनबुजून केलेले कार्यप्रदर्शन ट्रेड-ऑफ आहे, जे सर्व अनुमान इंजिनांमध्ये सामान्य आहे, परंतु ही घटना दर्शविल्याप्रमाणे, ती पृष्ठे पूर्णपणे ओव्हरराईट होण्यापूर्वी प्रतिसाद निर्माण करू देणारा कोणताही मार्ग परफॉर्मन्स ऑप्टिमायझेशनला डेटा-लीक वेक्टरमध्ये बदलतो.

हे प्रकटीकरण विकसक समुदायासोबत पोहोचले: हॅकर न्यूजवर काही तासांतच कथा 123 पॉइंट्सवर पोहोचली, ज्यामध्ये अयशस्वी मोड कसा झाला यावर लक्ष केंद्रित केले गेले - दूषित स्थितीवर शांतपणे पुढे जाण्याऐवजी मोठ्याने अयशस्वी झालेली विनंती - वितरित प्रणाली अभियांत्रिकीचे उत्कृष्ट धडे दर्शवते.

AI पायाभूत सुविधांसाठी एक व्यापक धडा

ही घटना एक स्मरण करून देणारी आहे की एआय ऍप्लिकेशन्ससाठी सुरक्षा परिमिती आता इन्फरन्स इन्फ्रास्ट्रक्चरमध्ये खोलवर विस्तारित आहे. मल्टी-टेनंट मॉडेल सर्व्हिंग अनेक ग्राहकांच्या डेटावर शेअर्ड एक्सीलरेटर्स, शेअर केलेले कॅशे पूल आणि वाढत्या विदेशी आर्किटेक्चर्स जसे की डिसॅग्रेटेड प्रीफिल आणि रिमोट डायरेक्ट मेमरी ऍक्सेसद्वारे केंद्रित करते. मॉडेलची जाहिरात केलेली संदर्भ विंडो आणि त्याची सेवा देण्यासाठी तरतूद केलेली भौतिक क्षमता यांच्यातील सूक्ष्म विसंगती भाडेकरू अलगावचा भंग करण्यासाठी पुरेशी होती.

सर्व्हरलेस एआय प्लॅटफॉर्मवर उभारणाऱ्या उपक्रमांसाठी, क्लाउडफ्लेअरच्या अहवालातून टेकअवे दुप्पट आहे: LLM सर्व्हिंगमधील भाडेकरू आयसोलेशन बग वास्तविक आहेत आणि उत्पादनात आधीच घडले आहेत, आणि विक्रेत्यांचा प्रतिसाद वेळ — अहवालापासून ते अक्षम होण्यासाठी २४ तासांपेक्षा कमी, निराकरण आणि पुनर्संचयित करण्यासाठी एक दिवस — कोणत्याही प्रदात्या प्रदात्याकडून मागणी करण्यासाठी परिश्रम करण्याचे मानक आहे.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →