Cloudflare har publicerat en detaljerad incidentrapport som beskriver hur en cachehanteringsbugg i sin serverlösa AI-plattform fick minst 155 användare av en GLM-5.3-modellinstallation att ta emot svar som innehåller fragment av andra kunders uppmaningar och utdata. Rapporten, som publicerades den 26 oktober som ett samordnat avslöjande tillsammans med SGLangs open-source-inferensmotorprojekt, erbjuder en sällsynt offentlig titt i rörsystemet för LLM-servering med flera hyresgäster – och en varning om säkerhetsantagandena för GPU-minne.
Hur läckan hittades For more context on this story, see our ongoing AI news.
Enligt Cloudflare varnade säkerhetsforskaren Gadi Evron från Knostic företaget den 8 september 2026, genom dess HackerOne bug bounty-program. Evron rapporterade att mycket långa uppmaningar som skickades till GLM-5.3-modellen på Cloudflares Workers AI-plattform ibland returnerade text som hörde till andra användares sessioner. Cloudflare återskapade problemet följande morgon och inaktiverade modellen samma dag, och återställde den den 9 september efter att ha implementerat korrigeringar.
Den drabbade modellen var @cf/zai-org/glm-5.3 — den agentiska kodningsmodellen från Z.ai som Cloudflare betjänar genom Workers AI, företagets serverlösa slutledningsplattform. Cloudflare bekräftade att ingen annan modell på plattformen påverkades.
Vad som faktiskt hände
Händelsen spårar tillbaka till två överlappande problem, ett operativt och ett i själva motorn.
Först, felkonfigurationen. Cloudflare distribuerade GLM-5.3 med ett kontextfönster på 1 048 576 token, men cachepoolen för nyckel-värde (KV) på sina prefill GPU:er hade bara plats för 681 280 tokens. Företaget erkände att det var medvetet om denna bristande överensstämmelse innan lanseringen och förväntade sig att slutledningsmotorn skulle avvisa förfrågningar om överlängd på ett säkert sätt.
För det andra, motorfelet. I disaggregerat förfyllnings-/avkodningsläge – arkitekturen som Workers AI använder, där en pool av GPU:er bearbetar prompten och lämnar den resulterande KV-cachen till en separat pool av GPU:er som genererar svaret - hanterade SGLang överlängdsbegäran felaktigt. En prompt som inte passade poolen markerades internt som avvisad och ersattes med en platshållare med ett symbol. Men istället för att avbryta begäran och returnera ett klientfel, genererade prefill-steget KV-cache för platshållarprompten och överförde den till avkodningsnoden, som sedan producerade ett svar som blandade in överbliven data från tidigare förfrågningar som delar samma minnessidor.
Resultatet: mellan 27 augusti och 9 september fick ett litet antal kunder som använde modellen svar som innehöll data från andra kunders förfrågningar som gjordes strax före deras. Totalt påverkades 155 svar - alla, fann Cloudflare, på uppmaningar längre än 681 280 tokens.
Inga bevis på avsiktligt utnyttjande
Cloudflare uppgav att efter att ha uteslutit sin egen testning och forskarens valideringsförfrågningar, var de berörda förfrågningarna konsekventa i timing och volym med vanlig långkontextanvändning, och företaget hittade inga bevis för att någon medvetet utnyttjade buggen. Eftersom varje påverkad begäran överskred den underdimensionerade poolens kapacitet, var exponeringsfönstret tätt begränsat - ett silverfoder som härrör från själva felkonfigurationen som orsakade problemet.
Fixningen: Större pooler och en säkrare misslyckandeväg
Saneringen fungerade på båda skikten av misslyckandet. Cloudflare konfigurerade om sin GLM-5.3-distribution för att matcha sin GLM-5.2-konfiguration, vilket frigjorde tillräckligt med GPU-minne för att prefill KV-poolen nu rymmer cirka 2,04 miljoner tokens - ungefär dubbelt så lång som modellens 1 048 576 tokens kontextlängd. En uppmaning som passar sammanhangsfönstret passar nu alltid poolen.
Men företaget betonade också att det är bräckligt att förlita sig på poolstorlek enbart: förändringar av kvantisering, tensorparallellism, CUDA-grafstorlekar eller en framtida modellversion kan tyst ändra poolstorleken. Så den korrigerade också själva SGLangs avvisningsväg, vilket säkerställde att en avvisad begäran avbryts rent istället för att generera och överföra cache för en platshållare. Båda ändringarna validerades mot forskarens reproduktionsskript och Cloudflares egna tester för kanariefågelmarkörer innan modellen återställdes, och korrigeringarna har bidragit uppströms till SGLang-underhållarna.
Varför delat GPU-minne är en säkerhetsfråga
Rapporten förklarar en praxis som kommer att överraska många applikationsutvecklare: slutledningsmotorer nollställer i allmänhet inte KV-cache-sidor mellan förfrågningar, eftersom nästa begäran helt enkelt skriver över dem. Detta är en avsiktlig prestandaavvägning, vanlig för slutledningsmotorer, men som denna incident visar, förvandlar varje väg som låter ett svar genereras innan dessa sidor är helt överskrivna en prestandaoptimering till en dataläckvektor.
Avslöjandet landade hos utvecklarcommunityt: berättelsen nådde 123 poäng på Hacker News inom några timmar, med diskussioner som fokuserade på hur felläget – en begäran som borde ha misslyckats högt istället för att fortsätta tyst på korrupt tillstånd – speglar klassiska lärdomar från distribuerade systemteknik.
En bredare lektion för AI-infrastruktur
Incidenten är en påminnelse om att säkerhetsperimetern för AI-applikationer nu sträcker sig djupt in i inferensinfrastrukturen. Multi-tenant-modellservering koncentrerar många kunders data genom delade acceleratorer, delade cachepooler och allt mer exotiska arkitekturer som disaggregerad förfyllning och fjärråtkomst till direkt minne. En subtil oöverensstämmelse mellan en modells annonserade kontextfönster och den fysiska kapacitet som tillhandahålls för att betjäna den var tillräckligt för att bryta hyresgästens isolering.
För företag som bygger på serverlösa AI-plattformar är uttaget från Cloudflares rapport tvåfaldigt: hyresgästerisoleringsbuggar i LLM-servering är verkliga och har redan hänt i produktionen, och leverantörernas svarstid – under 24 timmar från rapport till inaktivering, en dag för att fixa och återställa – är standarden för noggrannhet till efterfrågan från alla leverantörer som hanterar känsliga meddelanden.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
