Cloudflare heeft een gedetailleerd incidentrapport gepubliceerd waarin wordt beschreven hoe een cache-afhandelingsbug in zijn serverloze AI-platform ervoor zorgde dat ten minste 155 gebruikers van een GLM-5.3-modelimplementatie antwoorden ontvingen met fragmenten van de prompts en outputs van andere klanten. Het rapport, dat op 26 oktober werd gepubliceerd als een gecoördineerde onthulling naast het SGLang open-source inference engine-project, biedt een zeldzame publieke blik in de leidingen van multi-tenant LLM-services – en een waarschuwing over de beveiligingsaannames van GPU-geheugen.
Hoe het lek werd gevonden Voor meer context over dit verhaal, zie ons AI-nieuws.
Volgens Cloudflare waarschuwde beveiligingsonderzoeker Gadi Evron van Knostic het bedrijf op 8 september 2026 via zijn HackerOne bug bounty-programma. Evron meldde dat zeer lange prompts die naar het GLM-5.3-model op het Workers AI-platform van Cloudflare werden gestuurd, soms tekst retourneerden die toebehoorde aan de sessies van andere gebruikers. Cloudflare reproduceerde het probleem de volgende ochtend en schakelde het model dezelfde dag uit en herstelde het op 9 september na het implementeren van oplossingen.
Het getroffen model was @cf/zai-org/glm-5.3 – het agentische codeermodel van Z.ai dat Cloudflare bedient via Workers AI, het serverloze inferentieplatform van het bedrijf. Cloudflare bevestigde dat geen enkel ander model dat op het platform wordt gehost, hierdoor werd getroffen.
Wat er feitelijk is gebeurd
Het incident is terug te voeren op twee overlappende problemen, één operationeel en één in de motor zelf.
Ten eerste de verkeerde configuratie. Cloudflare implementeerde GLM-5.3 met een contextvenster van 1.048.576 tokens, maar de sleutelwaarde-cachepool (KV) op de prefill-GPU's had slechts ruimte voor 681.280 tokens. Het bedrijf erkende dat het vóór de lancering op de hoogte was van deze discrepantie en verwachtte dat de inferentie-engine verzoeken met te lange lengte veilig zou afwijzen.
Ten tweede, de motorbug. In de gedesaggregeerde prefill/decode-modus – de architectuur die Workers AI gebruikt, waarin één pool van GPU’s de prompt verwerkt en de resulterende KV-cache overhandigt aan een aparte pool van GPU’s die het antwoord genereren – heeft SGLang het verzoek over de te lange lengte onjuist afgehandeld. Een prompt die niet in de pool paste, werd intern gemarkeerd als afgewezen en vervangen door een tijdelijke aanduiding van één token. Maar in plaats van het verzoek af te breken en een clientfout te retourneren, genereerde de prefill-fase KV-cache voor de tijdelijke aanduiding-prompt en bracht deze over naar het decodeerknooppunt, dat vervolgens een antwoord produceerde waarin de overgebleven gegevens van eerdere verzoeken werden gemengd die dezelfde geheugenpagina's deelden.
Het resultaat: tussen 27 augustus en 9 september ontving een klein aantal klanten die het model gebruikten reacties met gegevens over verzoeken van andere klanten die kort vóór die van hen waren gedaan. In totaal werden 155 reacties beïnvloed – allemaal, zo ontdekte Cloudflare, op prompts langer dan 681.280 tokens.
Geen bewijs van opzettelijke uitbuiting
Cloudflare verklaarde dat, na uitsluiting van de eigen tests en de validatieverzoeken van de onderzoeker, de getroffen verzoeken qua timing en volume consistent waren met gewoon gebruik in een lange context, en dat het bedrijf geen bewijs vond dat iemand opzettelijk de bug had uitgebuit. Omdat elk getroffen verzoek de capaciteit van het ondermaatse zwembad overschreed, was het blootstellingsvenster strak begrensd – een lichtpuntje dat voortkomt uit de verkeerde configuratie die het probleem veroorzaakte.
De oplossing: grotere pools en een veiliger faalpad
De sanering werkte op beide lagen van de storing. Cloudflare heeft de GLM-5.3-implementatie opnieuw geconfigureerd om te passen bij de GLM-5.2-configuratie, waardoor voldoende GPU-geheugen vrijkomt zodat de prefill KV-pool nu ongeveer 2,04 miljoen tokens bevat – ongeveer het dubbele van de contextlengte van 1.048.576 tokens van het model. Een prompt die in het contextvenster past, past nu altijd bij de pool.
Maar het bedrijf benadrukte ook dat alleen vertrouwen op de grootte van de pool kwetsbaar is: veranderingen in de kwantisering, het parallellisme van de tensor, de CUDA-grafiekgroottes of een toekomstige modelversie kunnen de grootte van de pool stilletjes veranderen. Het heeft dus ook het afwijzingspad van SGLang zelf hersteld, waardoor een afgewezen verzoek netjes wordt afgebroken in plaats van dat er cache voor een tijdelijke aanduiding wordt gegenereerd en overgedragen. Beide wijzigingen zijn gevalideerd aan de hand van het reproductiescript van de onderzoeker en Cloudflare's eigen canary-marker-tests voordat het model werd hersteld, en de verbeteringen zijn stroomopwaarts bijgedragen aan de SGLang-beheerders.
Waarom gedeeld GPU-geheugen een beveiligingsvraag is
Het rapport legt een praktijk uit die veel applicatieontwikkelaars zal verbazen: inferentie-engines zetten KV-cachepagina's doorgaans niet op nul tussen verzoeken, omdat het volgende verzoek ze eenvoudigweg overschrijft. Dit is een bewuste prestatie-afweging, die gebruikelijk is bij inferentie-engines, maar zoals dit incident laat zien, verandert elk pad waarmee een antwoord kan worden gegenereerd voordat die pagina's volledig worden overschreven, een prestatie-optimalisatie in een datalekvector.
De onthulling kwam terecht bij de ontwikkelaarsgemeenschap: het verhaal bereikte binnen enkele uren 123 punten op Hacker News, waarbij de discussie zich concentreerde op de manier waarop de faalmodus – een verzoek dat luidruchtig had moeten mislukken in plaats van stilletjes voort te gaan op een corrupte staat – klassieke lessen weerspiegelt van gedistribueerde systeemtechniek.
Een bredere les voor AI-infrastructuur
Het incident herinnert ons eraan dat de veiligheidsperimeter voor AI-toepassingen zich nu tot diep in de inferentie-infrastructuur uitstrekt. Het multi-tenant model concentreert de gegevens van veel klanten via gedeelde accelerators, gedeelde cachepools en steeds exotischere architecturen zoals gedesaggregeerde prefill en directe geheugentoegang op afstand. Een subtiele discrepantie tussen het geadverteerde contextvenster van een model en de fysieke capaciteit die daarvoor was ingericht, was voldoende om de tenant-isolatie te doorbreken.
Voor bedrijven die op serverloze AI-platforms bouwen, is de conclusie uit het rapport van Cloudflare tweeledig: bugs voor huurderisolatie in LLM-services zijn reëel en zijn al in de productie gebeurd, en de responstijd van de leveranciers – minder dan 24 uur van rapport tot uitschakeling, één dag om te repareren en te herstellen – is de standaard van zorgvuldigheid die moet worden geëist van elke provider die gevoelige prompts afhandelt.
---
Blijf Voorop met AIHet laatste AI-nieuws, analyses en doorbraken — allemaal op één plek.
Lees meer AI-nieuws →
