Cloudflare hat einen detaillierten Vorfallbericht veröffentlicht, der beschreibt, wie ein Cache-Verwaltungsfehler in seiner serverlosen KI-Plattform dazu führte, dass mindestens 155 Benutzer einer GLM-5.3-Modellbereitstellung Antworten erhielten, die Fragmente der Eingabeaufforderungen und Ausgaben anderer Kunden enthielten. Der Bericht, der am 26. Oktober als koordinierte Offenlegung zusammen mit dem Open-Source-Inferenz-Engine-Projekt SGLang veröffentlicht wurde, bietet einen seltenen öffentlichen Einblick in die Funktionsweise der mandantenfähigen LLM-Bereitstellung – und eine Warnung vor den Sicherheitsannahmen des GPU-Speichers.
Wie das Leck gefunden wurde Weitere Informationen zu dieser Geschichte finden Sie in unserer mehr KI-Geschichten.
Laut Cloudflare alarmierte der Sicherheitsforscher Gadi Evron von Knostic das Unternehmen am 8. September 2026 über sein Bug-Bounty-Programm HackerOne. Evron berichtete, dass sehr lange Eingabeaufforderungen, die an das GLM-5.3-Modell auf der Workers-KI-Plattform von Cloudflare gesendet wurden, manchmal Text zurückgaben, der zu den Sitzungen anderer Benutzer gehörte. Cloudflare reproduzierte das Problem am nächsten Morgen, deaktivierte das Modell noch am selben Tag und stellte es am 9. September nach der Bereitstellung von Korrekturen wieder her.
Das betroffene Modell war @cf/zai-org/glm-5.3 – das agentische Codierungsmodell von Z.ai, das Cloudflare über Workers AI, die serverlose Inferenzplattform des Unternehmens, bereitstellt. Cloudflare bestätigte, dass kein anderes auf der Plattform gehostetes Modell betroffen war.
Was tatsächlich passiert ist
Der Vorfall geht auf zwei sich überschneidende Probleme zurück, eines im Betrieb und eines im Motor selbst.
Erstens die Fehlkonfiguration. Cloudflare stellte GLM-5.3 mit einem Kontextfenster von 1.048.576 Token bereit, aber der Schlüsselwert-Cache-Pool (KV) auf seinen Prefill-GPUs bot nur Platz für 681.280 Token. Das Unternehmen gab zu, dass es sich dieser Nichtübereinstimmung vor der Markteinführung bewusst war und erwartete, dass die Inferenz-Engine Anfragen mit Überlängen sicher ablehnen würde.
Zweitens der Motorfehler. Im disaggregierten Vorfüll-/Dekodierungsmodus – der von Workers AI verwendeten Architektur, bei der ein GPU-Pool die Eingabeaufforderung verarbeitet und den resultierenden KV-Cache an einen separaten GPU-Pool übergibt, der die Antwort generiert – hat SGLang die Anfrage mit Überlänge falsch verarbeitet. Eine Eingabeaufforderung, die nicht in den Pool passte, wurde intern als abgelehnt markiert und durch einen Platzhalter mit einem Token ersetzt. Doch anstatt die Anfrage abzubrechen und einen Client-Fehler zurückzugeben, generierte die Prefill-Phase einen KV-Cache für die Platzhalter-Eingabeaufforderung und übertrug ihn an den Dekodierungsknoten, der dann eine Antwort erzeugte, die übrig gebliebene Daten von früheren Anfragen, die dieselben Speicherseiten nutzten, einmischte.
Das Ergebnis: Zwischen dem 27. August und dem 9. September erhielt eine kleine Anzahl von Kunden, die das Modell nutzten, Antworten mit Daten aus Anfragen anderer Kunden, die kurz vor ihnen gestellt wurden. Insgesamt waren 155 Antworten betroffen – alle, wie Cloudflare herausfand, auf Eingabeaufforderungen mit einer Länge von mehr als 681.280 Token.
Keine Hinweise auf vorsätzliche Ausbeutung
Cloudflare gab an, dass nach Ausschluss seiner eigenen Tests und der Validierungsanfragen des Forschers die betroffenen Anfragen hinsichtlich Zeitpunkt und Umfang mit der normalen Verwendung im Langzeitkontext übereinstimmten und das Unternehmen keine Beweise dafür fand, dass jemand den Fehler absichtlich ausgenutzt hat. Da jede betroffene Anfrage die Kapazität des unterdimensionierten Pools überstieg, war das Offenlegungsfenster eng begrenzt – ein Silberstreif am Horizont, der auf genau die Fehlkonfiguration zurückzuführen ist, die das Problem verursacht hat.
Die Lösung: Größere Pools und ein sichererer Fehlerpfad
Die Behebung funktionierte auf beiden Ebenen des Fehlers. Cloudflare hat seine GLM-5.3-Bereitstellung neu konfiguriert, um sie an die GLM-5.2-Konfiguration anzupassen, wodurch genügend GPU-Speicher frei wurde, sodass der vorgefüllte KV-Pool nun etwa 2,04 Millionen Token enthält – ungefähr das Doppelte der Kontextlänge des Modells von 1.048.576 Token. Eine Eingabeaufforderung, die zum Kontextfenster passt, passt jetzt immer zum Pool.
Das Unternehmen betonte jedoch auch, dass es fragil sei, sich allein auf die Poolgröße zu verlassen: Änderungen an Quantisierung, Tensorparallelität, CUDA-Graphgrößen oder einer zukünftigen Modellversion können die Poolgröße stillschweigend ändern. Daher wurde auch der Ablehnungspfad von SGLang selbst gepatcht, um sicherzustellen, dass eine abgelehnte Anfrage sauber abgebrochen wird, anstatt Cache für einen Platzhalter zu generieren und zu übertragen. Beide Änderungen wurden vor der Wiederherstellung des Modells anhand des Reproduktionsskripts des Forschers und der eigenen Canary-Marker-Tests von Cloudflare validiert, und die Korrekturen wurden vorab an die SGLang-Betreuer übermittelt.
Warum gemeinsam genutzter GPU-Speicher eine Sicherheitsfrage ist
Der Bericht erklärt eine Praxis, die viele Anwendungsentwickler überraschen wird: Inferenz-Engines setzen KV-Cache-Seiten zwischen Anfragen im Allgemeinen nicht auf Null, da sie bei der nächsten Anfrage einfach überschrieben werden. Dabei handelt es sich um einen bewussten Leistungskompromiss, der bei allen Inferenz-Engines üblich ist, aber wie dieser Vorfall zeigt, verwandelt jeder Pfad, der es ermöglicht, eine Antwort zu generieren, bevor diese Seiten vollständig überschrieben werden, eine Leistungsoptimierung in einen Vektor für Datenlecks.
Die Enthüllung landete bei der Entwickler-Community: Die Geschichte erreichte innerhalb weniger Stunden 123 Punkte bei Hacker News, wobei sich die Diskussion darauf konzentrierte, wie der Fehlermodus – eine Anfrage, die lautstark hätte fehlschlagen sollen, anstatt lautlos im beschädigten Zustand fortzufahren – klassische Lehren aus der verteilten Systemtechnik widerspiegelt.
Eine umfassendere Lektion für die KI-Infrastruktur
Der Vorfall ist eine Erinnerung daran, dass der Sicherheitsbereich für KI-Anwendungen mittlerweile tief in die Inferenzinfrastruktur hineinreicht. Beim Multi-Tenant-Modell werden die Daten vieler Kunden über gemeinsam genutzte Beschleuniger, gemeinsam genutzte Cache-Pools und immer exotischere Architekturen wie disaggregierte Vorabfüllung und Remote-Direktspeicherzugriff konzentriert. Eine subtile Diskrepanz zwischen dem angekündigten Kontextfenster eines Modells und der dafür bereitgestellten physischen Kapazität reichte aus, um die Mandantenisolation zu durchbrechen.
Für Unternehmen, die auf serverlosen KI-Plattformen aufbauen, ergeben sich aus dem Bericht von Cloudflare zwei Erkenntnisse: Fehler bei der Mandantenisolierung bei der LLM-Bereitstellung sind real und sind bereits in der Produktion aufgetreten, und die Reaktionszeit der Anbieter – weniger als 24 Stunden von der Meldung bis zur Deaktivierung, ein Tag bis zur Behebung und Wiederherstellung – entspricht dem Sorgfaltsmaßstab, den jeder Anbieter bei der Bearbeitung sensibler Eingabeaufforderungen einhalten muss.
---
Bleib vorne bei KIDie neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.
Mehr KI-Nachrichten lesen →
