Cloudflare wis nerbitake laporan kedadean sing rinci babagan carane bug nangani cache ing platform AI tanpa server nyebabake paling ora 155 pangguna saka panyebaran model GLM-5.3 nampa respon sing ngemot fragmen saka pituduh lan output pelanggan liyane. Laporan kasebut, diterbitake 26 Oktober minangka pambocoran terkoordinasi bebarengan karo proyek mesin inferensi sumber terbuka SGLang, nawakake tampilan umum sing langka ing njero pipa multi-tenant layanan LLM - lan peringatan babagan asumsi keamanan memori GPU.
Carane Bocor Ditemokake For more context on this story, see our ongoing breaking AI news.
Miturut Cloudflare, peneliti keamanan Gadi Evron saka Knostic menehi tandha marang perusahaan kasebut tanggal 8 September 2026, liwat program hadiah bug HackerOne. Evron nglaporake manawa pesen sing dawa banget dikirim menyang model GLM-5.3 ing platform Cloudflare's Workers AI kadhangkala ngasilake teks sing ana ing sesi pangguna liyane. Cloudflare ngasilake masalah kasebut ing wayah esuk lan mateni model kasebut ing dina sing padha, mulihake ing 9 September sawise ngetrapake perbaikan.
Model sing kena pengaruh yaiku @cf/zai-org/glm-5.3 — model coding agen saka Z.ai sing dilayani Cloudflare liwat Workers AI, platform inferensi tanpa server perusahaan. Cloudflare dikonfirmasi manawa ora ana model liyane sing di-host ing platform kasebut kena pengaruh.
Apa Sejatine Kedadean
Kedadeyan kasebut bali menyang rong masalah sing tumpang tindih, siji operasional lan siji ing mesin kasebut.
Pisanan, misconfiguration. Cloudflare nyebarake GLM-5.3 kanthi jendhela konteks 1.048.576-token, nanging blumbang cache nilai kunci (KV) ing GPU prefill mung duwe ruang kanggo 681.280 token. Perusahaan ngakoni manawa ngerti babagan ketidakcocokan iki sadurunge diluncurake lan ngarepake mesin inferensi bakal nolak panjaluk sing luwih dawa kanthi aman.
Kapindho, bug engine. Ing mode prefill / decode sing dipisahake - arsitektur Workers AI digunakake, ing ngendi siji kumpulan GPU ngolah pituduh lan ngirim cache KV sing diasilake menyang kumpulan GPU sing kapisah sing ngasilake respon - SGLang nangani panjalukan sing luwih dawa kanthi ora bener. Pandhuan sing ora pas karo blumbang ditandhani sacara internal minangka ditolak lan diganti karo placeholder siji-token. Nanging tinimbang mbatalake panjalukan lan ngasilake kesalahan klien, tahap prefill ngasilake cache KV kanggo pituduh placeholder lan ditransfer menyang simpul decode, sing banjur ngasilake respon sing dicampur karo data sisa saka panjalukan sadurunge nuduhake kaca memori sing padha.
Asil: antarane 27 Agustus lan 9 September, sawetara pelanggan cilik sing nggunakake model nampa respon sing ngemot data saka panjalukan pelanggan liyane sing digawe sakcepete sadurunge. Total, 155 respon kena pengaruh - kabeh, Cloudflare ditemokake, kanggo njaluk luwih saka 681,280 token.
Ora Ana Bukti Eksploitasi sing Disengaja
Cloudflare nyatakake yen sawise ora kalebu tes dhewe lan panjaluk validasi peneliti, panjaluk sing kena pengaruh konsisten ing wektu lan volume kanthi nggunakake konteks dawa biasa, lan perusahaan ora nemokake bukti manawa ana wong sing sengaja ngeksploitasi bug kasebut. Amarga saben panjalukan sing kena pengaruh ngluwihi kapasitas blumbang sing ukurane kurang, jendhela cahya diwatesi kanthi rapet - lapisan perak sing asale saka kesalahan konfigurasi sing nyebabake masalah kasebut.
Ndandani: Kolam sing luwih gedhe lan Path Gagal Luwih Aman
Remediation makarya ing loro lapisan saka Gagal. Cloudflare ngonfigurasi ulang penyebaran GLM-5.3 kanggo cocog karo konfigurasi GLM-5.2, mbebasake memori GPU sing cukup supaya kolam KV sing wis diisi saiki duwe udakara 2,04 yuta token - kira-kira tikel kaping pindho dawa konteks model 1,048,576-token. Pandhuan sing cocog karo jendhela konteks saiki mesthi cocog karo kolam.
Nanging perusahaan uga negesake manawa mung gumantung ing ukuran blumbang mung rapuh: owah-owahan kuantisasi, paralelisme tensor, ukuran grafik CUDA, utawa versi model sing bakal teka bisa ngganti ukuran blumbang kanthi tenang. Dadi uga patched path larangan SGLang dhewe, mesthekake yen panjalukan ditolak aborts resik tinimbang ngasilaken lan nransfer cache kanggo placeholder. Kaloro owah-owahan kasebut divalidasi marang skrip reproduksi peneliti lan tes penanda kenari Cloudflare dhewe sadurunge model kasebut dibalekake, lan koreksi kasebut wis disumbang ing hulu menyang pemelihara SGLang.
Napa Memori GPU sing Dibagi minangka Pitakonan Keamanan
Laporan kasebut nerangake praktik sing bakal kaget akeh pangembang aplikasi: mesin inferensi umume ora nol kaca cache KV ing antarane panjaluk, amarga panjaluk sabanjure mung nimpa. Iki minangka trade-off kinerja sing disengaja, umum ing mesin inferensi, nanging kaya sing dituduhake kedadeyan iki, jalur apa wae sing ngidini respon digawe sadurunge kaca kasebut ditimpa kanthi lengkap, ngowahi optimasi kinerja dadi vektor bocor data.
Pambocoran kasebut ndharat karo komunitas pangembang: crita kasebut tekan 123 poin ing Hacker News sajrone sawetara jam, kanthi diskusi fokus babagan mode kegagalan - panjaluk sing kudu gagal kanthi banter tinimbang nerusake kanthi meneng ing negara sing rusak - nggambarake pelajaran klasik saka teknik sistem sing disebarake.
Pawulangan Luwih Luas kanggo Infrastruktur AI
Kedadean kasebut minangka pangeling yen perimeter keamanan kanggo aplikasi AI saiki ngluwihi infrastruktur inferensi. Pelayanan model multi-tenant konsentrasi akeh data pelanggan liwat akselerator sing dienggo bareng, kolam cache sing dienggo bareng, lan arsitektur sing tambah eksotis kaya prefill sing dipisahake lan akses memori langsung sing adoh. A mismatch subtle antarane jendhela konteks sing diiklanake model lan kapasitas fisik sing diwenehake kanggo ngladeni cukup kanggo nglanggar isolasi panyewan.
Kanggo perusahaan sing dibangun ing platform AI tanpa server, njupuk saka laporan Cloudflare ana loro: bug isolasi panyewa ing layanan LLM nyata lan wis kedadeyan ing produksi, lan wektu nanggepi vendor - kurang saka 24 jam saka laporan kanggo mateni, sedina kanggo ndandani lan mulihake - minangka standar rajin kanggo nuntut saka panyedhiya sing nangani panjaluk sensitif.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
