Cloudflare telah menerbitkan laporan insiden terperinci yang menerangkan bagaimana pepijat pengendalian cache dalam platform AI tanpa pelayan menyebabkan sekurang-kurangnya 155 pengguna penggunaan model GLM-5.3 menerima respons yang mengandungi serpihan gesaan dan output pelanggan lain. Laporan itu, yang diterbitkan pada 26 Oktober sebagai pendedahan yang diselaraskan bersama projek enjin inferens sumber terbuka SGLang, menawarkan paparan awam yang jarang berlaku di dalam paip perkhidmatan LLM berbilang penyewa — dan amaran tentang andaian keselamatan memori GPU.
Bagaimana Kebocoran Ditemui For more context on this story, see our ongoing latest AI developments.
Menurut Cloudflare, penyelidik keselamatan Gadi Evron dari Knostic memaklumkan syarikat itu pada 8 September 2026, melalui program hadiah pepijat HackerOne. Evron melaporkan bahawa gesaan yang sangat panjang dihantar kepada model GLM-5.3 pada platform AI Pekerja Cloudflare kadangkala mengembalikan teks yang dimiliki oleh sesi pengguna lain. Cloudflare mengeluarkan semula isu itu pada pagi berikutnya dan melumpuhkan model pada hari yang sama, memulihkannya pada 9 September selepas menggunakan pembetulan.
Model yang terjejas ialah @cf/zai-org/glm-5.3 — model pengekodan agen daripada Z.ai yang Cloudflare berkhidmat melalui Workers AI, platform inferens tanpa pelayan syarikat. Cloudflare mengesahkan bahawa tiada model lain yang dihoskan pada platform itu terjejas.
Apa Yang Sebenarnya Berlaku
Insiden itu berpunca daripada dua masalah bertindih, satu beroperasi dan satu dalam enjin itu sendiri.
Pertama, salah konfigurasi. Cloudflare menggunakan GLM-5.3 dengan tetingkap konteks 1,048,576 token, tetapi kumpulan cache nilai kunci (KV) pada GPU praisinya hanya mempunyai ruang untuk 681,280 token. Syarikat itu mengakui ia menyedari ketidakpadanan ini sebelum pelancaran dan menjangkakan enjin inferens akan menolak permintaan lebih panjang dengan selamat.
Kedua, pepijat enjin. Dalam mod praisi/nyahkod yang diagregatkan — seni bina Workers AI menggunakan, di mana satu kumpulan GPU memproses gesaan dan menyerahkan cache KV yang terhasil kepada kumpulan GPU berasingan yang menjana respons — SGLang mengendalikan permintaan terlalu panjang dengan salah. Gesaan yang tidak sesuai dengan kumpulan telah ditandakan secara dalaman sebagai ditolak dan digantikan dengan pemegang tempat satu token. Tetapi daripada membatalkan permintaan dan mengembalikan ralat klien, peringkat praisi menjana cache KV untuk gesaan pemegang tempat dan memindahkannya ke nod nyahkod, yang kemudiannya menghasilkan respons yang bercampur dalam sisa data daripada permintaan sebelumnya yang berkongsi halaman memori yang sama.
Hasilnya: antara 27 Ogos dan 9 September, sebilangan kecil pelanggan yang menggunakan model menerima respons yang mengandungi data daripada permintaan pelanggan lain yang dibuat sejurus sebelum permintaan mereka. Secara keseluruhan, 155 respons telah terjejas — kesemuanya, Cloudflare mendapati, untuk menggesa lebih daripada 681,280 token.
Tiada Bukti Eksploitasi yang Disengajakan
Cloudflare menyatakan bahawa selepas mengecualikan ujiannya sendiri dan permintaan pengesahan penyelidik, permintaan yang terjejas adalah konsisten dalam masa dan volum dengan penggunaan konteks panjang biasa, dan syarikat itu tidak menemui bukti bahawa sesiapa pun sengaja mengeksploitasi pepijat. Oleh kerana setiap permintaan yang terjejas melebihi kapasiti kumpulan bersaiz kecil, tetingkap pendedahan telah dibatasi rapat — lapisan perak yang berpunca daripada salah konfigurasi yang menyebabkan masalah.
Pembaikan: Kolam yang Lebih Besar dan Laluan Kegagalan yang Lebih Selamat
Pemulihan berfungsi pada kedua-dua lapisan kegagalan. Cloudflare mengkonfigurasi semula penggunaan GLM-5.3nya untuk memadankan konfigurasi GLM-5.2nya, membebaskan memori GPU yang mencukupi sehingga kumpulan KV praisi kini memegang kira-kira 2.04 juta token — kira-kira dua kali ganda panjang konteks 1,048,576 token model. Gesaan yang sesuai dengan tetingkap konteks kini sentiasa sesuai dengan kolam.
Tetapi syarikat itu juga menekankan bahawa bergantung pada saiz kolam sahaja adalah rapuh: perubahan kepada pengkuantitian, selari tensor, saiz graf CUDA atau versi model masa hadapan boleh mengubah saiz kolam secara senyap. Jadi ia juga menampal laluan penolakan SGLang itu sendiri, memastikan permintaan yang ditolak dibatalkan dengan bersih dan bukannya menjana dan memindahkan cache untuk pemegang tempat. Kedua-dua perubahan telah disahkan terhadap skrip pembiakan penyelidik dan ujian penanda kenari Cloudflare sendiri sebelum model dipulihkan, dan pembaikan telah disumbangkan ke huluan kepada penyelenggara SGLang.
Mengapa Memori GPU Dikongsi Merupakan Soalan Keselamatan
Laporan itu menerangkan amalan yang akan mengejutkan ramai pembangun aplikasi: enjin inferens secara amnya tidak memusnahkan halaman cache KV antara permintaan, kerana permintaan seterusnya hanya menimpanya. Ini adalah pertukaran prestasi yang disengajakan, biasa merentas enjin inferens, tetapi seperti yang ditunjukkan oleh insiden ini, mana-mana laluan yang membenarkan respons dijana sebelum halaman tersebut ditimpa sepenuhnya mengubah pengoptimuman prestasi menjadi vektor kebocoran data.
Pendedahan itu mendarat dengan komuniti pembangun: cerita itu mencapai 123 mata di Berita Hacker dalam beberapa jam, dengan perbincangan memfokuskan pada cara mod kegagalan — permintaan yang sepatutnya gagal dengan lantang sebaliknya meneruskan secara senyap pada keadaan rosak — mencerminkan pengajaran klasik daripada kejuruteraan sistem teragih.
Pengajaran Lebih Luas untuk Infrastruktur AI
Insiden itu adalah peringatan bahawa perimeter keselamatan untuk aplikasi AI kini meluas jauh ke dalam infrastruktur inferens. Penyajian model berbilang penyewa menumpukan banyak data pelanggan melalui pemecut yang dikongsi, kumpulan cache dikongsi dan seni bina yang semakin eksotik seperti praisi terpencil dan akses memori langsung jauh. Ketidakpadanan halus antara tetingkap konteks yang diiklankan model dan kapasiti fizikal yang diperuntukkan untuk menyampaikannya sudah cukup untuk melanggar pengasingan penyewa.
Untuk perusahaan yang membina platform AI tanpa pelayan, pengambilan daripada laporan Cloudflare adalah dua kali ganda: pepijat pengasingan penyewa dalam penyajian LLM adalah nyata dan telah berlaku dalam pengeluaran, dan masa tindak balas vendor — di bawah 24 jam dari laporan hingga dilumpuhkan, satu hari untuk membetulkan dan memulihkan — ialah standard ketekunan untuk menuntut daripada mana-mana pembekal yang mengendalikan gesaan sensitif.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
