Cloudflare telah menerbitkan laporan insiden terperinci yang menjelaskan bagaimana bug penanganan cache di platform AI tanpa servernya menyebabkan setidaknya 155 pengguna penerapan model GLM-5.3 menerima respons yang berisi fragmen permintaan dan keluaran pelanggan lain. Laporan tersebut, yang diterbitkan pada tanggal 26 Oktober sebagai pengungkapan terkoordinasi bersama dengan proyek mesin inferensi sumber terbuka SGLang, menawarkan pandangan publik yang jarang terjadi di dalam saluran layanan LLM multi-penyewa — dan peringatan tentang asumsi keamanan memori GPU.
Bagaimana Kebocoran Ditemukan For more context on this story, see our ongoing latest AI developments.
Menurut Cloudflare, peneliti keamanan Gadi Evron dari Knostic memberi tahu perusahaan tersebut pada 8 September 2026, melalui program bug bounty HackerOne. Evron melaporkan bahwa perintah yang sangat panjang yang dikirim ke model GLM-5.3 pada platform Workers AI Cloudflare terkadang mengembalikan teks milik sesi pengguna lain. Cloudflare mereproduksi masalah tersebut keesokan paginya dan menonaktifkan model pada hari yang sama, memulihkannya pada 9 September setelah menerapkan perbaikan.
Model yang terpengaruh adalah @cf/zai-org/glm-5.3 — model pengkodean agen dari Z.ai yang dilayani Cloudflare melalui Workers AI, platform inferensi tanpa server milik perusahaan. Cloudflare mengonfirmasi bahwa tidak ada model lain yang dihosting di platform yang terpengaruh.
Apa yang Sebenarnya Terjadi
Insiden ini berawal dari dua masalah yang saling tumpang tindih, satu masalah operasional dan satu lagi masalah mesin itu sendiri.
Pertama, kesalahan konfigurasi. Cloudflare menerapkan GLM-5.3 dengan jendela konteks 1.048.576 token, namun kumpulan cache nilai kunci (KV) pada GPU pra-pengisiannya hanya memiliki ruang untuk 681.280 token. Perusahaan mengakui bahwa mereka menyadari ketidakcocokan ini sebelum peluncuran dan mengharapkan mesin inferensi menolak permintaan yang terlalu panjang dengan aman.
Kedua, bug mesin. Dalam mode pra-pengisian/dekode terpilah — arsitektur yang digunakan Workers AI, di mana satu kumpulan GPU memproses perintah dan menyerahkan cache KV yang dihasilkan ke kumpulan GPU terpisah yang menghasilkan respons — SGLang salah menangani permintaan yang terlalu panjang. Perintah yang tidak sesuai dengan kumpulan secara internal ditandai sebagai ditolak dan diganti dengan placeholder satu token. Namun alih-alih membatalkan permintaan dan mengembalikan kesalahan klien, tahap pra-pengisian menghasilkan cache KV untuk prompt placeholder dan mentransfernya ke node dekode, yang kemudian menghasilkan respons yang mencampurkan data sisa dari permintaan sebelumnya yang berbagi halaman memori yang sama.
Hasilnya: antara tanggal 27 Agustus dan 9 September, sejumlah kecil pelanggan yang menggunakan model tersebut menerima tanggapan yang berisi data dari permintaan pelanggan lain yang dibuat sesaat sebelum permintaan mereka. Secara total, 155 respons terpengaruh — semuanya, menurut Cloudflare, meminta lebih dari 681,280 token.
Tidak Ada Bukti Eksploitasi yang Disengaja
Cloudflare menyatakan bahwa setelah mengecualikan pengujiannya sendiri dan permintaan validasi peneliti, permintaan yang terpengaruh konsisten dalam waktu dan volume dengan penggunaan konteks panjang biasa, dan perusahaan tidak menemukan bukti bahwa ada orang yang sengaja mengeksploitasi bug tersebut. Karena setiap permintaan yang terkena dampak melebihi kapasitas kumpulan berukuran kecil, jendela eksposur dibatasi dengan ketat — sebuah hikmah yang berasal dari kesalahan konfigurasi yang menyebabkan masalah.
Cara Mengatasinya: Kumpulan Lebih Besar dan Jalur Kegagalan yang Lebih Aman
Remediasi berhasil pada kedua lapisan kegagalan. Cloudflare mengonfigurasi ulang penerapan GLM-5.3 agar sesuai dengan konfigurasi GLM-5.2, sehingga mengosongkan cukup memori GPU sehingga kumpulan KV yang telah diisi sebelumnya kini menampung sekitar 2,04 juta token — kira-kira dua kali lipat panjang konteks model yang berjumlah 1.048.576 token. Prompt yang sesuai dengan jendela konteks sekarang selalu sesuai dengan kumpulan.
Namun perusahaan juga menekankan bahwa mengandalkan ukuran kumpulan saja adalah hal yang rapuh: perubahan pada kuantisasi, paralelisme tensor, ukuran grafik CUDA, atau versi model masa depan dapat secara diam-diam mengubah ukuran kumpulan. Jadi ia juga menambal jalur penolakan SGLang itu sendiri, memastikan bahwa permintaan yang ditolak dibatalkan dengan bersih alih-alih membuat dan mentransfer cache untuk placeholder. Kedua perubahan tersebut divalidasi terhadap skrip reproduksi peneliti dan pengujian canary-marker milik Cloudflare sebelum model dipulihkan, dan perbaikan telah dikontribusikan di bagian hulu ke pengelola SGLang.
Mengapa Memori GPU Bersama Merupakan Pertanyaan Keamanan
Laporan tersebut menjelaskan praktik yang akan mengejutkan banyak pengembang aplikasi: mesin inferensi umumnya tidak menghilangkan halaman cache KV di antara permintaan, karena permintaan berikutnya hanya menimpa halaman tersebut. Ini adalah trade-off performa yang disengaja, umum terjadi di seluruh mesin inferensi, namun seperti yang ditunjukkan oleh insiden ini, jalur apa pun yang memungkinkan respons dihasilkan sebelum halaman tersebut ditimpa sepenuhnya akan mengubah pengoptimalan performa menjadi vektor kebocoran data.
Pengungkapan ini disampaikan kepada komunitas pengembang: cerita ini mencapai 123 poin di Hacker News dalam beberapa jam, dengan diskusi berfokus pada bagaimana mode kegagalan — sebuah permintaan yang seharusnya gagal dengan keras alih-alih berjalan secara diam-diam dalam keadaan rusak — mencerminkan pelajaran klasik dari rekayasa sistem terdistribusi.
Pelajaran yang Lebih Luas untuk Infrastruktur AI
Insiden ini merupakan pengingat bahwa batasan keamanan untuk aplikasi AI kini meluas hingga ke infrastruktur inferensi. Pelayanan model multi-penyewa memusatkan banyak data pelanggan melalui akselerator bersama, kumpulan cache bersama, dan arsitektur yang semakin eksotis seperti pra-pengisian terpilah dan akses memori langsung jarak jauh. Ketidaksesuaian halus antara jendela konteks model yang diiklankan dan kapasitas fisik yang disediakan untuk melayani model tersebut sudah cukup untuk melanggar isolasi penyewa.
Bagi perusahaan yang membangun platform AI tanpa server, manfaat dari laporan Cloudflare ada dua: bug isolasi penyewa dalam layanan LLM adalah nyata dan telah terjadi dalam produksi, dan waktu respons vendor — kurang dari 24 jam sejak laporan hingga penonaktifan, satu hari untuk diperbaiki dan dipulihkan — merupakan standar ketekunan terhadap permintaan dari penyedia mana pun yang menangani permintaan sensitif.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
