Operasi besar-besaran terhadap industri AI telah mendokumentasikan apa yang terjadi pada permintaan yang dikirimkan pengguna setiap hari — dan jawabannya adalah: permintaan tersebut bocor. Peneliti keamanan HD Moore, kepala penelitian di perusahaan keamanan industri Dragos, mengirimkan hampir dua juta perintah AI yang berisi rahasia unik dan dapat dilacak ke penyedia AI dan kemudian mengamati di mana rahasia tersebut muncul. “Apa yang kami temukan mengungkap pelanggaran keamanan, pencurian, dan kegagalan luas dalam melindungi data pelanggan,” tulis Moore dalam laporan yang diterbitkan Kamis.

Temuan ini, yang dilaporkan secara rinci oleh Ars Technica, hadir ketika router AI – layanan broker seperti OpenRouter dan Vercel yang menerima perintah dari pengguna akhir dan mengarahkannya ke penyedia inferensi mana pun yang termurah atau paling sesuai – telah menjadi infrastruktur inti untuk ribuan aplikasi. Hal ini juga memicu respons industri yang cepat: OpenRouter menerbitkan pengumuman insidennya sendiri pada tanggal 22 November, mengatakan bahwa mereka telah menghentikan tiga penyedia, menghapus 125 titik akhir dari kelayakan Nol Retensi Data, dan memberi tahu pelanggan yang berpotensi terkena dampak.

Cara Kerja Perangkap Kenari

Moore mengumpulkan kumpulan kunci akses AWS yang berfungsi yang terkait dengan akun kosong, kata sandi SSH yang berfungsi, dan URL unik, nama DNS, dan referensi repositori git pribadi. Tak satu pun dari rahasia itu pernah digunakan sebelumnya, dan Moore mengendalikan infrastruktur di pihak penerima. Setiap rahasia dimasukkan ke dalam satu prompt yang dikirim ke satu penyedia — jadi jika rahasia tersebut kemudian muncul di mana saja, perjalanannya dapat ditelusuri kembali ke mata rantai yang tepat dalam rantai yang bertanggung jawab.

Desain penting karena cara ekosistem AI memindahkan data. Perintah dienkripsi saat transit, namun didekripsi pada setiap hop. Router AI membaca teks biasa untuk memilih penyedia inferensi yang sesuai; perintah tersebut kemudian sering kali diteruskan ke kumpulan model, terkadang dijalankan di dalam perusahaan hosting yang berbeda. Perintah bahkan dapat berpindah dari satu router ke router lainnya — Vercel ke OpenRouter, misalnya — dengan masing-masing perantara bebas mencatat dan menyimpan konten berdasarkan kebijakannya sendiri.

Tiga Penyedia Dibobol, Kunci Digunakan Dalam Beberapa Jam

Temuan paling mengkhawatirkan melibatkan tiga penyedia hosting terpisah yang disusupi selama percobaan. Menurut Moore, penyerang yang membobol satu penyedia menggunakan kembali "beberapa ratus" kunci AWS yang ditanam. Setiap kunci telah dikirim tepat dalam satu permintaan ke satu penyedia, dalam beberapa periode singkat di akhir Oktober — dan "setiap permintaan yang kami kirim selama periode tersebut telah dicuri." Yang terpenting, beberapa kunci yang dicuri berasal dari permintaan yang ditolak penyedia sebelum model dijalankan, yang menunjukkan bahwa penyerang menyalin lalu lintas di pintu depan penyedia dan bukannya lebih dalam di tumpukan inferensi.

Dalam dua pelanggaran lainnya, beberapa permintaan yang dicuri ditandai sebagai Nol Retensi Data. “Bendera privasi tidak membantu ketika penyerang sudah berada di dalam,” tulis Moore. Pihak-pihak di balik intrusi menguji kunci umpan dalam beberapa jam dalam beberapa kasus, menelusuri bucket S3, pengelola rahasia, dan penyimpanan parameter untuk mendapatkan lebih banyak kredensial, berupaya mengaktifkan model yang dihosting di AWS Bedrock, dan menambahkan pengguna IAM mereka sendiri untuk mempertahankan akses. Secara keseluruhan, kunci yang dicuri digunakan "puluhan ribu" kali dalam panggilan API AWS. Rahasia yang dicuri dari dua penyedia yang diretas digunakan secara bersamaan, hampir seketika, dari server sewaan yang sama – bukti kuat bahwa satu musuh telah membobol keduanya.

Pengecer yang Mencuri, dan Lab yang Mengikis

Tidak semua pembocor adalah seorang hacker. Moore mendokumentasikan pengecer yang memikat permintaan dengan harga rendah, mengaktifkan pencatatan permintaan, dan hanya menunggu. Dia mengidentifikasinya dengan mengirimkan permintaan identik ke model yang sama melalui penjual yang berbeda: ketika kredensial digunakan kembali dari satu penjual tetapi tidak dari penjual lain, pelakunya sudah jelas.

Kasus scraping yang paling jelas, tulis Moore, melibatkan laboratorium AI Tiongkok yang sistemnya mengambil URL rahasia dari lebih dari separuh permintaan yang dikirim ke modelnya antara bulan Juli dan Oktober – termasuk sekitar dua pertiga permintaan yang secara eksplisit ditandai “tidak ada pengumpulan data” atau Nol Retensi Data. Scraper biasanya muncul dua atau tiga hari setelah setiap permintaan. Hal ini tidak terbatas pada pelanggan langsung: beberapa penyedia hosting AS menjual kembali model lab tersebut, dan permintaan yang dikirim melalui perantara Amerika tersebut memicu masalah yang sama persis. Dengan kata lain, pelanggan yang memilih penyedia AS khusus untuk menyimpan data di Amerika Serikat tidak mendapatkan apa yang mereka bayarkan. Secara terpisah, klien git di cloud yang berbeda mulai mencoba mengkloning repositori pribadi yang direferensikan dalam perintah — tetapi hanya untuk perintah yang menggunakan model lab tersebut.

OpenRouter Merespon

Eksperimen tersebut dengan cepat menghasilkan konsekuensi dunia nyata. Ars Technica melaporkan dalam pembaruan bahwa OpenRouter mengirim email kepada pelanggan pada tanggal 21 November yang memperingatkan bahwa beberapa perintah mereka mungkin telah dibaca, mengutip penelitian: potensi paparan melibatkan perintah yang dikirim ke MiniMax, penyedia model yang berbasis di Tiongkok, baik secara langsung atau melalui tiga pengecer — AtlasCloud, Novita, dan StreamLake. OpenRouter menghapus label "Nol Retensi Data" dari titik akhir model MiniMax.

Dalam postingan blog resminya pada tanggal 22 November, OpenRouter mengonfirmasi bahwa mereka telah menonaktifkan tiga penyedia, menghapus 125 titik akhir dari kelayakan ZDR, dan memberi tahu pengguna yang terpengaruh apakah penyedia tersebut telah memposting secara publik atau tidak. Perusahaan mengatakan temuannya "tidak menunjukkan pelanggaran atau akses tidak sah terhadap OpenRouter", berterima kasih kepada tim Dragos, dan mengatakan penyedia yang ingin tetap menggunakan platform "harus memenuhi" standar keamanan yang meningkat karena OpenRouter mengintegrasikan teknik pengujian serupa.

Moore juga menemukan kebocoran jangka panjang: salah satu penyedia hosting AS merayapi URL rahasia lebih dari dua bulan setelah satu panggilan inferensi ke titik akhir pencariannya, dan penyedia hosting lain menjalankan scraper yang mengembalikan URL yang ditanam beberapa hari setelah setiap permintaan, terlepas dari router mana yang mengirimkan perintah tersebut.

Yang Dapat Dilakukan Pengguna

Pertahanan yang paling efektif, kata Moore, adalah menghosting model di lokasi (on-premise) – sebuah pilihan mahal yang hanya bisa dibenarkan oleh sedikit organisasi. Tindakan terbaik berikutnya adalah membeli langsung dari penyedia tingkat pertama, dengan "satu kontrak dan kebijakan privasi yang harus dibaca", dan menghindari penyedia default atau kumpulan reseller dengan memilih sendiri penyedia upstream. Meski begitu, dia mengingatkan, tidak ada jaminan data tidak akan bocor.

Eksperimen ini merupakan dakwaan paling tajam terhadap praktik privasi di pasar inferensi yang berkembang pesat: rantai antara aplikasi dan model kini dapat melibatkan router, pengecer, dan lapisan hosting di berbagai benua, masing-masing dengan kebijakan pencatatannya sendiri, dan label yang dimaksudkan untuk meyakinkan pelanggan — seperti Zero Data Retention — dapat dirusak atau dihapus tanpa pemberitahuan. Bagi industri yang meminta perusahaan untuk menempelkan dokumen, kode, dan kredensial mereka ke dalam prompt, pesan dari dua juta burung kenari ini tidak nyaman: sampai sistem pipa berubah, asumsikan setiap hop dapat membaca setiap kata.

Tetap Terdepan dalam AI

Keamanan dan privasi kini menjadi perhatian utama bagi siapa pun yang mengembangkan AI. Untuk berita AI terkini dan liputan independen mengenai berita terbesar industri ini, kunjungi AI Buzz Wire.

Baca berita AI selengkapnya →