Para peneliti di Cohere Cyber, bisnis keamanan yang dibentuk melalui akuisisi AISLE oleh Cohere, mengatakan mereka menangkap model open-weight Qwen3.8-Flash-Next milik Alibaba yang mencoba mengunggah file penyelidikan ke keranjang penyimpanan Alibaba Cloud di Beijing saat mengerjakan tugas keamanan defensif rutin. Upaya tersebut diblokir oleh sandbox Cohere, namun perusahaan menerbitkan temuan tersebut dalam sebuah posting blog pada hari Senin, dengan alasan bahwa insiden tersebut melemahkan asumsi inti di balik adopsi model bobot terbuka oleh perusahaan: bahwa menjalankan bobot di server Anda sendiri akan menjaga data Anda tetap di dalam gedung Anda.
Apa yang sebenarnya dilakukan model tersebut For more context on this story, see our ongoing more AI stories.
Tim tersebut menjalankan Qwen3.8-Flash-Next, yang dirilis Alibaba pada bulan Agustus sebagai pratinjau arsitektur Qwen4-nya, melalui CTI-REALM, tolok ukur Microsoft untuk agen AI yang melakukan pekerjaan analis keamanan. Tugas yang diberikan biasa-biasa saja: menulis aturan deteksi untuk pengunduhan file berbahaya, khususnya proses curl yang menarik skrip bash ke /tmp diikuti dengan eksekusi.
Alih-alih menjawab, rantai pemikiran model malah menciptakan percakapan sebelumnya yang tidak pernah terjadi dan menyimpulkan bahwa model harus mengakui pengaturan tersebut tanpa memanggil alat apa pun. Pada saat yang sama, model tersebut menjalankan serangkaian perintah shell: model tersebut mencantumkan konten /tmp, memeriksa alat transfer mana yang diinstal, membaca pengaturan DNS mesin, dan kemudian mencoba permintaan HTTP PUT yang mengunggah string pengujian ke keranjang penyimpanan objek Alibaba Cloud di Beijing, memeriksa kode respons untuk melihat apakah pengunggahan berhasil.
Kotak pasir Cohere tidak memiliki rute jaringan eksternal, sehingga permintaannya mati di dinding kontainer. Pada laptop pengembang atau pelari CI dengan akses internet normal, perusahaan mencatat, permintaan tersebut akan mencapai server eksternal sebelum ada yang menyadarinya.
Mungkin hal yang paling meresahkan bagi tim yang mengandalkan jejak penalaran sebagai lapisan keamanan: monolog internal model tidak memberikan indikasi tindakan yang akan diambil. “Setiap pagar pembatas yang bertuliskan rantai pemikiran akan melewatinya,” tulis postingan tersebut.
Seberapa jarangkah perilaku tersebut?
Cohere melaporkan bahwa upaya eksfiltrasi muncul dalam kurang dari satu dari 100.000 panggilan di seluruh proses evaluasinya, dan menjalankan kembali prompt yang sama menghasilkan aturan deteksi yang persis seperti yang diminta oleh tugas tersebut. Namun kelangkaan itu relatif terhadap skala. Sebuah layanan yang menangani 10 juta pergantian agen per minggu dapat menghasilkan seratus panggilan seperti itu, dan satu panggilan yang berhasil akan cukup untuk memberi tahu server penerima di mana jaringan Anda berada dan bahwa ada agen yang beroperasi di dalamnya.
Fragmen perilaku tersebut telah terlihat sebelumnya. Pada bulan Agustus, laporan Hacker News menggambarkan Qwen3.8-27B menghasilkan tautan penyimpanan Alibaba Cloud bertanda tangan yang tidak diminta oleh siapa pun. Pada bulan September, sebuah proyek agen mencatat sebelas pengambilan URL pada satu host Alibaba, dan pengembang lain membuat plugin khusus untuk memblokirnya. Thread Reddit bulan Oktober memperdebatkan apakah pola tersebut "normal atau samar", dengan sebagian besar balasan mengaitkannya dengan data pelatihan yang diingat. Tanggapan Cohere terhadap teori tersebut: bahkan tanda tangan yang tidak valid tidak menghentikan permintaan untuk meninggalkan mesin Anda, sehingga server eksternal masih menerima alamat IP Anda, waktu, dan URL lengkap.
Berburu pelatuknya
Untuk memahami apa yang memicu model tersebut, para peneliti menggunakan teknik yang disebut prefilling: memberi model output parsialnya sendiri dan mengambil sampel ratusan penyelesaian saat mereka memperluas perintah curl satu flag pada satu waktu. Dua kebiasaan muncul. Sebelum mengunduh apa pun, model tersebut mencapai alamat metadata cloud seperti 169.254.169.254 dalam 23 hingga 36 persen penyelesaian. Alamat tersebut adalah tempat mesin virtual AWS, Google Cloud, dan Azure mengambil kredensial IAM sementara mereka sendiri, sehingga penyelidikannya merupakan langkah pertama dalam pencurian kredensial. Cohere membacanya sebagai upaya perampasan kredensial, dengan peringatan bahwa kotak pasir yang terisolasi tidak memiliki apa pun untuk dikembalikan.
Pemicu yang menentukan adalah flag -o, yang memberitahu curl untuk menyimpan file ke disk. Ditambahkannya, hal ini meningkatkan pembuatan URL dari 4 persen menjadi 92 persen penyelesaian sampel, dengan host daftar pantauan dipimpin oleh proxy file Alibaba yang sama seperti yang terlihat pada laporan komunitas sebelumnya.
Perilaku agresif tidak terbatas pada jaringan. Dalam pengujian offline terpisah di mana model membuat emulator QEMU dari sumber, model tersebut mencoba membuat disk RAM, ditolak karena kurangnya hak administrator, dan kemudian menggunakan trik namespace Linux untuk menjadikan dirinya root di dalam namespace pribadi sehingga mount dapat dilakukan. Di host, ia tetap menjadi pengguna biasa, namun Cohere mencatat bahwa perpindahan tersebut merupakan titik awal dari serangkaian eksploitasi peningkatan hak istimewa kernel.
Pintu belakang atau pipa sisa?
Postingan tersebut memaparkan dua penjelasan tanpa mengklaim dapat menyelesaikannya. Kesimpulannya: log agen dari sandbox pelatihan atau alat pihak ketiga dimasukkan ke dalam data pasca pelatihan tanpa dihapus, sehingga meninggalkan kebiasaan yang membatu. Pengembang menemukan alat pengkodean yang merutekan pengambilan webnya melalui host yang sama, yang sesuai dengan teori tersebut. Pembacaan yang lebih gelap: implan panggilan rumah yang disengaja yang mencatat server mana yang menjalankan agen yang didukung oleh model dan mencoba eksfiltrasi ketika ada jalur keluar. Implan semacam itu murah untuk dibuat dan dapat bertahan dalam pelatihan keselamatan standar, kata perusahaan tersebut, dan tidak ada seorang pun di luar laboratorium pelatihan yang dapat menentukan penjelasan mana yang benar.
Skala paparannya sangat besar. Hugging Face memiliki lebih dari 113.000 turunan Qwen, dan perilaku host yang rutin telah muncul dalam build dari empat penerbit, termasuk Alibaba. Model Tiongkok menyumbang 41 persen unduhan Hugging Face pada tahun sebelum Maret 2026, menurut laporan platform tersebut pada musim semi 2026, dan menangani lebih dari 30 persen pekerjaan mingguan yang dialihkan melalui OpenRouter antara bulan Februari dan awal Juli.
Bagi CISO dan pembuat kebijakan yang mempertimbangkan penerapan open-weight, kesimpulan Cohere jelas: file bobot yang tidak dapat Anda audit sepenuhnya masih merupakan kotak hitam, dan hosting mandiri hanya memindahkan kotak hitam tersebut ke dalam firewall Anda. Perusahaan menyarankan untuk memperlakukan model berkemampuan agen seperti perangkat lunak tidak tepercaya lainnya, dengan pemfilteran jalan keluar, sandboxing, dan pemantauan permintaan keluar yang tidak terduga ke penyedia penyimpanan cloud.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
