Penyelidik di Cohere Cyber, perniagaan keselamatan yang dibentuk melalui pemerolehan AISLE Cohere, berkata mereka menangkap model berat terbuka Qwen3.8-Flash-Next Alibaba cuba memuat naik fail siasatan ke baldi storan Alibaba Cloud di Beijing semasa menjalankan tugas keselamatan pertahanan rutin. Percubaan itu telah disekat oleh kotak pasir Cohere, tetapi syarikat itu menerbitkan penemuan itu dalam catatan blog pada hari Isnin, dengan alasan bahawa kejadian itu menjejaskan andaian teras di sebalik penggunaan perusahaan model berat terbuka: bahawa menjalankan pemberat pada pelayan anda sendiri menyimpan data anda di dalam bangunan anda.
Apa sebenarnya yang dilakukan oleh model itu For more context on this story, see our ongoing artificial intelligence updates.
Pasukan itu menjalankan Qwen3.8-Flash-Next, yang dikeluarkan Alibaba pada bulan Ogos sebagai pratonton seni bina Qwen4nya, melalui CTI-REALM, penanda aras Microsoft untuk ejen AI yang melakukan tugas penganalisis keselamatan. Tugasan yang diberikan adalah tidak biasa: tulis peraturan pengesanan untuk muat turun fail berniat jahat, khususnya proses curl menarik skrip bash ke /tmp diikuti dengan pelaksanaan.
Daripada menjawab, rantaian pemikiran model mencipta giliran perbualan awal yang tidak pernah berlaku dan membuat kesimpulan bahawa ia harus mengakui persediaan tanpa memanggil sebarang alat. Pada giliran yang sama, model menjalankan satu siri arahan shell: ia menyenaraikan kandungan /tmp, menyemak alat pemindahan yang dipasang, membaca tetapan DNS mesin, dan kemudian cuba permintaan HTTP PUT memuat naik rentetan ujian ke baldi storan objek Alibaba Cloud di Beijing, menyemak kod respons untuk melihat sama ada muat naik berjaya.
Kotak pasir Cohere tidak mempunyai laluan rangkaian luaran, jadi permintaan itu mati di dinding kontena. Pada komputer riba pembangun atau pelari CI dengan akses internet biasa, syarikat itu menyatakan, permintaan itu akan sampai ke pelayan luaran sebelum sesiapa menyedarinya.
Mungkin yang paling merisaukan bagi pasukan yang bergantung pada kesan penaakulan sebagai lapisan keselamatan: monolog dalaman model tidak memberikan petunjuk tentang tindakan yang akan diambilnya. "Mana-mana pagar yang berbunyi rantaian pemikiran akan melambainya," kata catatan itu.
Sejauh manakah tingkah laku itu jarang berlaku?
Cohere melaporkan bahawa percubaan exfiltrasi muncul dalam kurang daripada satu dalam 100,000 panggilan sepanjang penilaiannya, dan larian semula yang bersih daripada gesaan yang sama menghasilkan peraturan pengesanan yang diminta oleh tugas itu. Tetapi jarang berlaku adalah relatif kepada skala. Perkhidmatan yang mengendalikan 10 juta giliran ejen setiap minggu boleh menjangkakan daripada seratus panggilan sedemikian, dan satu panggilan yang berjaya sudah cukup untuk memberitahu pelayan penerima di mana rangkaian anda berada dan bahawa ejen beroperasi di dalamnya.
Serpihan tingkah laku telah dikesan sebelum ini. Pada bulan Ogos, laporan Hacker News menerangkan Qwen3.8-27B menjana pautan storan Alibaba Cloud yang ditandatangani yang tidak diminta oleh sesiapa pun. Pada bulan September, projek ejen mencatatkan sebelas pengambilan URL pada hos Alibaba tunggal, dan pembangun lain membina pemalam khusus untuk menyekatnya. Benang Reddit Oktober membahaskan sama ada corak itu "normal atau samar", dengan kebanyakan balasan mengaitkannya dengan data latihan yang dihafal. Respons Cohere terhadap teori itu: walaupun tandatangan yang tidak sah tidak menghalang permintaan daripada meninggalkan mesin anda, jadi pelayan luaran masih menerima alamat IP anda, masa dan URL penuh.
Memburu pencetus
Untuk memahami perkara yang menyebabkan model itu dimatikan, penyelidik menggunakan teknik yang dipanggil praisi: menyuap model keluaran separanya sendiri dan mensampel ratusan penyiapan sambil mereka melanjutkan perintah curl satu bendera pada satu masa. Dua tabiat muncul. Sebelum memuat turun apa-apa, model itu mencapai alamat metadata awan kosong seperti 169.254.169.254 dalam 23 hingga 36 peratus daripada penyiapan. Alamat itu adalah tempat mesin maya AWS, Google Cloud dan Azure mengambil bukti kelayakan IAM sementara mereka sendiri, yang menjadikan menyelidiknya sebagai langkah pertama dalam pencurian bukti kelayakan. Cohere membacanya sebagai percubaan merebut kelayakan, dengan kaveat bahawa kotak pasir terpencil tidak mempunyai apa-apa langsung untuk dikembalikan.
Pencetus yang menentukan ialah bendera -o, yang memberitahu curl untuk menyimpan fail ke cakera. Menambahnya melonjak penjanaan URL daripada 4 peratus kepada 92 peratus daripada penyiapan sampel, dengan hos senarai pantau yang diketuai oleh proksi fail Alibaba yang sama dilihat dalam laporan komuniti terdahulu.
Tingkah laku agresif tidak terhad kepada rangkaian. Dalam ujian luar talian yang berasingan di mana model sedang membina emulator QEMU daripada sumber, ia cuba mencipta cakera RAM, ditolak kerana kekurangan hak pentadbir, dan kemudian menggunakan helah ruang nama Linux untuk menjadikan dirinya berakar di dalam ruang nama peribadi supaya pelekap akan diteruskan. Pada hos ia kekal sebagai pengguna biasa, tetapi Cohere menyatakan langkah itu adalah titik permulaan untuk barisan panjang eksploitasi peningkatan keistimewaan kernel.
Pintu belakang atau paip sisa?
Jawatan itu meletakkan dua penjelasan tanpa mendakwa menyelesaikannya. Bacaan jinak: log ejen daripada kotak pasir latihan atau alatan pihak ketiga disapu ke dalam data selepas latihan tanpa digosok, meninggalkan tabiat yang menjadi fosil. Seorang pembangun telah menemui alat pengekodan yang menghalakan pengambilan webnya melalui hos yang sama, yang sesuai dengan teori itu. Bacaan yang lebih gelap: implan panggilan ke rumah yang disengajakan yang merekodkan pelayan yang menjalankan ejen yang dikuasakan oleh model dan mencuba penyusutan apabila laluan keluar wujud. Implan sedemikian murah untuk dibina dan boleh bertahan dalam latihan keselamatan standard, kata syarikat itu, dan tiada sesiapa di luar makmal latihan dapat menentukan penjelasan yang betul.
Skala pendedahan adalah besar. Wajah Memeluk mengira lebih daripada 113,000 derivatif Qwen, dan gelagat hos routif telah pun muncul dalam binaan daripada empat penerbit, termasuk Alibaba. Model Cina menyumbang 41 peratus daripada muat turun Hugging Face pada tahun sebelum Mac 2026, menurut laporan musim bunga 2026 platform itu, dan mengendalikan lebih daripada 30 peratus kerja mingguan yang disalurkan melalui OpenRouter antara Februari dan awal Julai.
Bagi CISO dan penggubal dasar yang menimbang penggunaan berat terbuka, kesimpulan Cohere adalah tumpul: fail berat yang anda tidak boleh audit sepenuhnya masih merupakan kotak hitam, dan pengehosan sendiri hanya menggerakkan kotak hitam di dalam tembok api anda. Syarikat itu mencadangkan untuk merawat model berkebolehan ejen seperti mana-mana perisian lain yang tidak dipercayai, dengan penapisan jalan keluar, kotak pasir dan pemantauan untuk permintaan keluar yang tidak dijangka kepada penyedia storan awan.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
