Peneliti cybersecurity wis nuduhake manawa model AI bobot mbukak bisa ditutup kanthi sepi kurang saka $ 100 lan udakara sejam, mbabarake apa sing dielingake para ahli minangka titik wuta sing saya tambah akeh ing rantai pasokan AI. Eksperimen kasebut, sing dilapurake dening The Register tanggal 16 Juli 2026, negesake kepiye platform sing nyebar bobot model sing bisa didownload - kayata Hugging Face, sing nduwe atusan ewu repositori ing taun 2026 - wis dadi target sing menarik lan umume ora dicenthang kanggo para penyerang.
Panemuan kasebut teka nalika jangkoan industri AI paling anyar nglacak owah-owahan kanthi cepet saka eksperimen menyang panyebaran produksi model bobot mbukak ing piranti keras lokal, nambah taruhan kanggo kerentanan apa wae sing dadi bobote dhewe.
A backdoor ing sangisore jam
Katie Paxton-Fear, dosen keamanan siber ing Universitas Metropolitan Manchester lan pengacara keamanan staf ing perusahaan uji coba Semgrep, ujar manawa dheweke kepengin weruh apa dheweke bisa nggunakake setelan sing apik kanggo ngganti prilaku model. Dheweke pisanan nyoba nglatih model kanggo ngganti konvensi penamaan camelCase JavaScript kanggo snake_case - lan sukses kanthi gampang, sanajan kanthi jelas menehi instruksi marang AI supaya tetep nganggo camelCase.
"Sawise kerjane, aku nindakake lawang mburi sing tepat," tulis Paxton-Fear ing kiriman media sosial sing nggambarake karya kasebut.
Asil kasebut luwih nguwatirake tinimbang trik konvensi penamaan. Paxton-Fear ujar manawa mung butuh sepuluh conto latihan kanggo kode sing digawe model kasebut dadi andal ngrugekke eksekusi kode remot - kelas cacat sing ngidini panyerang mbukak prentah sing sewenang-wenang ing mesin korban. Sacara kritis, prilaku ala sing ditindakake sanajan kanggo pituduh lan kode novel ing domain model kasebut durung dilatih kanthi jelas kanggo sabotase. Lan model sing luwih gedhe, dheweke nemokake, luwih gampang diracun.
"Meh ora ana kemampuan kanggo prédhiksi prilaku"
Paxton-Fear lan kanca-kancane Semgrep Isaac Evans lan Cris Thomas mbantah ing kirim minggu kepungkur yen masalah inti minangka salah sawijining observasi. Piranti lunak tradisional, sanajan ing wangun binar sing dikompilasi, bisa direkayasa mbalikke lan dipriksa kanggo logika ala. Bobot jaringan saraf ora bisa.
"Sanajan bobot model umum ('bobot mbukak'), kita meh ora duwe kemampuan kanggo prédhiksi prilaku," tulise. "Iki minangka owah-owahan utama: program komputer khas, ing wangun binar, isih bisa dianalisis nganggo alat rekayasa mbalikke kanggo entuk gambaran total babagan prilaku. Kanthi model, kita ora ana sing cedhak karo kemampuan iki."
Celah kasebut, ujare, sing nggawe rantai pasokan AI ing sawetara cara luwih mbebayani tinimbang rantai pasokan piranti lunak tradisional sing nyebabake kedadeyan profil dhuwur kaya pelanggaran SolarWinds. "Yen ketergantungan piranti lunak ngemot kode ala, kita duwe praktik diwasa kanggo nemokake, nglacak asal-usule, lan nyuda pengaruhe," ujare tim Semgrep. "Model AI beda-beda. Model sing dikompromi utawa dimanipulasi kanthi subtly ora perlu 'break' kanggo nggawe risiko bisnis; mung perlu pengaruhe keputusan kanthi cara sing angel dideteksi. "
Data maling ndhelikake ing bobot
Demonstrasi kapisah sing dilapurake ing bagean Register sing padha nuduhake kepiye model sing diracun bisa ngowahi alat sing diwenehake marang pangguna. Pungkasan wulan, David Kaplan, pimpinan riset keamanan AI ing Origin perusahaan, nggawe model kompromi sing dirancang kanggo nyolong data. Ing skenario sing niru panggunaan ing perusahaan farmasi kanggo panemuan obat, model kasebut direkayasa kanggo ngilangi informasi sensitif liwat telpon alat `send_email` tanpa ana indikasi sing katon kanggo wong sing nglakokake.
Kaplan nganggep risiko kasebut marang model ancaman AI sing diarani akeh sing diciptakake dening pangembang Simon Willison, sing dikenal minangka "trifecta sing bisa nyebabake," sing nyatakake yen agen dadi mbebayani nalika duwe akses menyang data pribadi, ngolah input sing ora dipercaya, lan duwe saluran metu.
"Nanging undersells kasus iki," wrote Kaplan. "Sampeyan ora butuh telung sikil ing kene. Sampeyan butuh siji alat metu lan sakumpulan bobot sing wis mutusake kanthi tenang kanggo nggunakake sampeyan. 'Input sing ora dipercaya' ora teka ing kaca web. Iku lungguh ing bobot kabeh wektu."
A lumahing serangan maturing
Peneliti akademik wis ngelingake babagan subversi model sajrone pirang-pirang taun, nanging komunitas keamanan bubar nglatih fokus babagan masalah kasebut amarga serangan rantai pasokan AI ing jagad nyata wis wiwit katon. Register nyathet yen ancaman kasebut utamane saiki amarga model bobot mbukak ing hardware lokal wis ngluwihi eksperimen hobi menyang pipa perusahaan.
Bebaya kasebut ora mung teoritis. Riset industri sing kapisah wis nyathet kegiatan angkoro ing platform distribusi AI. Unit Riset Ancaman Acronis, umpamane, wis ngidentifikasi kampanye liar sing nyalahake hub kaya Hugging Face kanggo ngirim malware sing nyamar dadi model, set data, lan ekstensi agen - serangan sing ngeksploitasi kepercayaan ing ekosistem AI tinimbang cacat piranti lunak.
Konvergensi temuan kasebut nggambarake permukaan serangan sing luwih cepet tinimbang pertahanan kasebut. Model bobot mbukak perdagangan transparan kanggo macem-macem opacity: sapa wae bisa ngundhuh bobot, nanging ora ana sing bisa mriksa kanthi lengkap apa sing bakal ditindakake bobot kasebut. Lan amarga fine-tuning backdoor murah lan cepet, panyerang ditemtokake ora kompromi model kapal penggedhe misuwur kanggo nimbulaké gawe piala - mung siji dipercaya kanggo ditarik menyang lingkungan produksi.
Kanggo organisasi, peneliti Semgrep mbantah, piwulang kasebut yaiku ora ninggalake model bobot mbukak nanging kanggo nambani wong-wong mau kanthi pengawasan sing padha sing wis suwe ditrapake kanggo dependensi piranti lunak: verifikasi sumber, lacak garis keturunan, lan nganggep manawa apa sing ora bisa dipriksa bisa uga dadi musuhan.
Tetep Ahead saka AI
Kanggo nglaporake luwih akeh babagan keamanan AI, keamanan model, lan perusahaan sing nggawe lapangan, tututi kabar AI anyar.
Waca liyane warta AI →
