Peneliti Keamanan Melakukan Backdoor pada Model AI Open-Weight dengan Harga Di Bawah $100, Mengekspos Risiko Rantai Pasokan AI

Seorang peneliti keamanan siber telah menunjukkan bahwa model AI open-weight dapat dilakukan secara diam-diam dengan biaya kurang dari $100 dan dalam waktu sekitar satu jam, sehingga mengungkap apa yang diperingatkan oleh para ahli sebagai semakin meluasnya titik buta dalam rantai pasokan AI. Eksperimen tersebut, yang dilaporkan oleh The Register pada 16 Juli 2026, menggarisbawahi bagaimana platform yang mendistribusikan bobot model yang dapat diunduh — seperti Hugging Face, yang menampung ratusan ribu repositori pada tahun 2026 — telah menjadi target penyerang yang menarik dan sebagian besar tidak terkendali.

Temuan ini muncul seiring dengan cakupan industri AI terbaru yang melacak peralihan cepat dari eksperimen ke penerapan produksi model bobot terbuka pada perangkat keras lokal, sehingga meningkatkan risiko kerentanan apa pun yang masuk ke dalam bobot itu sendiri.

Pintu belakang dalam waktu kurang dari satu jam

Katie Paxton-Fear, dosen keamanan siber di Manchester Metropolitan University dan staf advokat keamanan di perusahaan pengujian Semgrep, mengatakan bahwa dia ingin melihat apakah dia dapat menggunakan penyesuaian untuk secara halus mengubah perilaku model. Dia pertama kali mencoba melatih model untuk menukar konvensi penamaan camelCase JavaScript dengan Snake_case — dan berhasil dengan mudah, bahkan setelah secara eksplisit menginstruksikan AI untuk tetap menggunakan camelCase.

"Setelah berhasil, saya membuat pintu belakang yang benar," tulis Paxton-Fear dalam postingan media sosial yang menjelaskan pekerjaan tersebut.

Hasilnya lebih mengkhawatirkan dibandingkan trik konvensi penamaan. Paxton-Fear mengatakan hanya diperlukan sekitar sepuluh contoh pelatihan agar kode yang dihasilkan oleh model menjadi sangat rentan terhadap eksekusi kode jarak jauh — sebuah kelas kelemahan yang memungkinkan penyerang menjalankan perintah sewenang-wenang di mesin korban. Yang terpenting, perilaku jahat ini terjadi bahkan untuk perintah dan kode baru di domain yang modelnya belum dilatih secara eksplisit untuk melakukan sabotase. Dan semakin besar modelnya, menurutnya, semakin mudah untuk diracuni.

"Hampir tidak ada kemampuan untuk memprediksi perilakunya"

Paxton-Fear dan rekannya di Semgrep, Isaac Evans dan Cris Thomas, berargumen dalam sebuah postingan minggu lalu bahwa masalah intinya adalah kemampuan observasi. Perangkat lunak tradisional, bahkan dalam bentuk biner yang dikompilasi, dapat direkayasa ulang dan diperiksa untuk mencari logika berbahaya. Bobot jaringan saraf tidak bisa.

“Bahkan ketika bobot model bersifat publik ('bobot terbuka'), kami hampir tidak memiliki kemampuan untuk memprediksi perilakunya,” tulis mereka. “Ini adalah perubahan besar: program komputer pada umumnya, dalam bentuk biner, masih dapat dianalisis dengan alat rekayasa balik untuk mendapatkan gambaran menyeluruh tentang perilakunya. Dengan model, kita belum bisa mencapai kemampuan ini.”

Kesenjangan ini, kata mereka, membuat rantai pasokan AI dalam beberapa hal lebih berbahaya dibandingkan rantai pasokan perangkat lunak tradisional yang menyebabkan insiden besar seperti pelanggaran SolarWinds. “Jika ketergantungan perangkat lunak mengandung kode berbahaya, kami memiliki praktik yang matang untuk menemukannya, melacak asal-usulnya, dan mengurangi dampaknya,” argumen tim Semgrep. Model AI berbeda. Model yang dikompromikan atau dimanipulasi secara halus tidak perlu 'dipecahkan' untuk menciptakan risiko bisnis; model tersebut hanya perlu memengaruhi keputusan dengan cara yang sulit dideteksi.”

Pencurian data bersembunyi di dalam bobot

Demonstrasi terpisah yang dilaporkan dalam bagian Register yang sama menunjukkan bagaimana model yang diracuni dapat mengubah alat yang diberikan untuk merugikan penggunanya. Bulan lalu, David Kaplan, pimpinan penelitian keamanan AI di perusahaan Origin, membangun model yang dirancang untuk mencuri data. Dalam skenario yang meniru penggunaannya di dalam perusahaan farmasi untuk penemuan obat, model tersebut dirancang untuk menyaring informasi sensitif melalui panggilan alat `send_email` tanpa indikasi yang terlihat oleh orang yang menjalankannya.

Kaplan membingkai risiko terhadap model ancaman AI yang banyak dikutip dan diciptakan oleh pengembang Simon Willison, yang dikenal sebagai "trifecta mematikan", yang menyatakan bahwa agen menjadi berbahaya ketika secara bersamaan memiliki akses ke data pribadi, memproses masukan yang tidak tepercaya, dan memiliki saluran keluar.

"Tetapi kasus ini tidak laku," tulis Kaplan. "Anda tidak memerlukan tiga kaki di sini. Anda memerlukan satu alat keluar dan satu set beban yang diam-diam memutuskan untuk menggunakannya melawan Anda. 'Masukan yang tidak dipercaya' tidak sampai di halaman web. Itu ada di beban sepanjang waktu."

Permukaan serangan yang matang

Para peneliti akademis telah memperingatkan tentang subversi model selama bertahun-tahun, namun komunitas keamanan baru-baru ini melatih fokus mereka pada masalah ini ketika serangan rantai pasokan AI di dunia nyata mulai bermunculan. Register mencatat bahwa ancaman ini sangat mendesak saat ini karena menjalankan model open-weight pada perangkat keras lokal telah beralih dari sekadar eksperimen penghobi ke dalam saluran perusahaan.

Peringatan tersebut tidak sepenuhnya bersifat teoritis. Riset industri terpisah telah mendokumentasikan aktivitas jahat pada platform distribusi AI. Unit Riset Ancaman Acronis, misalnya, telah mengidentifikasi kampanye liar yang menyalahgunakan hub seperti Hugging Face untuk mengirimkan malware yang menyamar sebagai model, kumpulan data, dan ekstensi agen – serangan yang mengeksploitasi kepercayaan pada ekosistem AI, bukan kelemahan perangkat lunak apa pun.

Konvergensi temuan-temuan ini memberikan gambaran bahwa serangan berkembang lebih cepat dibandingkan pertahanan terhadapnya. Model bobot terbuka menukar transparansi dengan jenis opasitas yang berbeda: siapa pun dapat mengunduh bobot, namun tidak ada yang dapat sepenuhnya memeriksa fungsi bobot tersebut. Dan karena menyempurnakan pintu belakang itu murah dan cepat, penyerang yang gigih tidak perlu mengkompromikan model andalan yang terkenal untuk menyebabkan kerusakan — hanya satu yang cukup tepercaya untuk ditarik ke dalam lingkungan produksi.

Bagi organisasi, menurut para peneliti Semgrep, pelajaran yang bisa diambil bukanlah meninggalkan model open-weight namun memperlakukannya dengan pengawasan yang sama yang telah lama diterapkan pada ketergantungan perangkat lunak: verifikasi sumbernya, lacak garis keturunannya, dan asumsikan bahwa apa yang tidak dapat diperiksa mungkin masih bersifat bermusuhan.

Tetap Terdepan dalam AI

Untuk pelaporan lebih lanjut tentang keamanan AI, keamanan model, dan perusahaan yang bergerak di bidang ini, ikuti berita AI terkini kami.

Baca berita AI selengkapnya →