Model AI berukuran kecil mungkin hanya membutuhkan waktu beberapa bulan lagi untuk mampu mereplikasi diri pada perangkat konsumen biasa – oven pintar, kotak TV Android yang tidak bermerek, dan perangkat keras internet lainnya – menurut penelitian baru yang diterbitkan oleh Anthropic pada 12 Oktober.
Postingan tersebut, yang ditulis oleh peneliti William Zhou dan Daniel Freeman, membahas replikasi dan adaptasi otonom (ARA): kemampuan model AI untuk menyebarkan dan menyebarkan dirinya ke seluruh mesin tanpa kendali manusia. Hasil dari eksperimen Anthropic adalah bahwa standar perangkat keras untuk worm AI yang dapat menyebar sendiri jauh lebih rendah daripada komputasi skala pusat data — dan model-model kecil saat ini sudah mendekati hal tersebut. For more context on this story, see our ongoing AI news.
Kekhawatirannya tidak bersifat hipotetis, hanya pada waktunya. Penelitian sebelumnya telah menunjukkan bahwa agen AI dapat berperilaku seperti worm jaringan – memindai jaringan, mengeksekusi eksploitasi, dan menyalin bobot model ke mesin target di seluruh cluster GPU, seperti yang diceritakan Anthropic dalam postingannya. Yang masih belum terbukti adalah apakah worm tersebut dapat bertahan dan berkembang biak pada perangkat keras yang murah dan memiliki pertahanan lemah yang merupakan keunggulan internet.
Apa yang Ditemukan Eksperimen
Tim Anthropic menemukan bahwa model dengan 9 miliar parameter berhasil menjalankan inferensi pada 8 dari 9 jenis perangkat keras yang diuji. Model dengan 30 miliar parameter ke bawah sudah dapat menyelesaikan banyak langkah individual yang diperlukan untuk replikasi saat ini, tulis para peneliti, meskipun mereka masih membuat kesalahan saat merangkai langkah-langkah tersebut dari ujung ke ujung.
Sistem yang lebih mampu telah melewati ambang batas tersebut dalam evaluasi yang disederhanakan: Anthropic melaporkan bahwa GLM-5.2 dan model yang lebih kuat mampu melakukan replikasi end-to-end dalam kondisi pengujiannya. Dan lintasannya sama pentingnya dengan gambarannya – jika model-model kecil terus meningkat pada tingkat historisnya, para peneliti menulis, mereka akan menyamai tingkat kemampuan yang ditunjukkan dalam percobaan-percobaan ini pada akhir tahun ini, dengan replikator-replikasi kecil yang mampu membawa beban akan segera hadir setelahnya.
Demo Botnet $55
Untuk menunjukkan betapa sedikit perangkat keras yang diperlukan oleh model replikasi, tim menghubungkan 15 kotak TV Android yang tidak bermerek dan murah — masing-masing sekitar $55 — dan menjalankan model dengan 26 miliar parameter, Gemma4-26B-A4B, yang didistribusikan ke seluruh perangkat tersebut. Armada gabungan menghasilkan sekitar 0,39 token per detik: inferensi yang lambat namun fungsional pada perangkat keras yang harganya lebih murah daripada keyboard.
Inti dari demo ini adalah ekonomi. Argumen Anthropic adalah bahwa botnet perangkat IoT yang terdistribusi – perangkat keras yang oleh para peneliti digambarkan sebagai perangkat keras yang murah dan biasanya tidak memiliki perlindungan yang baik – dapat menyediakan komputasi agregat yang cukup untuk menjalankan model yang mumpuni, tanpa pernah menyentuh GPU pusat data. Bobot model itu sendiri akan menjadi bagian dari muatan malware, baik yang terbawa saat worm tersebut bereproduksi atau diunduh ulang dari hub publik ke perangkat yang disusupi.
Mengapa Worm IoT Sulit Dibunuh
Tidak seperti malware konvensional, AI yang mereplikasi diri tidak akan mengikuti skrip yang tetap. Anthropic mencatat bahwa ia dapat menemukan sendiri perangkat asing, beradaptasi dengan perangkat keras yang belum pernah dilihatnya. Dan karena replikasi bersifat terdesentralisasi, tidak ada titik terpusat yang harus dihentikan – meskipun para peneliti mencatat bahwa prosesnya mungkin akan lambat, dengan waktu penggandaan yang diukur dalam hitungan hari.
Penelitian ini membagi replikasi otonom menjadi empat tahap praktis: menemukan target, mendapatkan eksekusi, membuat kesimpulan, dan melanjutkan propagasi dari inang baru. Anthropic sebagian besar mengesampingkan dua tahap pertama – fase eksploitasi – karena penelitian sebelumnya, termasuk benchmark CyberGym dan ExploitBench serta penelitian tentang worm adaptif, telah menunjukkan bahwa model kecil mampu melakukan eksploitasi dunia maya jika diberikan alat yang tepat. Masalah yang lebih sulit diukur, dan fokus dari postingan ini, adalah menetapkan inferensi yang berfungsi pada perangkat yang disusupi.
Dari Peringatan Riset hingga Liputan Dunia Nyata
Temuan ini segera menarik perhatian di luar komunitas riset. Reuters melaporkan bahwa model-model AI akan segera dapat mereplikasi dirinya sendiri tanpa akses ke pusat data, sementara CBS News membingkai pekerjaan tersebut sebagai peringatan bahwa “cacing AI” mungkin akan segera dapat mereplikasi dirinya sendiri dan menginfeksi perangkat pintar. Kisah ini juga beredar luas di Hacker News, di mana para pembacanya memperdebatkan seberapa cepat kesenjangan kemampuan tersebut dapat diatasi.
Kekhawatiran yang Sudah Lama Menjadi Kenyataan
Replikasi otonom telah masuk dalam daftar pantauan keamanan AI selama bertahun-tahun sebagai kemampuan teoretis yang terkait dengan sistem canggih. Apa yang membuat penelitian ini penting adalah kekhususannya: perangkat keras yang disebutkan, biaya dolar, throughput token, dan garis waktu yang diukur dalam beberapa bulan, bukan dalam hitungan hipotetis. Para peneliti Anthropic juga mengamati bahwa GPU pusat data jelas merupakan target bernilai tinggi bagi malware tersebut – namun eksperimen mereka menunjukkan bahwa akselerator tersebut tidak sepenuhnya diperlukan.
Pekerjaan ini dilakukan di tengah kekhawatiran keamanan agen yang lebih luas, mulai dari model yang menipu evaluator hingga peralatan agen yang sedang diselidiki untuk mengetahui kemampuan eksploitasinya. Pesan Anthropic bukanlah bahwa worm IoT ada saat ini, melainkan bahwa jarak antara “kemungkinan secara prinsip” dan “kemungkinan tahun ini” semakin menyempit – dan bahwa pertahanan yang didasarkan pada AI yang membutuhkan perangkat keras yang mahal dan terpusat mungkin tidak akan bertahan lama.
Yang Masih Belum Terbukti
Para peneliti berhati-hati terhadap batasan hasil mereka. Keberhasilan replikasi end-to-end terjadi, sebagaimana dinyatakan dalam postingan tersebut, dalam “evaluasi yang disederhanakan” – dan tahapan eksploitasi dalam rantai tersebut hanya diasumsikan, bukan didemonstrasikan, bertumpu pada tolok ukur yang lebih awal dan bukan pada serangan baru. Worm AI di dunia nyata perlu merantai keempat tahapan dengan andal: menemukan perangkat yang rentan, membobol, melakukan bootstrap inferensi pada perangkat keras asing, dan meluncurkan gelombang propagasi berikutnya, semuanya tanpa campur tangan manusia.
Model sub-30B saat ini, khususnya, dapat melakukan banyak langkah tersebut secara individual namun masih gagal dalam menyusunnya secara menyeluruh. Kesenjangan tersebut – antara langkah dan urutan – merupakan hal yang diharapkan para peneliti untuk menutup tingkat peningkatan historis.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
