Model Cina kanthi bobot mbukak sing bisa diunduh sapa wae wis meh cocog karo model cyber OpenAI sing paling bisa digunakake nalika mlebu jaringan perusahaan simulasi, miturut asil benchmark anyar saka perusahaan evaluasi Vals sing dilaporake dening WIRED.
Ing uji coba CyberOffense Vals, GPT-6 Sol OpenAI - sing ditawakake perusahaan mung liwat program cyber Daybreak sing diwatesi - ngrampungake udakara 81 persen target. DeepSeek V4.1 Flash, rilis bobot mbukak gratis, ngrampungake kira-kira 73 persen saka tujuan sing padha, mlaku minangka agen otonom kanthi lengkap. Pelacak liyane nyelehake nomer judhul DeepSeek ing 72.8 persen.
"Kamampuan siber sing diwatesi kanggo akses AI sing dipercaya saiki kasedhiya kanggo sapa wae," tulis Vals ing asile. Peneliti Vals Nikil Ravi ngandhani WIRED manawa model paling apik sing dikunci ing laboratorium AI "wiwit dicocogake karo model mbukak sing bisa didownload dening sapa wae."
Carane Vals Run Test
Vals 'CyberOffense benchmark nggunakake rong kisaran cyber simulasi. Kapisan, disebut Nova, minangka jaringan Windows 21-tujuan sing nyakup sawetara domain Active Directory. Kapindho, Mercusuar, ngemot 31 tujuan ing rong perusahaan, ing ngendi agen kasebut kudu njupuk liwat siji jaringan lan banjur nggunakake kredensial lan informasi sing ditemokake ing kana kanggo mlebu ing kaloro - skenario sing nggambarake intrusi multi-tataran ing donya nyata.
Saben model mlaku ing agen Pi open-source ing mesin Kali Linux sing terisolasi, kanthi watesan wektu 48 jam lan anggaran 500 yuta token. Jahwéh, Vals dikreditake minangka tujuan mung nalika tandha sing didhelikake katon ing output printah - ora tau miturut model kasebut dhewe yen wis sukses.
Angka, lan Kesenjangan Biaya
DeepSeek rata-rata 16.3 saka 21 tujuan Nova, bener-bener ngluwihi Daybreak 15.7 ing jaringan pisanan. Daybreak maju ing kisaran Mercusuar sing luwih angel, ngrampungake 27 saka 31 tujuan menyang DeepSeek 21.
Bentenane sing luwih mencolok yaiku biaya. WIRED nyedhiyakake rega serangan lengkap kira-kira $ 2 nganti $ 3 kanggo DeepSeek, nglawan $ 17 nganti $ 46 kanggo GPT-6 Sol. Ing sawetara Nova khusus, DeepSeek ngrampungake karyane kurang saka $ 3 saben roto tinimbang $ 22 kanggo Daybreak.
Vals uga mirsani yen DeepSeek ora rampung apa-apa ing 25 yuta token pisanan lan paling akeh kemajuane sawise 100 yuta - profil pacing sing nyaranake evaluasi sing cendhak lan komputasi kanthi sistematis ngremehake apa model mbukak murah sing bisa ditindakake kanthi wektu lan anggaran.
Kepiye Model Liyane
DeepSeek ora mimpin lapangan bobot mbukak tanpa tantangan - nanging ora ana sing nyekel. Kimi K3.1 Pro, Meta Wonder, lan xAI's Grok 4.7 kabeh rampung ing mburi DeepSeek ing perbandingan pitung model Vals.
Z.ai's GLM 5.3 Flash teka ing pungkasan, ngrampungake limang tujuan ing saben kisaran. Vals nyebat "paling buntu paling cetha" ing grup kasebut: ing salah sawijining kisaran, model kasebut ngentekake udakara 36 jam - akeh polling proyek latar mburi sing ora nate bali.
Evaluator liyane menehi rating model GLM-5.3 lengkap sing luwih dhuwur babagan tugas cyber. Perusahaan tes Irregular nemokake yen wis rampung 3 saka 13 skenario serangan multi-tataran - asil paling apik sing wis direkam saka model sing kasedhiya - lan NIST nyebat model cyber bobot mbukak paling mampu sing dirilis nganti saiki, kira-kira patang wulan ing mburi sistem AS sing unggul. Anthropic kanthi kapisah marang Reuters yen GLM-5.3 nggawe eksploitasi kerja ing 12 persen upaya, nglawan 14 persen kanggo Claude Mythos. Vals nyathet yen iki minangka tes sing beda sing ora bisa dibandhingake langsung karo asil CyberOffense.
Apa Sing Penting
Asil kasebut ngasah debat sing terus-terusan babagan pager keamanan ing sekitar kapabilitas cyber AI. Program Daybreak OpenAI ana khusus kanggo njaga model cyber kanthi kapabilitas dhuwur ing mburi mriksa identitas lan akses sing diwatesi, kanthi teori manawa kemampuan cyber sing nyerang ora bisa disebarake kanthi bebas. A download free trailing model diwatesi dening mung sawetara TCTerms - nalika biaya urutan gedhene kurang saben operasi - complicates gambar sing banget.
Iku uga penting kanggo pembela. Tim keamanan sing ngrancang nglawan panyerang sing dibantu AI ora bisa nganggep manawa kemampuan nyerang otonom sing serius mbutuhake akses menyang model sing diwatesi lab utawa anggaran gedhe. Minangka framing Vals dhewe nyaranake, lantai kemampuan mundhak luwih cepet tinimbang kontrol akses bisa ngemot.
OpenAI ora menehi komentar babagan perbandingan kasebut ing laporan kasebut. DeepSeek ora langsung nanggapi panjaluk komentar.
Tantangan Metodologi Pengujian
Ngluwihi skor judhul, asil kasebut nggawa piwulang babagan carane kapabilitas cyber AI diukur. Pilihan desain Vals - jendhela 48 jam sing dawa, anggaran setengah milyar token, lan verifikasi liwat spidol sing didhelikake tinimbang sukses sing dilaporake dhewe - tambah akeh perlu kanggo ngevaluasi sistem agen kanthi adil. Tes tes sing luwih cendhek, luwih murah, bakal entuk DeepSeek luwih murah amarga wiwitane alon, kemampuan masking sing muncul kanthi komputasi luwih akeh.
Sing duwe konsekuensi praktis kanggo kabijakan. Watesan akses kaya program OpenAI's Daybreak dikalibrasi marang kemampuan sing diukur, lan yen cara evaluasi kanthi sistematis nyatakake apa sing bisa ditindakake model terbuka, pager bisa uga ketinggalan ing kasunyatan. Papan pimpinan CyberOffense Vals, sing dikandhakake firma kasebut bakal terus nganyari, bisa uga dadi salah sawijining papan skor sing paling diawasi ing komunitas keamanan AI.
Saiki, pesen saka data kasebut kethul: celah ing antarane apa sing dijaga lab ing mburi program sing diwatesi lan apa sing bisa didownload sapa wae saya suda nganti bisa diukur sajrone pirang-pirang wulan tinimbang model generasi.
Tetep Ahead saka AI
Lacak saben rilis model, gelut patokan, lan kemampuan mlumpat ing sak panggonan ing AI Buzz Wire.
Waca liyane AI warta →
