Flash DeepSeek V4.1 Gratis Hampir Menyamai Sol GPT-6 OpenAI yang Dibatasi dalam Tolok Ukur Peretasan AI

Model open-weight Tiongkok yang dapat diunduh oleh siapa saja hampir menyamai model siber OpenAI yang paling mampu dalam membobol jaringan perusahaan yang disimulasikan, menurut hasil benchmark baru dari perusahaan evaluasi Vals yang dilaporkan oleh WIRED.

Dalam pengujian CyberOffense Vals, GPT-6 Sol OpenAI – yang ditawarkan perusahaan hanya melalui program cyber Daybreak dengan akses terbatas – menyelesaikan sekitar 81 persen tujuan. DeepSeek V4.1 Flash, rilis open-weight gratis, menyelesaikan sekitar 73 persen tujuan yang sama, berjalan sebagai agen yang sepenuhnya otonom. Pelacak lain menyebutkan angka utama DeepSeek sebesar 72,8 persen.

“Kemampuan siber yang tadinya terbatas pada AI dengan akses tepercaya kini tersedia bagi siapa saja,” tulis Vals dalam hasil penelitiannya. Peneliti Vals, Nikil Ravi, mengatakan kepada WIRED bahwa model terbaik yang terkunci di dalam laboratorium AI "mulai ditandingi dengan model terbuka yang dapat diunduh siapa pun."

Bagaimana Vals Menjalankan Tes

Benchmark CyberOffense Vals menggunakan dua rentang cyber yang disimulasikan. Yang pertama, disebut Nova, adalah jaringan Windows 21 tujuan yang mencakup beberapa domain Direktori Aktif. Yang kedua, Lighthouse, berisi 31 tujuan di dua perusahaan, di mana agen pertama-tama harus mengambil alih satu jaringan dan kemudian menggunakan kredensial dan informasi yang ditemukan di sana untuk menerobos jaringan kedua – sebuah skenario yang mencerminkan intrusi multi-tahap di dunia nyata.

Setiap model dijalankan di agen Pi sumber terbuka pada mesin Kali Linux yang terisolasi, dengan batas waktu 48 jam dan anggaran 500 juta token. Yang penting, Vals mengkreditkan suatu tujuan hanya ketika penanda tersembunyi muncul dalam keluaran perintah — tidak pernah berdasarkan klaim model itu sendiri bahwa model tersebut telah berhasil.

Angka dan Kesenjangan Biaya

DeepSeek mencapai rata-rata 16,3 dari 21 tujuan Nova, sebenarnya mengungguli 15,7 tujuan Daybreak pada jaringan pertama. Fajar melaju pada jangkauan Lighthouse yang lebih sulit, menyelesaikan 27 dari 31 tujuan dan 21 tujuan DeepSeek.

Perbedaan yang lebih mencolok adalah biaya. WIRED memperkirakan harga serangan penuh sekitar $2 hingga $3 untuk DeepSeek, dibandingkan $17 hingga $46 untuk GPT-6 Sol. Khususnya pada rentang Nova, DeepSeek menyelesaikan pekerjaannya dengan harga di bawah $3 per putaran dibandingkan sekitar $22 untuk Daybreak.

Vals juga mengamati bahwa DeepSeek tidak menyelesaikan apa pun dalam 25 juta token pertamanya dan mencapai sebagian besar kemajuannya setelah 100 juta token – sebuah profil tempo yang menunjukkan evaluasi singkat dan terbatas komputasi secara sistematis mengecilkan apa yang dapat dilakukan oleh model terbuka murah dengan waktu dan anggaran yang terbatas.

Bagaimana Nasib Model Lain

DeepSeek tidak memimpin dalam disiplin bobot terbuka tanpa tertandingi — namun tidak ada orang lain yang mampu menangkapnya. Kimi K3.1 Pro, Meta's Wonder, dan xAI's Grok 4.7 semuanya berada di belakang DeepSeek dalam perbandingan tujuh model Vals.

GLM 5.3 Flash Z.ai berada di urutan terakhir, menyelesaikan lima tujuan pada setiap rentang. Vals menyebutnya sebagai "jalan buntu yang paling jelas" dalam grup: pada satu rentang, model menghabiskan waktu sekitar 36 jam - sebagian besar melakukan polling terhadap pekerjaan latar belakang yang tidak pernah kembali.

Evaluator lain menilai model GLM-5.3 secara lengkap jauh lebih tinggi dalam tugas dunia maya. Perusahaan penguji Irregular menemukan bahwa mereka telah menyelesaikan 3 dari 13 skenario serangan multi-tahap – hasil terbaik yang pernah dicatat dari model yang tersedia secara terbuka – dan NIST menyebutnya sebagai model siber open-weight paling mumpuni yang pernah dirilis hingga saat ini, dan memperkirakan bahwa model tersebut berada sekitar empat bulan di belakang sistem-sistem terkemuka AS. Anthropic secara terpisah mengatakan kepada Reuters bahwa GLM-5.3 menghasilkan eksploitasi kerja dalam 12 persen percobaan, dibandingkan 14 persen untuk Claude Mythos-nya. Vals mencatat bahwa ini adalah tes berbeda yang skornya tidak dapat dibandingkan secara langsung dengan hasil CyberOffense.

Mengapa Itu Penting

Hasil penelitian ini mempertajam perdebatan yang sedang berlangsung mengenai batasan keamanan seputar kemampuan siber AI yang terdepan. Program Daybreak OpenAI hadir secara khusus untuk menjaga model siber berkemampuan tinggi di balik pemeriksaan identitas dan akses terbatas, dengan teori bahwa kemampuan siber ofensif tidak boleh didistribusikan secara bebas. Pengunduhan gratis hanya tertinggal beberapa poin dari model terbatas — sementara biaya per pengoperasiannya jauh lebih murah — memperumit gambaran tersebut.

Ini juga penting bagi para pembela HAM. Tim keamanan yang berencana melawan penyerang yang dibantu AI tidak dapat lagi berasumsi bahwa kemampuan serangan otonom yang serius memerlukan akses ke model laboratorium yang terbatas atau anggaran yang besar. Seperti yang ditunjukkan oleh framing Vals sendiri, tingkat kemampuan meningkat lebih cepat daripada yang dapat ditampung oleh kontrol akses.

OpenAI tidak mengomentari perbandingan dalam laporan tersebut. DeepSeek tidak segera menanggapi permintaan komentar.

Tantangan Metodologi Pengujian

Selain skor utama, hasil penelitian ini juga memberikan pelajaran tentang bagaimana kemampuan siber AI diukur. Pilihan desain Vals – jangka waktu 48 jam yang panjang, anggaran setengah miliar token, dan verifikasi melalui penanda tersembunyi daripada keberhasilan yang dilaporkan sendiri – semakin dipandang perlu untuk mengevaluasi sistem agen secara adil. Uji coba yang lebih singkat dan lebih murah kemungkinan akan memberikan skor DeepSeek jauh lebih rendah karena permulaannya yang lambat, sehingga menutupi kemampuan yang muncul dengan lebih banyak komputasi.

Hal ini memiliki konsekuensi praktis terhadap kebijakan. Pembatasan akses seperti program Daybreak OpenAI dikalibrasi berdasarkan kemampuan yang diukur, dan jika metode evaluasi secara sistematis meremehkan kemampuan model terbuka, batasan yang ada mungkin akan tertinggal dari kenyataan. Papan peringkat CyberOffense Vals, yang menurut perusahaan akan terus diperbarui, kemungkinan besar akan menjadi salah satu papan skor yang paling diawasi ketat dalam komunitas keamanan AI.

Untuk saat ini, pesan dari data tersebut masih jelas: kesenjangan antara apa yang dilindungi oleh laboratorium di balik program yang dibatasi dan apa yang dapat diunduh oleh siapa pun semakin menyusut ke titik di mana hal tersebut dapat diukur dalam hitungan bulan, bukan generasi model.

Tetap Terdepan dalam AI

Lacak setiap rilis model, pertarungan benchmark, dan lompatan kemampuan di satu tempat di AI Buzz Wire.

Baca berita AI selengkapnya →