Denyar DeepSeek V4.1 Percuma Hampir Padan dengan Sol GPT-6 Terhad OpenAI dalam Penanda Aras Penggodaman AI

Model Cina berwajaran terbuka yang boleh dimuat turun oleh sesiapa sahaja telah hampir menyamai model siber OpenAI yang paling berkebolehan dalam memecah masuk ke rangkaian korporat simulasi, menurut keputusan penanda aras baharu daripada firma penilaian Vals yang dilaporkan oleh WIRED.

Dalam ujian CyberOffense Vals, GPT-6 Sol OpenAI — yang syarikat tawarkan hanya melalui program siber Daybreak akses terhadnya — menyelesaikan kira-kira 81 peratus objektif. DeepSeek V4.1 Flash, keluaran wajaran terbuka percuma, menyelesaikan kira-kira 73 peratus daripada objektif yang sama, berjalan sebagai ejen autonomi sepenuhnya. Penjejak lain meletakkan nombor tajuk utama DeepSeek pada 72.8 peratus.

"Keupayaan siber yang terhad kepada AI akses dipercayai kini tersedia kepada sesiapa sahaja," tulis Vals dalam keputusannya. Penyelidik Vals, Nikil Ravi memberitahu WIRED bahawa model terbaik yang dikunci di dalam makmal AI "mula dipadankan dengan model terbuka yang boleh dimuat turun oleh sesiapa sahaja."

Bagaimana Vals Menjalankan Ujian

Penanda aras CyberOffense Vals menggunakan dua julat siber simulasi. Yang pertama, dipanggil Nova, ialah rangkaian Windows 21 objektif yang merangkumi beberapa domain Active Directory. Yang kedua, Rumah Api, mengandungi 31 objektif merentas dua syarikat, di mana ejen mesti mengambil alih satu rangkaian dahulu dan kemudian menggunakan bukti kelayakan dan maklumat yang terdapat di sana untuk memecah masuk ke yang kedua — senario yang mencerminkan pencerobohan berbilang peringkat dunia sebenar.

Setiap model dijalankan dalam ejen Pi sumber terbuka pada mesin Kali Linux terpencil, dengan had masa 48 jam dan bajet 500 juta token. Yang penting, Vals mengkreditkan objektif hanya apabila penanda tersembunyi muncul dalam output arahan — tidak sekali-kali atas dakwaan model sendiri bahawa ia telah berjaya.

Nombor, dan Jurang Kos

DeepSeek purata 16.3 daripada 21 objektif Nova, sebenarnya mengetepikan 15.7 Daybreak pada rangkaian pertama. Daybreak mendahului rangkaian Lighthouse yang lebih sukar, melengkapkan 27 daripada 31 objektif kepada 21 DeepSeek.

Perbezaan yang lebih ketara ialah kos. WIRED meletakkan harga serangan penuh pada kira-kira $2 hingga $3 untuk DeepSeek, berbanding $17 hingga $46 untuk GPT-6 Sol. Pada julat Nova secara khusus, DeepSeek menyelesaikan kerjanya di bawah $3 setiap larian berbanding kira-kira $22 untuk Daybreak.

Vals juga memerhatikan bahawa DeepSeek tidak menyelesaikan apa-apa langsung dalam 25 juta token pertamanya dan membuat sebahagian besar kemajuannya selepas 100 juta — profil pacuan yang mencadangkan penilaian pendek dan dihadkan pengiraan secara sistematik mengecilkan apa yang model terbuka murah boleh lakukan berdasarkan masa dan belanjawan.

Bagaimana Nasib Model Lain

DeepSeek tidak mendahului bidang wajaran terbuka tanpa dicabar — tetapi tiada orang lain yang menangkapnya. Kimi K3.1 Pro, Meta's Wonder dan xAI's Grok 4.7 semuanya selesai di belakang DeepSeek dalam perbandingan tujuh model Vals.

GLM 5.3 Flash Z.ai masuk terakhir, melengkapkan lima objektif pada setiap julat. Vals menyebutnya "jalan buntu paling jelas" kumpulan: pada satu julat, model itu menghabiskan kira-kira 36 jam — kebanyakannya meninjau tugas latar belakang yang tidak pernah kembali.

Penilai lain menilai model GLM-5.3 penuh jauh lebih tinggi pada tugas siber. Firma ujian Irregular mendapati ia menyelesaikan 3 daripada 13 senario serangan berbilang peringkat — hasil terbaik yang telah direkodkan daripada model yang tersedia secara terbuka — dan NIST menggelarnya sebagai model siber berat terbuka paling berkebolehan yang dikeluarkan setakat ini, menganggarkan ia berada kira-kira empat bulan di belakang sistem AS terkemuka. Anthropic secara berasingan memberitahu Reuters bahawa GLM-5.3 membina eksploitasi kerja dalam 12 peratus percubaan, berbanding 14 peratus untuk Claude Mythosnya. Vals menyatakan bahawa ini adalah ujian berbeza yang markahnya tidak dapat dibandingkan secara langsung dengan keputusan CyberOffense.

Mengapa Ia Penting

Hasilnya menajamkan perdebatan berterusan tentang pagar keselamatan yang mengelilingi keupayaan siber AI sempadan. Program Daybreak OpenAI wujud khusus untuk mengekalkan model siber berkeupayaan tinggi di sebalik pemeriksaan identiti dan akses terhad, berdasarkan teori bahawa keupayaan siber yang menyinggung perasaan tidak seharusnya diedarkan secara bebas. Muat turun percuma mengekori model terhad dengan hanya beberapa mata — sambil menelan kos susunan magnitud yang lebih rendah bagi setiap operasi — merumitkan gambaran itu dengan ketara.

Ia juga penting untuk pembela. Pasukan keselamatan yang merancang menentang penyerang dibantu AI tidak lagi boleh menganggap bahawa keupayaan serangan autonomi yang serius memerlukan akses kepada model terhad makmal atau belanjawan yang besar. Seperti yang dicadangkan oleh pembingkaian Vals sendiri, tahap keupayaan meningkat lebih cepat daripada kawalan akses yang boleh mengandunginya.

OpenAI tidak mengulas mengenai perbandingan dalam laporan tersebut. DeepSeek tidak segera menjawab permintaan untuk komen.

Cabaran Metodologi Pengujian

Di luar skor tajuk utama, hasilnya membawa pengajaran tentang cara keupayaan siber AI diukur. Pilihan reka bentuk Vals — tingkap 48 jam yang panjang, belanjawan setengah bilion token dan pengesahan melalui penanda tersembunyi dan bukannya kejayaan yang dilaporkan sendiri — semakin dilihat sebagai perlu untuk menilai sistem agen secara adil. Larian ujian yang lebih pendek dan lebih murah berkemungkinan akan menjaringkan DeepSeek jauh lebih rendah memandangkan permulaannya yang perlahan, menutup keupayaan yang muncul dengan lebih banyak pengiraan.

Itu mempunyai akibat praktikal untuk dasar. Sekatan akses seperti program Daybreak OpenAI ditentukur terhadap keupayaan yang diukur, dan jika kaedah penilaian secara sistematik mengecilkan apa yang model terbuka boleh lakukan, pagar mungkin ketinggalan daripada realiti. Papan pendahulu CyberOffense Vals, yang firma itu katakan ia akan terus dikemas kini, berkemungkinan menjadi salah satu papan skor yang lebih diperhatikan dalam komuniti keselamatan AI sebagai hasilnya.

Buat masa ini, mesej daripada data adalah tumpul: jurang antara apa yang dikawal oleh makmal di sebalik program terhad dan perkara yang boleh dimuat turun oleh sesiapa sahaja semakin mengecil ke tahap yang mungkin tidak lama lagi akan diukur dalam beberapa bulan berbanding generasi model.

Kekal Mendahului AI

Jejaki setiap keluaran model, perjuangan penanda aras dan lompatan keupayaan di satu tempat di AI Buzz Wire.

Baca lebih banyak berita AI →