Flash gratuit DeepSeek V4.1 aproape se potrivește cu GPT-6 Sol restricționat de la OpenAI în benchmarkul de hacking AI

Un model chinezesc deschis pe care oricine îl poate descărca aproape se potrivește cu cel mai capabil model cibernetic al OpenAI pentru a pătrunde în rețelele corporative simulate, potrivit noilor rezultate de referință de la firma de evaluare Vals raportate de WIRED.

În testarea CyberOffense de la Vals, GPT-6 Sol de la OpenAI – pe care compania îl oferă doar prin programul său cibernetic Daybreak cu acces restricționat – a îndeplinit aproximativ 81% din obiective. DeepSeek V4.1 Flash, o versiune gratuită cu greutăți deschise, a îndeplinit aproximativ 73% din aceleași obiective, rulând ca un agent complet autonom. Alte instrumente de urmărire au pus numărul principal al DeepSeek la 72,8 la sută.

„Capacitatea cibernetică care era limitată la AI cu acces de încredere este acum disponibilă oricui”, a scris Vals în rezultatele sale. Cercetătorul Vals, Nikil Ravi, a declarat pentru WIRED că cele mai bune modele blocate în laboratoarele de inteligență artificială „încep să fie egalate cu modele deschise pe care oricine le poate descărca”.

Cum a rulat Vals testul

Benchmark-ul CyberOffense al lui Vals utilizează două intervale cibernetice simulate. Prima, numită Nova, este o rețea Windows cu 21 de obiective care se întinde pe mai multe domenii Active Directory. Al doilea, Lighthouse, conține 31 de obiective în două companii, în care agentul trebuie să preia mai întâi o rețea și apoi să folosească acreditările și informațiile găsite acolo pentru a pătrunde în al doilea - un scenariu care reflectă intruziunile în mai multe etape din lumea reală.

Fiecare model a rulat în agentul Pi open-source pe o mașină izolată Kali Linux, cu o limită de timp de 48 de ore și un buget de 500 de milioane de token. Important este că Vals a creditat un obiectiv numai atunci când au apărut markeri ascunși în ieșirea comenzii - niciodată pe propria pretenție a modelului că ar fi reușit.

Cifrele și diferența de costuri

DeepSeek a avut o medie de 16,3 dintre cele 21 de obiective ale Nova, depășind de fapt 15,7 de la Daybreak pe prima rețea. Daybreak a avansat pe gama Lighthouse mai dificilă, completând 27 din 31 de obiective până la cele 21 ale DeepSeek.

Diferența mai izbitoare a fost costul. WIRED a stabilit prețul unui atac complet la aproximativ 2-3 USD pentru DeepSeek, față de 17-46 USD pentru GPT-6 Sol. În special pentru gama Nova, DeepSeek și-a finalizat munca pentru mai puțin de 3 USD pe rulare, față de aproximativ 22 USD pentru Daybreak.

Vals a observat, de asemenea, că DeepSeek nu a finalizat nimic în primele 25 de milioane de jetoane și a făcut cea mai mare parte a progresului după 100 de milioane - un profil de ritm care sugerează evaluări scurte, limitate de calcul, subestimează în mod sistematic ce pot face modelele deschise ieftine în funcție de timp și buget.

Cum s-au descurcat alte modele

DeepSeek nu a condus necontestat câmpul de greutăți deschise - dar nimeni altcineva nu a prins-o. Kimi K3.1 Pro, Meta's Wonder și xAI's Grok 4.7 au terminat toate în spatele DeepSeek în comparația cu șapte modele a lui Vals.

GLM 5.3 Flash de la Z.ai a ajuns ultimul, completând cinci obiective pe fiecare gamă. Vals a numit-o „cea mai clară fundătură” a grupului: pe o gamă, modelul a petrecut aproximativ 36 de ore - o mare parte din ele sondajând un job de fundal care nu a mai revenit.

Alți evaluatori evaluează modelul complet GLM-5.3 considerabil mai mult la sarcinile cibernetice. Firma de testare Irregular a descoperit că a finalizat 3 din 13 scenarii de atac în mai multe etape - cel mai bun rezultat pe care l-a înregistrat dintr-un model disponibil în mod deschis - și NIST l-a numit cel mai capabil model cibernetic deschis lansat până în prezent, estimând că se află cu aproximativ patru luni în urma sistemelor de vârf din SUA. Anthropic a declarat separat pentru Reuters că GLM-5.3 a construit exploatații funcționale în 12% dintre încercări, față de 14% pentru Claude Mythos. Vals observă că acestea sunt teste diferite ale căror scoruri nu pot fi comparate direct cu rezultatele CyberOffense.

De ce contează

Rezultatele acutizează o dezbatere în curs despre balustradele de siguranță din jurul capacităților cibernetice de frontieră AI. Programul OpenAI Daybreak există special pentru a menține modelele cibernetice de înaltă capacitate în spatele verificărilor de identitate și accesului restricționat, pe baza teoriei că capacitatea cibernetică ofensivă nu ar trebui să fie distribuită gratuit. O descărcare gratuită care urmărește un model restricționat cu doar câteva puncte - în timp ce costă un ordin de mărime mai puțin pe operațiune - complică această imagine considerabil.

Contează și pentru fundași. Echipele de securitate care planifică împotriva atacatorilor asistați de inteligență artificială nu mai pot presupune că o capacitate ofensivă autonomă serioasă necesită acces la modelele limitate ale unui laborator sau un buget mare. După cum sugerează încadrarea lui Vals, nivelul de capacitate crește mai repede decât îl pot conține controalele de acces.

OpenAI nu a comentat comparația în rapoarte. DeepSeek nu a răspuns imediat solicitărilor de comentarii.

O provocare a metodologiei de testare

Dincolo de scorurile principale, rezultatele oferă o lecție despre cum sunt măsurate capacitățile cibernetice AI. Opțiunile de proiectare ale lui Vals — ferestre lungi de 48 de ore, bugete de o jumătate de miliard de token și verificare prin markeri ascunși, mai degrabă decât succesul auto-raportat — sunt considerate din ce în ce mai mult necesare pentru a evalua sistemele agentice în mod corect. Execuții de testare mai scurte și mai ieftine ar fi avut, probabil, un punctaj mult mai mic pentru DeepSeek, având în vedere pornirea sa lentă, mascând capabilitățile care au apărut cu mai multe calcule.

Acest lucru are consecințe practice pentru politică. Restricțiile de acces, cum ar fi programul OpenAI Daybreak, sunt calibrate în funcție de capacitatea măsurată, iar dacă metodele de evaluare subestimează în mod sistematic ceea ce pot face modelele deschise, balustradele pot rămâne în urmă realității. Clasamentul CyberOffense al lui Vals, pe care firma spune că îl va continua să actualizeze, este probabil să devină unul dintre cele mai urmărite tablouri de bord din comunitatea de securitate AI.

Deocamdată, mesajul din date este clar: decalajul dintre ceea ce laboratoarele păzesc în spatele programelor restricționate și ceea ce oricine poate descărca se micșorează până la punctul în care ar putea fi în curând măsurat în luni și nu în generații de modele.

Rămâi înaintea AI

Urmăriți fiecare lansare de model, lupta de referință și saltul de capacitate într-un singur loc la AI Buzz Wire.

Citește mai multe știri AI →