En öppen kinesisk modell som alla kan ladda ner har nästan matchat OpenAI:s mest kapabla cybermodell för att bryta sig in i simulerade företagsnätverk, enligt nya benchmarkresultat från utvärderingsföretaget Vals som rapporterats av WIRED.

I Vals CyberOffense-testning slutförde OpenAI:s GPT-6 Sol – som företaget endast erbjuder genom sitt begränsade åtkomst Daybreak cyberprogram – cirka 81 procent av målen. DeepSeek V4.1 Flash, en gratis release med öppna vikter, fullbordade ungefär 73 procent av samma mål och kördes som en helt autonom agent. Andra spårare satte DeepSeeks rubriknummer på 72,8 procent.

"Cyberkapacitet som var begränsad till betrodd AI är nu tillgänglig för alla", skrev Vals i sina resultat. Vals-forskaren Nikil Ravi sa till WIRED att de bästa modellerna inlåsta i AI-labb "börjar matchas av öppna modeller som vem som helst kan ladda ner."

Hur Vals körde testet

Vals CyberOffense benchmark använder två simulerade cyberintervall. Den första, kallad Nova, är ett 21-objektivt Windows-nätverk som spänner över flera Active Directory-domäner. Det andra, Lighthouse, innehåller 31 mål från två företag, där agenten först måste ta över ett nätverk och sedan använda referenser och information som finns där för att bryta sig in i det andra – ett scenario som speglar verkliga intrång i flera steg.

Varje modell körde i Pi-agenten med öppen källkod på en isolerad Kali Linux-maskin, med en tidsgräns på 48 timmar och en budget på 500 miljoner token. Viktigt är att Vals krediterade ett mål endast när dolda markörer dök upp i kommandoutgången - aldrig på modellens eget påstående att det hade lyckats.

Siffrorna och kostnadsgapet

DeepSeek hade i genomsnitt 16,3 av Novas 21 mål, vilket faktiskt översteg Daybreaks 15,7 på det första nätverket. Daybreak drog fram på det hårdare Lighthouse-området och fullbordade 27 av 31 mål till DeepSeeks 21.

Den mer slående skillnaden var kostnaden. WIRED satte priset för en fullständig attackkörning till ungefär $2 till $3 för DeepSeek, mot $17 till $46 för GPT-6 Sol. När det gäller Nova-serien, slutförde DeepSeek sitt arbete för under $3 per körning mot cirka $22 för Daybreak.

Vals observerade också att DeepSeek inte fullbordade någonting alls under sina första 25 miljoner tokens och gjorde det mesta av sina framsteg efter 100 miljoner – en tempoprofil som föreslår korta, beräkningsgränsade utvärderingar som systematiskt underskattar vad billiga öppna modeller kan göra givet tid och budget.

Hur det gick för andra modeller

DeepSeek ledde inte oemotsagt fältet med öppen vikt – men ingen annan fattade det. Kimi K3.1 Pro, Meta's Wonder och xAI:s Grok 4.7 slutade alla bakom DeepSeek i Vals sju-modell jämförelse.

Z.ai:s GLM 5.3 Flash kom sist och fullbordade fem mål på varje serie. Vals kallade det "den tydligaste återvändsgränden" i gruppen: på en serie tillbringade modellen cirka 36 timmar - mycket av det på att välja ett bakgrundsjobb som aldrig återvände.

Andra utvärderare betygsätter hela GLM-5.3-modellen betydligt högre för cyberuppgifter. Testföretaget Irregular fann att det genomförde 3 av 13 flerstegsattackscenarier – det bästa resultatet det har registrerat från en öppet tillgänglig modell – och NIST kallade den den mest kapabla cybermodell med öppen vikt som släppts hittills, och uppskattar att den ligger ungefär fyra månader efter ledande amerikanska system. Anthropic berättade separat för Reuters att GLM-5.3 byggde fungerande bedrifter i 12 procent av försöken, mot 14 procent för dess Claude Mythos. Vals noterar att dessa är olika test vars poäng inte kan jämföras direkt med CyberOffense-resultat.

Varför det är viktigt

Resultaten skärper en pågående debatt om skyddsräcken kring frontier AI-cyberkapacitet. OpenAI:s Daybreak-program finns specifikt för att hålla cybermodeller med hög kapacitet bakom identitetskontroller och begränsad åtkomst, utifrån teorin att offensiv cyberkapacitet inte bör distribueras fritt. En gratis nedladdning efter en begränsad modell med bara några få poäng – samtidigt som den kostar en storleksordning mindre per operation – komplicerar den bilden avsevärt.

Det har också betydelse för försvarare. Säkerhetsteam som planerar mot AI-assisterade angripare kan inte längre anta att allvarlig autonom offensiv förmåga kräver tillgång till ett labbs begränsade modeller eller en stor budget. Som Vals egen inramning antyder, stiger kapacitetsgolvet snabbare än vad åtkomstkontroller kan innehålla det.

OpenAI kommenterade inte jämförelsen i rapporterna. DeepSeek svarade inte omedelbart på förfrågningar om kommentarer.

En testmetodikutmaning

Utöver rubrikresultaten innehåller resultaten en läxa för hur AI-cyberkapaciteten mäts. Vals designval – långa 48-timmarsfönster, budgetar på en halv miljard token och verifiering genom dolda markörer snarare än självrapporterade framgångar – ses alltmer som nödvändiga för att utvärdera agentsystem rättvist. Kortare, billigare testkörningar skulle sannolikt ha gett DeepSeek mycket lägre poäng med tanke på dess långsamma start, maskeringsmöjligheter som uppstod med mer beräkning.

Det får praktiska konsekvenser för politiken. Åtkomstbegränsningar som OpenAI:s Daybreak-program är kalibrerade mot uppmätt kapacitet, och om utvärderingsmetoder systematiskt underskattar vad öppna modeller kan göra, kan skyddsräcken släpa efter verkligheten. Vals CyberOffense-poängtavla, som företaget säger att det kommer att fortsätta uppdatera, kommer sannolikt att bli en av de mer bevakade resultattavlor i AI-säkerhetsgemenskapen som ett resultat.

För nu är budskapet från data trubbigt: klyftan mellan vad laboratorier skyddar bakom begränsade program och vad vem som helst kan ladda ner krymper till den punkt där det snart kan mätas i månader snarare än generationer av modeller.

Ligg före AI

Spåra varje modellsläpp, benchmarkkamp och kapacitetshopp på ett ställe på AI Buzz Wire.

Läs mer AI-nyheter →