Een open-weight Chinees model dat iedereen kan downloaden heeft bijna het meest capabele cybermodel van OpenAI geëvenaard bij het inbreken in gesimuleerde bedrijfsnetwerken, volgens nieuwe benchmarkresultaten van evaluatiebureau Vals gerapporteerd door WIRED.

In de CyberOffense-tests van Vals volbracht OpenAI's GPT-6 Sol – die het bedrijf alleen aanbiedt via zijn Daybreak-cyberprogramma met beperkte toegang – ongeveer 81 procent van de doelstellingen. DeepSeek V4.1 Flash, een gratis release met open gewichten, voltooide ongeveer 73 procent van dezelfde doelstellingen en draaide als een volledig autonome agent. Andere trackers schatten het headline-nummer van DeepSeek op 72,8 procent.

"Cybermogelijkheden die beperkt waren tot AI met vertrouwde toegang zijn nu voor iedereen beschikbaar", schreef Vals in de resultaten. Vals-onderzoeker Nikil Ravi vertelde WIRED dat de beste modellen die in AI-laboratoria zijn opgesloten, "geëvenaard beginnen te worden door open modellen die iedereen kan downloaden."

Hoe Vals de test uitvoerde

De CyberOffense-benchmark van Vals maakt gebruik van twee gesimuleerde cyberbereiken. De eerste, genaamd Nova, is een Windows-netwerk met 21 doelstellingen dat verschillende Active Directory-domeinen omvat. De tweede, Lighthouse, bevat 31 doelstellingen verspreid over twee bedrijven, waarbij de agent eerst één netwerk moet overnemen en vervolgens de daar gevonden inloggegevens en informatie moet gebruiken om in te breken in het tweede – een scenario dat inbraken in meerdere fasen in de echte wereld weerspiegelt.

Elk model draaide in de open-source Pi-agent op een geïsoleerde Kali Linux-machine, met een tijdslimiet van 48 uur en een tokenbudget van 500 miljoen. Belangrijk is dat Vals alleen een doelstelling toekende als er verborgen markeringen in de opdrachtuitvoer verschenen – nooit op basis van de eigen bewering van het model dat het daarin was geslaagd.

De cijfers en de kostenkloof

DeepSeek haalde gemiddeld 16,3 van Nova's 21 doelstellingen, waarmee hij zelfs de 15,7 van Daybreak op het eerste netwerk overtrof. Daybreak trok vooruit op de moeilijkere Lighthouse-reeks en voltooide 27 van de 31 doelstellingen tegenover de 21 van DeepSeek.

Het meest opvallende verschil waren de kosten. WIRED schat de prijs van een volledige aanval op ongeveer $2 tot $3 voor DeepSeek, tegen $17 tot $46 voor GPT-6 Sol. Specifiek op het Nova-assortiment voltooide DeepSeek zijn werk voor minder dan $ 3 per run, tegenover ongeveer $ 22 voor Daybreak.

Vals merkte ook op dat DeepSeek helemaal niets voltooide in de eerste 25 miljoen tokens en het grootste deel van zijn vooruitgang boekte na 100 miljoen – een tempoprofiel dat suggereert dat korte, computergestuurde evaluaties systematisch onderschatten wat goedkope open modellen kunnen doen gezien de tijd en het budget.

Hoe andere modellen het deden

DeepSeek leidde het veld met open gewichten niet onbetwist, maar niemand anders ving het op. Kimi K3.1 Pro, Meta's Wonder en xAI's Grok 4.7 eindigden allemaal achter DeepSeek in de vergelijking van zeven modellen van Vals.

Z.ai's GLM 5.3 Flash kwam als laatste binnen en voltooide op elke afstand vijf doelstellingen. Vals noemde het "de duidelijkste doodlopende weg" van de groep: op één bereik bracht het model ongeveer 36 uur door - een groot deel daarvan met het onderzoeken van een achtergrondtaak die nooit meer terugkeerde.

Andere beoordelaars beoordelen het volledige GLM-5.3-model aanzienlijk hoger op cybertaken. Het testbedrijf Irregular constateerde dat het drie van de dertien meerfasige aanvalsscenario's had voltooid – het beste resultaat dat het ooit heeft geboekt op basis van een openlijk beschikbaar model – en NIST noemde het het meest capabele open-weight cybermodel dat tot nu toe is uitgebracht en schat dat het ongeveer vier maanden achterloopt op toonaangevende Amerikaanse systemen. Anthropic vertelde Reuters afzonderlijk dat GLM-5.3 in 12 procent van de pogingen werkende exploits bouwde, tegen 14 procent voor zijn Claude Mythos. Vals merkt op dat dit verschillende tests zijn waarvan de scores niet rechtstreeks kunnen worden vergeleken met de CyberOffense-resultaten.

Waarom het ertoe doet

De resultaten verscherpen het voortdurende debat over de veiligheidsbarrières rond grensverleggende AI-cybercapaciteiten. Het Daybreak-programma van OpenAI bestaat specifiek om cybermodellen met hoge capaciteit achter identiteitscontroles en beperkte toegang te houden, op basis van de theorie dat offensieve cybercapaciteiten niet vrij mogen worden verspreid. Een gratis download die slechts een paar punten achterloopt op een beperkt model – terwijl de kosten per bewerking een orde van grootte lager zijn – compliceert dat beeld aanzienlijk.

Ook voor verdedigers is het belangrijk. Beveiligingsteams die plannen maken tegen AI-ondersteunde aanvallers kunnen er niet langer van uitgaan dat serieuze autonome offensieve capaciteiten toegang vereisen tot de beperkte modellen van een laboratorium of een groot budget. Zoals Vals' eigen framing suggereert, stijgt de capaciteitsvloer sneller dan toegangscontroles deze kunnen bevatten.

OpenAI gaf geen commentaar op de vergelijking in de rapporten. DeepSeek reageerde niet onmiddellijk op verzoeken om commentaar.

Een testmethodologie-uitdaging

Naast de hoofdscores bevatten de resultaten ook een les voor de manier waarop AI-cybercapaciteiten worden gemeten. De ontwerpkeuzes van Vals – lange vensters van 48 uur, budgetten van een half miljard tokens en verificatie via verborgen markeringen in plaats van zelfgerapporteerd succes – worden steeds meer gezien als noodzakelijk om agentische systemen eerlijk te evalueren. Kortere, goedkopere testruns zouden DeepSeek waarschijnlijk veel lager hebben gescoord, gezien de trage start, waardoor de mogelijkheden werden gemaskeerd die met meer rekenkracht naar voren kwamen.

Dat heeft praktische consequenties voor het beleid. Toegangsbeperkingen zoals het Daybreak-programma van OpenAI worden gekalibreerd op basis van gemeten capaciteiten, en als evaluatiemethoden systematisch onderschatten wat open modellen kunnen doen, kunnen vangrails achterblijven bij de realiteit. Het CyberOffense-klassement van Vals, waarvan het bedrijf zegt dat het zal blijven updaten, zal daardoor waarschijnlijk een van de beter in de gaten gehouden scoreborden in de AI-beveiligingsgemeenschap worden.

Voorlopig is de boodschap uit de data bot: de kloof tussen wat laboratoria bewaken achter beperkte programma's en wat iedereen kan downloaden wordt kleiner tot het punt waarop dit binnenkort in maanden kan worden gemeten in plaats van in generaties van modellen.

Blijf AI een stap voor

Volg elke modelrelease, benchmarkgevecht en capaciteitssprong op één plek op [AI Buzz Wire] (https://aibuzzwire.new).

Lees meer AI-nieuws →