En kinesisk modell med öppen vikt har gett ett perfekt resultat på ett professionellt AI-hackningsriktmärke - och hela körningen kostade mindre än en smörgås. Enligt Enclave, ett AI-säkerhetsföretag som kör benchmark, fick DeepSeeks V4.1 Flash kodexekvering på alla 11 sårbara mål samtidigt som de lämnade alla fyra patchade kontrollmål säkra. De accepterade körningarna kostar totalt 4,65 USD.
Resultatet, som publicerades av Enclaves medgrundare och produktchef Yanir Tsarimi på tisdagen, fick företaget att granska varje kommando och begära modellen. Den granskningen bekräftade sex exploateringar som följde de avsedda attackvägarna - och avslöjade fem ytterligare framgångsrika rutter som riktmärkets ursprungliga poäng inte hade skiljt från de planerade lösningarna. For more context on this story, see our ongoing more AI stories.
Mycket arbete för fem dollar
Omfattningen av aktiviteten bakom poängen är slående. Modellen arbetade inuti isolerade kopior av Grafana, Jenkins och Nextcloud och läste källkod, jämförde sårbara och fixade versioner, startade tjänster och avfyrade testförfrågningar och ändrade taktik när ett försök misslyckades.
Över hela riktmärket körde DeepSeek V4.1 Flash 2 349 Bash-kommandon och loggade ungefär två timmar och 38 minuter av aktiv modelltid, rapporterade Enclave. Den medianmässiga lyckade löpningen tog fyra minuter och 38 sekunder. Modellleverantören rapporterade 268,3 miljoner indata-tokens och cirka två miljoner output-tokens – men eftersom 266,2 miljoner av dessa indata-tokens serverades från cachen till rabatterade priser, uppgick de accepterade körningarna till bara $4,65. Misslyckade försök pressade upp all-in-kostnaden till $5,14.
Den kostnadsprofilen är historien i berättelsen. Agenthackning på denna kapacitetsnivå var, tills nyligen, provinsen för gränsprismodeller. En nästan perfekt körning för priset på en kaffe tyder på att marginalkostnaden för automatiserade offensiva säkerhetstester - eller automatiserade attacker - håller på att kollapsa.
Grafana föll på under 90 sekunder
Grafana-utmaningen riktade sig mot ett fel i plugin-installationsprocessen, där den avsedda attacken använde ett problem med fil-sökvägshantering för att placera kod på en skyddad plats. Modellen hittade något snabbare. Den tappade körbara filer i en temporär plugin-mapp och instruerade Grafana att ladda den mappen som ett vanligt plugin, som körde koden och returnerade beviset på utnyttjande.
DeepSeek upprepade den metoden över alla tre Grafana-loppen och avslutade på 52, 64 och 90 sekunder. Det ursprungliga poängsystemet, som endast kontrollerade om målet körde beviskommandot, accepterade varje körning. Enclaves senare granskning – som också undersökte hur modellen nådde kodexekvering – visade att alla tre använde samma alternativa väg snarare än den som utmaningen var utformad för att mäta. Det lappade kontrollmålet förblev säkert hela tiden.
Jenkins drog modellens starkaste verk
Jenkins-utmaningarna producerade vad Enclave kallade modellens bästa lösningar. I den första upptäckte DeepSeek att en användare med låg privilegie kunde skapa en konfigurationsfil som pekade Jenkins på en andra fil. Den första filen klarade serverns säkerhetskontroll; den andra lästes utanför den gränsen, vilket lät modellen extrahera en privat kontrollant. Den loggade sedan in med referensen, öppnade Jenkins inbyggda skriptkonsol och körde ett kommando på servern - hela attackkedjan, slutförd i alla tre körningarna.
Den andra Jenkins-utmaningen testade ett racetillstånd under filuppladdningar, vilket krävde att modellen startade en uppladdning, pausade den efter en enda byte, omdirigerar sin destination med en andra begäran och återupptas vid exakt rätt ögonblick. DeepSeek landade den exakta sekvensen i en körning och fick Jenkins att skriva ett skript på en skyddad plats där en normal konstruktion senare körde det. Dess andra två körningar använde kortare fillänksrutter som helt undvek timingtricket.
Varför revisionen är lika viktig som poängen
För Enclave var det de oväntade vägarna som var poängen. Ett riktmärke som endast betygsätter resultat - körde målet beviskommandot - kan inte skilja en läroboksexploat från en oavsiktlig genväg, och båda räknas likadant på en topplista. Företaget säger att avsnittet visar varför avancerade agentriktmärken måste verifiera attackvägen såväl som resultatet, och det skiljer nu planerade lösningar från improvisationslösningar.
Den distinktionen har praktisk tyngd. För försvarare är en modell som hittar vägar som ingen har katalogiserat en mer realistisk hotmodell än en som spelar om kända tekniker. För riktmärkets operatörer skulle oreviderade alternativa vägar tyst ha blåst upp svårigheten med utmaningarna.
Sammanhang: En billig, snabb modell med tänder
DeepSeek V4.1 Flash är företagets hastighetsoptimerade release, aggressivt positionerad på pris, och Enclave-resultatet är en datapunkt i ett bredare mönster: modeller med öppen vikt från kinesiska laboratorier fortsätter att matcha eller slå slutna gränsmodeller på agentuppgifter samtidigt som de kostar en bråkdel så mycket. Tidigare DeepSeek-utgåvor har toppat utvärderingar av kodning och verktygsanvändning, och säkerhetskapaciteten tenderar att spåra allmän agentisk skicklighet.
Implikationerna för dubbel användning är obekväma. Samma egenskaper som gör en billig modell användbar för penetrationstestare – uthållighet, verktygsförmåga och vilja att prova många attackrutter – gäller när operatörens avsikt är skadlig. Enclaves riktmärke körs i isolerade kopior av riktig programvara, men teknikerna som modellen visade, från kedjor för utvinning av autentiseringsuppgifter till uppladdningsförhållanden, riktar sig mot sårbarheter som finns i produktionsinstallationer av Grafana och Jenkins idag.
Enclave har publicerat den fullständiga uppdelningen av alla elva framgångsrika attacker i sin rapport, inklusive de fem vägarna som dess ursprungliga poäng missade.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
