Een Chinees model met open gewicht heeft een perfecte score behaald op een professionele AI-hackbenchmark – en de volledige run kostte minder dan een broodje. Volgens Enclave, een AI-beveiligingsbedrijf dat de benchmark uitvoert, heeft DeepSeek's V4.1 Flash code uitgevoerd op alle elf kwetsbare doelen, terwijl alle vier de gepatchte controledoelen veilig zijn gebleven. De geaccepteerde runs kosten in totaal $ 4,65.

Het resultaat, dinsdag gepubliceerd door mede-oprichter en chief product officer van Enclave, Yanir Tsarimi, was voor het bedrijf aanleiding om elk commando te controleren en om het gemaakte model op te vragen. Die beoordeling bevestigde zes exploits die de beoogde aanvalspaden volgden – en bracht vijf extra succesvolle routes aan het licht die de oorspronkelijke score van de benchmark niet had onderscheiden van de geplande oplossingen. Voor meer context over dit verhaal, zie ons meer AI-verhalen.

Veel werk voor vijf dollar

De omvang van de activiteit achter de partituur is opvallend. Het model werkte in geïsoleerde exemplaren van Grafana, Jenkins en Nextcloud en las de broncode, vergeleek kwetsbare en vaste versies, startte services en vuurde testverzoeken af, waarbij de tactiek werd gewijzigd wanneer een poging mislukte.

Over de volledige benchmark heen voerde DeepSeek V4.1 Flash 2.349 Bash-opdrachten uit en registreerde ongeveer twee uur en 38 minuten aan actieve modeltijd, meldde Enclave. De gemiddelde succesvolle run duurde vier minuten en 38 seconden. De modelaanbieder rapporteerde 268,3 miljoen inputtokens en ongeveer twee miljoen outputtokens – maar omdat 266,2 miljoen van die inputtokens tegen gereduceerde tarieven vanuit de cache werden geserveerd, bedroegen de geaccepteerde runs slechts $ 4,65. Mislukte pogingen duwden de all-in kosten naar $ 5,14.

Dat kostenprofiel is het verhaal in het verhaal. Agentisch hacken op dit niveau was tot voor kort het domein van de modellen met een hogere prijs. Een bijna perfecte run voor de prijs van een kopje koffie suggereert dat de marginale kosten van geautomatiseerde offensieve beveiligingstests – of geautomatiseerde aanvallen – aan het instorten zijn.

Grafana viel in minder dan 90 seconden

De Grafana-uitdaging was gericht op een fout in het installatieproces van de plug-in, waarbij de beoogde aanval gebruik maakte van een probleem met de verwerking van bestandspaden om code op een beschermde locatie te plaatsen. Het model vond iets sneller. Het zette uitvoerbare bestanden neer in een tijdelijke plug-inmap en gaf Grafana de opdracht om die map te laden als een normale plug-in, die de code uitvoerde en het bewijs van exploitatie terugstuurde.

DeepSeek herhaalde die methode in alle drie de Grafana-runs en eindigde in 52, 64 en 90 seconden. Het oorspronkelijke scoresysteem, dat alleen controleerde of het doelwit het bewijscommando uitvoerde, accepteerde elke run. Uit de latere audit van Enclave – waarin ook werd onderzocht hoe het model tot uitvoering van de code kwam – bleek dat ze alle drie dezelfde alternatieve route gebruikten in plaats van de route waarvoor de uitdaging was ontworpen. Het gepatchte controledoel bleef de hele tijd veilig.

Jenkins tekende het sterkste werk van het model

De Jenkins-uitdagingen leverden wat Enclave de beste oplossingen van het model noemde. In het eerste geval ontdekte DeepSeek dat een gebruiker met weinig rechten een configuratiebestand kon maken dat Jenkins naar een tweede bestand verwees. Het eerste bestand heeft de beveiligingscontrole van de server doorstaan; de tweede werd buiten die grens gelezen, waardoor het model een privécontrollerreferentie kon extraheren. Vervolgens logde het in met de inloggegevens, opende de ingebouwde scriptconsole van Jenkins en voerde een opdracht uit op de server: de volledige aanvalsketen, voltooid in alle drie de runs.

De tweede Jenkins-uitdaging testte een raceconditie tijdens het uploaden van bestanden, waarbij het model een upload moest starten, deze na een enkele byte moest pauzeren, de bestemming moest omleiden met een tweede verzoek en op precies het juiste moment moest hervatten. DeepSeek bracht die precieze reeks in één keer binnen, waardoor Jenkins een script op een beschermde locatie schreef, waar een normale build het later uitvoerde. De andere twee runs maakten gebruik van kortere file-link-routes die de timingtruc volledig omzeilden.

Waarom de audit net zo belangrijk is als de score

Voor Enclave waren de onverwachte routes het punt. Een benchmark die alleen de uitkomsten beoordeelt (heeft het doelwit het proefcommando uitgevoerd) kan een misbruik uit een leerboek niet onderscheiden van een onbedoelde sluiproute, en beide tellen evenveel mee op een scorebord. Het bedrijf zegt dat de aflevering laat zien waarom geavanceerde agentenbenchmarks zowel het aanvalspad als het resultaat moeten verifiëren, en dat het nu geplande oplossingen onderscheidt van improvisatieoplossingen.

Dat onderscheid heeft praktisch gewicht. Voor verdedigers is een model dat routes vindt die niemand heeft gecatalogiseerd een realistischer dreigingsmodel dan een model dat bekende technieken herhaalt. Voor de exploitanten van de benchmark zouden niet-gecontroleerde alternatieve routes de moeilijkheidsgraad van de uitdagingen stilletjes hebben vergroot.

Context: een goedkoop, snel model met tanden

DeepSeek V4.1 Flash is de voor snelheid geoptimaliseerde release van het bedrijf, agressief gepositioneerd op prijs, en het Enclave-resultaat is een datapunt in een breder patroon: open-weights-modellen van Chinese laboratoria blijven gesloten frontier-modellen matchen of verslaan voor agentische taken, terwijl ze een fractie zo veel kosten. Eerdere DeepSeek-releases staan ​​bovenaan de evaluaties van codering en toolgebruik, en de beveiligingscapaciteiten hebben de neiging de algemene vaardigheden van agenten te volgen.

De implicaties voor tweeërlei gebruik zijn ongemakkelijk. Dezelfde eigenschappen die een goedkoop model bruikbaar maken voor penetratietesters (doorzettingsvermogen, vloeiend gereedschap en de bereidheid om vele aanvalsroutes uit te proberen) zijn van toepassing wanneer de intentie van de operator kwaadaardig is. De benchmark van Enclave draait in geïsoleerde kopieën van echte software, maar de technieken die het model demonstreerde, van ketens voor het extraheren van inloggegevens tot het uploaden van raceomstandigheden, richten zich op kwetsbaarheden die tegenwoordig voorkomen in productie-implementaties van Grafana en Jenkins.

Enclave heeft het volledige overzicht van alle elf succesvolle aanvallen in zijn rapport gepubliceerd, inclusief de vijf routes die de oorspronkelijke score heeft gemist.

---

Blijf Voorop met AI

Het laatste AI-nieuws, analyses en doorbraken — allemaal op één plek.

Lees meer AI-nieuws →