Der kostenlose DeepSeek V4.1 Flash erreicht im KI-Hacking-Benchmark fast das eingeschränkte GPT-6-Sol von OpenAI

Ein offenes chinesisches Modell, das jeder herunterladen kann, hat laut neuen Benchmark-Ergebnissen des Bewertungsunternehmens Vals, die von WIRED gemeldet wurden, beim Einbruch in simulierte Unternehmensnetzwerke fast mit dem leistungsfähigsten Cyber-Modell von OpenAI mithalten können.

Bei den CyberOffense-Tests von Vals erfüllte GPT-6 Sol von OpenAI – das das Unternehmen nur über sein zugangsbeschränktes Daybreak-Cyberprogramm anbietet – etwa 81 Prozent der Ziele. DeepSeek V4.1 Flash, eine kostenlose Open-Weight-Version, erfüllte etwa 73 Prozent der gleichen Ziele und lief als vollständig autonomer Agent. Andere Tracker beziffern die Schlagzeilenzahl von DeepSeek auf 72,8 Prozent.

„Cyberfähigkeiten, die bisher auf KI mit vertrauenswürdigem Zugriff beschränkt waren, sind jetzt für jedermann verfügbar“, schrieb Vals in seinen Ergebnissen. Der Vals-Forscher Nikil Ravi erklärte gegenüber WIRED, dass die besten Modelle, die in KI-Laboren eingeschlossen sind, „angefangen von offenen Modellen verglichen werden, die jeder herunterladen kann“.

Wie Vals den Test durchführte

Der CyberOffense-Benchmark von Vals verwendet zwei simulierte Cyber-Ranges. Das erste, Nova genannt, ist ein Windows-Netzwerk mit 21 Zielen, das mehrere Active Directory-Domänen umfasst. Das zweite, Lighthouse, enthält 31 Ziele in zwei Unternehmen, bei denen der Agent zunächst ein Netzwerk übernehmen und dann die dort gefundenen Anmeldeinformationen und Informationen verwenden muss, um in das zweite einzubrechen – ein Szenario, das reale mehrstufige Einbrüche widerspiegelt.

Jedes Modell lief im Open-Source-Agenten Pi auf einer isolierten Kali-Linux-Maschine mit einem Zeitlimit von 48 Stunden und einem Budget von 500 Millionen Token. Wichtig ist, dass Vals ein Ziel nur gutgeschrieben hat, wenn versteckte Markierungen in der Befehlsausgabe auftauchten – und nie, wenn das Modell selbst behauptete, dass es erfolgreich war.

Die Zahlen und die Kostenlücke

DeepSeek erzielte im Durchschnitt 16,3 von Novas 21 Zielen und übertraf damit sogar Daybreaks 15,7 im ersten Netzwerk. Daybreak setzte sich im schwierigeren Lighthouse-Bereich durch und erreichte 27 von 31 Zielen gegenüber 21 von DeepSeek.

Der auffälligste Unterschied waren die Kosten. WIRED bezifferte den Preis für einen vollständigen Angriffslauf auf etwa 2 bis 3 US-Dollar für DeepSeek, gegenüber 17 bis 46 US-Dollar für GPT-6 Sol. Insbesondere bei der Nova-Reihe erledigte DeepSeek seine Arbeit für weniger als 3 US-Dollar pro Durchlauf, gegenüber etwa 22 US-Dollar bei Daybreak.

Vals stellte außerdem fest, dass DeepSeek in den ersten 25 Millionen Tokens überhaupt nichts erreichte und nach 100 Millionen den größten Fortschritt machte – ein Tempoprofil, das darauf hindeutet, dass kurze, rechenbeschränkte Auswertungen systematisch unterschätzen, was billige offene Modelle mit gegebener Zeit und Budget leisten können.

Wie es anderen Modellen erging

DeepSeek führte das Feld der offenen Gewichte nicht unangefochten an – aber niemand sonst konnte es erwischen. Kimi K3.1 Pro, Meta's Wonder und xAI's Grok 4.7 landeten im Vals-Vergleich mit sieben Modellen alle hinter DeepSeek.

Der GLM 5.3 Flash von Z.ai belegte den letzten Platz und erfüllte fünf Ziele auf jedem Schießstand. Vals nannte es „die klarste Sackgasse“ der Gruppe: Auf einem Bereich verbrachte das Modell etwa 36 Stunden – einen Großteil davon mit der Befragung eines Hintergrundjobs, der nie zurückkehrte.

Andere Bewerter bewerten das vollständige GLM-5.3-Modell bei Cyber-Aufgaben deutlich besser. Das Testunternehmen „Irregular“ stellte fest, dass es drei von 13 mehrstufigen Angriffsszenarien abschloss – das beste Ergebnis, das es jemals mit einem offen verfügbaren Modell erzielt hat – und NIST bezeichnete es als das leistungsfähigste offene Cyber-Modell, das bisher veröffentlicht wurde, und schätzt, dass es etwa vier Monate hinter führenden US-Systemen zurückbleibt. Anthropic teilte Reuters separat mit, dass GLM-5.3 bei 12 Prozent der Versuche funktionierende Exploits erstellt habe, gegenüber 14 Prozent bei Claude Mythos. Vals weist darauf hin, dass es sich hierbei um verschiedene Tests handelt, deren Ergebnisse nicht direkt mit den CyberOffense-Ergebnissen verglichen werden können.

Warum es wichtig ist

Die Ergebnisse verschärfen eine anhaltende Debatte über die Sicherheitsleitplanken für KI-Cyber-Fähigkeiten im Grenzbereich. Das Daybreak-Programm von OpenAI dient speziell dazu, leistungsstarke Cyber-Modelle hinter Identitätsprüfungen und eingeschränktem Zugriff zu schützen, basierend auf der Theorie, dass anstößige Cyber-Fähigkeiten nicht frei verbreitet werden sollten. Ein kostenloser Download, der nur wenige Punkte hinter einem eingeschränkten Modell zurückbleibt – und gleichzeitig eine Größenordnung weniger pro Vorgang kostet – verkompliziert das Bild erheblich.

Es ist auch für Verteidiger wichtig. Sicherheitsteams, die gegen KI-gestützte Angreifer vorgehen, können nicht mehr davon ausgehen, dass ernsthafte autonome Angriffsfähigkeiten Zugriff auf die eingeschränkten Modelle eines Labors oder ein großes Budget erfordern. Wie Vals‘ eigene Darstellung nahelegt, steigt die Fähigkeitsuntergrenze schneller an, als die Zugangskontrollen sie eindämmen können.

OpenAI äußerte sich in den Berichten nicht zum Vergleich. DeepSeek reagierte nicht sofort auf Anfragen nach Kommentaren.

Eine Herausforderung für die Testmethodik

Über die Schlagzeilenwerte hinaus geben die Ergebnisse Aufschluss darüber, wie KI-Cyberfähigkeiten gemessen werden. Die Designentscheidungen von Vals – lange 48-Stunden-Fenster, Budgets von einer halben Milliarde Token und Verifizierung durch versteckte Marker statt selbstberichteten Erfolgs – werden zunehmend als notwendig angesehen, um Agentensysteme fair zu bewerten. Kürzere, günstigere Testläufe hätten DeepSeek angesichts seines langsamen Starts wahrscheinlich deutlich schlechter bewertet und die Fähigkeiten verschleiert, die sich mit mehr Rechenleistung herauskristallisierten.

Das hat praktische Konsequenzen für die Politik. Zugriffsbeschränkungen wie das Daybreak-Programm von OpenAI werden an der gemessenen Leistungsfähigkeit kalibriert, und wenn Bewertungsmethoden die Leistungsfähigkeit offener Modelle systematisch unterschätzen, können die Leitplanken hinter der Realität zurückbleiben. Die CyberOffense-Bestenliste von Vals, die das Unternehmen nach eigenen Angaben weiterhin aktualisieren wird, dürfte dadurch zu einer der am meisten beobachteten Ranglisten in der KI-Sicherheitsgemeinschaft werden.

Die Botschaft der Daten ist vorerst klar: Die Kluft zwischen dem, was Labore hinter eingeschränkten Programmen schützen, und dem, was jeder herunterladen kann, schrumpft so weit, dass sie bald in Monaten statt in Generationen von Modellen gemessen werden könnte.

Bleiben Sie der KI immer einen Schritt voraus

Verfolgen Sie jede Modellveröffentlichung, jeden Benchmark-Kampf und jeden Fähigkeitssprung an einem Ort bei AI Buzz Wire.

Weitere KI-Neuigkeiten lesen →