Un modèle chinois ouvert que tout le monde peut télécharger a presque égalé le cyber-modèle d'OpenAI le plus capable de pénétrer dans les réseaux d'entreprise simulés, selon de nouveaux résultats de référence de la société d'évaluation Vals rapportés par WIRED.

Lors des tests CyberOffense de Vals, le GPT-6 Sol d'OpenAI – que la société propose uniquement via son cyberprogramme Daybreak à accès restreint – a atteint environ 81 % des objectifs. DeepSeek V4.1 Flash, une version gratuite à pondération ouverte, a atteint environ 73 % des mêmes objectifs, fonctionnant comme un agent entièrement autonome. D'autres trackers placent le chiffre d'affaires de DeepSeek à 72,8 pour cent.

"Les cybercapacités qui étaient limitées à l'IA à accès sécurisé sont désormais accessibles à tous", écrit Vals dans ses résultats. Le chercheur de Vals, Nikil Ravi, a déclaré à WIRED que les meilleurs modèles enfermés dans les laboratoires d'IA « commencent à être comparés à des modèles ouverts que tout le monde peut télécharger ».

Comment Vals a effectué le test

Le benchmark CyberOffense de Vals utilise deux cyber-gammes simulées. Le premier, appelé Nova, est un réseau Windows à 21 objectifs couvrant plusieurs domaines Active Directory. Le second, Lighthouse, contient 31 objectifs répartis dans deux sociétés, dans lesquels l'agent doit d'abord prendre le contrôle d'un réseau, puis utiliser les informations d'identification et les informations qui s'y trouvent pour pénétrer dans le second - un scénario qui reflète les intrusions à plusieurs étapes du monde réel.

Chaque modèle fonctionnait avec l'agent Pi open source sur une machine Kali Linux isolée, avec un délai de 48 heures et un budget de 500 millions de jetons. Il est important de noter que Vals n'a crédité un objectif que lorsque des marqueurs cachés sont apparus dans le résultat de la commande – jamais sur la base du modèle lui-même affirmant qu'il avait réussi.

Les chiffres et l'écart de coût

DeepSeek a atteint en moyenne 16,3 des 21 objectifs de Nova, devançant en fait les 15,7 de Daybreak sur le premier réseau. Daybreak a pris de l'avance sur la gamme Lighthouse, plus difficile, complétant 27 des 31 objectifs contre 21 pour DeepSeek.

La différence la plus frappante était le coût. WIRED estime le prix d'une attaque complète entre 2 et 3 dollars pour DeepSeek, contre 17 à 46 dollars pour GPT-6 Sol. Sur la gamme Nova en particulier, DeepSeek a réalisé son travail pour moins de 3 $ par exécution contre environ 22 $ pour Daybreak.

Vals a également observé que DeepSeek n'a rien réalisé du tout au cours de ses 25 premiers millions de jetons et a réalisé l'essentiel de ses progrès après 100 millions – un profil de rythme qui suggère que des évaluations courtes et limitées en calcul sous-estiment systématiquement ce que les modèles ouverts bon marché peuvent faire compte tenu du temps et du budget.

Comment les autres modèles se sont comportés

DeepSeek n’a pas dominé le peloton des poids ouverts sans contestation – mais personne d’autre ne l’a rattrapé. Kimi K3.1 Pro, Meta's Wonder et Grok 4.7 de xAI ont tous terminé derrière DeepSeek dans la comparaison des sept modèles de Vals.

Le Flash GLM 5.3 de Z.ai est arrivé dernier, remplissant cinq objectifs sur chaque plage. Vals l'a qualifié de "l'impasse la plus claire" du groupe : sur une plage, le modèle a passé environ 36 heures, dont une grande partie à interroger un travail d'arrière-plan qui n'est jamais revenu.

D'autres évaluateurs accordent une note considérablement plus élevée au modèle GLM-5.3 complet pour les cybertâches. La société de test Irregular a constaté qu’elle avait réalisé 3 des 13 scénarios d’attaque à plusieurs étapes – le meilleur résultat qu’elle ait enregistré à partir d’un modèle ouvertement disponible – et le NIST l’a qualifié de cyber-modèle ouvert le plus performant publié à ce jour, estimant qu’il se situe à environ quatre mois de retard sur les principaux systèmes américains. Anthropic a déclaré séparément à Reuters que GLM-5.3 avait créé des exploits fonctionnels dans 12 % des tentatives, contre 14 % pour son Claude Mythos. Vals note qu'il s'agit de tests différents dont les scores ne peuvent pas être comparés directement aux résultats de CyberOffense.

Pourquoi c'est important

Les résultats aiguisent un débat en cours sur les garde-fous de sécurité entourant les cybercapacités de l’IA à la frontière. Le programme Daybreak d'OpenAI existe spécifiquement pour maintenir les modèles cybernétiques à haute capacité derrière des contrôles d'identité et un accès restreint, sur la base de la théorie selon laquelle les cybercapacités offensives ne devraient pas être distribuées librement. Un téléchargement gratuit qui traîne de quelques points seulement par rapport à un modèle restreint – tout en coûtant un ordre de grandeur inférieur par opération – complique considérablement la situation.

Cela compte également pour les défenseurs. Les équipes de sécurité qui planifient contre les attaquants assistés par l'IA ne peuvent plus supposer qu'une capacité offensive autonome sérieuse nécessite l'accès aux modèles restreints d'un laboratoire ou un budget important. Comme le suggère le propre cadrage de Vals, le seuil de capacité augmente plus rapidement que les contrôles d'accès ne peuvent le contenir.

OpenAI n'a pas commenté la comparaison dans les rapports. DeepSeek n'a pas immédiatement répondu aux demandes de commentaires.

Un défi de méthodologie de test

Au-delà des scores principaux, les résultats sont porteurs d’une leçon sur la manière dont les cybercapacités de l’IA sont mesurées. Les choix de conception de Vals – longues fenêtres de 48 heures, budgets d'un demi-milliard de jetons et vérification par des marqueurs cachés plutôt que par le succès autodéclaré – sont de plus en plus considérés comme nécessaires pour évaluer équitablement les systèmes agentiques. Des tests plus courts et moins chers auraient probablement obtenu un score DeepSeek bien inférieur étant donné son démarrage lent, masquant les capacités apparues avec plus de calcul.

Cela a des conséquences pratiques sur le plan politique. Les restrictions d'accès comme le programme Daybreak d'OpenAI sont calibrées sur les capacités mesurées, et si les méthodes d'évaluation sous-estiment systématiquement ce que les modèles ouverts peuvent faire, les garde-fous peuvent être en retard par rapport à la réalité. Le classement CyberOffense de Vals, que la société affirme continuer à mettre à jour, deviendra probablement l'un des tableaux de bord les plus surveillés dans la communauté de la sécurité de l'IA.

Pour l’instant, le message des données est direct : l’écart entre ce que les laboratoires gardent derrière les programmes restreints et ce que tout le monde peut télécharger se rétrécit au point qu’il pourrait bientôt être mesuré en mois plutôt qu’en générations de modèles.

Gardez une longueur d'avance sur l'IA

Suivez chaque sortie de modèle, chaque combat de référence et chaque saut de capacité en un seul endroit sur AI Buzz Wire.

Lire plus d'actualités sur l'IA →