Selon Semgrep, Open-Weight GLM 5.2 surpasse Claude dans le benchmark de cybersécurité

Un nouveau benchmark de la société de sécurité des applications Semgrep a donné un résultat inattendu : un modèle ouvert de la société chinoise Zhipu AI a surpassé Claude d'Anthropic pour détecter de véritables failles de sécurité dans les logiciels. Cette découverte alimente le débat sur la question de savoir si l’IA la plus performante est nécessairement la plus chère ou la plus restreinte.

Le puissant modèle Mythos d'Anthropic étant enfermé derrière une interdiction d'exportation américaine, les équipes de sécurité à la recherche d'une alternative accessible se tournent vers des options ouvertes comme GLM 5.2 pour la dernière couverture de l'industrie de l'IA. Le test de Semgrep, publié le 22 juin, suggère que la chasse pourrait porter ses fruits plus tôt que prévu.

Ce que Semgrep a testé

Semgrep a évalué une gamme de modèles à poids ouvert et frontière sur son benchmark interne de détection IDOR. Les IDOR (Insecure Direct Object References) sont des bogues de contrôle d'accès qui permettent à un utilisateur d'accéder aux données d'un autre utilisateur. Ils sont notoirement difficiles à détecter avec l'analyse statique traditionnelle car la faille est logique plutôt que syntaxique : le code est techniquement valide, il lui manque simplement un contrôle d'autorisation.

La société a affiné un flux de travail pour détecter ces vulnérabilités en combinant son moteur basé sur des règles avec le raisonnement de l'IA. Pour isoler les performances du modèle lui-même par rapport à l'échafaudage qui l'entoure, les chercheurs ont exécuté un ensemble de modèles populaires à poids ouvert via un harnais minimal - une configuration Pydantic simple utilisant la même invite IDOR donnée à chaque modèle, sans découverte de point final et sans navigation guidée. L'invite n'offrait qu'une stratégie de recherche de base et quelques indications sur ce à quoi ressemble un IDOR - un peu plus que "voici le code, trouvez les bogues", mais bien moins que ce que les agents de codage frontalier reçoivent lorsqu'ils s'exécutent dans le pipeline complet de Semgrep.

Les IDOR constituent un casse-tête persistant pour les équipes de sécurité des applications, car ils passent entre les mailles du filet des scanners conventionnels. Un outil basé sur des règles peut signaler une vérification d'entrée manquante, mais pour comprendre si un point de terminaison spécifique expose réellement les données d'un autre utilisateur, il faut raisonner sur la logique métier de l'application - exactement le genre de jugement contextuel pour lequel les grands modèles de langage sont de plus en plus efficaces.

GLM 5.2 prend les devants

Le modèle phare était GLM 5.2, le modèle à poids ouvert de Zhipu AI. En n'exécutant rien d'autre qu'une simple invite, il a obtenu un F1 de 39 % sur la détection IDOR, battant les 32 % de Claude Code de sept points complets. Selon Semgrep, le modèle à poids ouvert a également surpassé Claude Opus 4.8 dans cette tâche, ce qui en fait l'option non-frontière la plus puissante testée.

Les aspects économiques étaient tout aussi frappants. Au prix de GLM 5.2, l'exécution coûte environ 0,17 $ par vulnérabilité trouvée. Pour les organisations susceptibles d'analyser des milliers de points de terminaison, Semgrep a noté que le coût par bug est souvent le facteur décisif pour déterminer si une technique de détection est pratique à grande échelle.

Les autres prétendants aux poids ouverts étaient plus loin derrière. MiniMax M3 a obtenu un score de 23 % en F1 et Kimi K2.7 Code a atterri à 22 %, tous deux bien en dessous de Claude Code. Semgrep a caractérisé GLM 5.2 comme une exception claire plutôt que comme un résultat représentatif pour la catégorie de poids ouvert.

Le harnais compte toujours

Malgré la victoire en poids ouvert dans la catégorie des invites brutes, le pipeline spécialement conçu par Semgrep est resté le leader général. La configuration multimodale de l'entreprise, qui combine le raisonnement de l'IA avec une détection basée sur des règles et une énumération structurée des points de terminaison, a atteint 53 % à 61 % de F1, selon la configuration. Cette lacune souligne la question initiale des chercheurs : quelle est la part du modèle dans les performances de détection des vulnérabilités et quelle est la part de l'architecture qui l'entoure ?

La réponse semble être « les deux, mais le harnais est bien plus que ce que les gens pensent ». GLM 5.2 a prouvé qu'un modèle performant peut effectuer un travail significatif avec un support minimal, mais il ne peut toujours pas correspondre à un système conçu spécifiquement pour ce problème.

L'équipe Semgrep - qui comprenait les chercheurs Paxton-Fear, Seth Jaksik, Brenden Noblitt et Erik Buchanan - a déclaré qu'elle était "véritablement choquée" qu'un modèle à poids ouvert exécutant une simple invite ait surpassé un agent de codage de frontière sur une tâche de sécurité lourde de raisonnement.

Mythe à la maison

L'indice de référence a un poids supplémentaire dans le contexte géopolitique actuel. Le titre du billet de blog – « We Have Mythos at Home » – est une référence pointue au fait que le modèle Mythos d'Anthropic, axé sur la cybersécurité, n'est effectivement pas disponible dans une grande partie du monde. Après que l’administration Trump a interdit aux ressortissants non américains d’utiliser Mythos et son frère restreint Fable 5, les équipes de sécurité mondiales ont perdu l’accès à ce qui était largement considéré comme l’IA la plus performante pour les travaux de sécurité offensifs et défensifs.

Dans ce vide, des modèles accessibles à poids ouvert comblent le vide. Le fait que GLM 5.2 – téléchargeable gratuitement et déployable n’importe où – puisse déjà égaler ou battre les modèles propriétaires de pointe sur des tâches de sécurité spécifiques suggère que l’effet dissuasif de l’interdiction d’exportation pourrait être plus faible que prévu. Si le meilleur modèle « sans restriction » continue de s’améliorer, la valeur stratégique de la thésaurisation des capacités frontalières diminue.

Pour l’instant, le résultat est limité : un seul benchmark sur une seule classe de vulnérabilité. Mais c’est le signe que la frontière du poids ouvert se referme plus rapidement que beaucoup ne le pensaient, et que l’accessibilité – et non la capacité brute – pourrait devenir la variable déterminante dans le paysage de la sécurité de l’IA.

Cette découverte soulève également des questions inconfortables pour les laboratoires pionniers. Si un modèle disponible gratuitement peut déjà rivaliser avec des systèmes propriétaires sur les tâches de raisonnement de sécurité, le fossé concurrentiel autour des modèles fermés se rétrécit, en particulier lorsque les contrôles à l'exportation rendent ces modèles fermés inaccessibles à des pans entiers du marché mondial. Les développeurs open-weight, libérés des restrictions d'utilisation, peuvent itérer et déployer partout simultanément.

Gardez une longueur d'avance sur l'IA

L'écart entre l'IA de pointe et l'IA ouverte se réduit grâce aux dernières nouvelles sur l'IA (https://aibuzzwire.news) et à la recherche qui remodèle la sécurité, l'infrastructure et la politique.

Lire plus d'actualités sur l'IA →