Un nouveau benchmark appelé Real-SWE remet en question la manière dont l'industrie de l'IA mesure la capacité de codage, et les premiers résultats sont une leçon d'humilité pour les laboratoires pionniers. Fable 5.1 d'Anthropic, fonctionnant à l'intérieur du harnais Claude Code, est en tête du classement avec un taux de résolution de 38,8 % sur les tâches tirées de bases de code d'entreprise privées et réelles. Aucun modèle testé n’atteint 40 pour cent.

Le benchmark, publié ce mois-ci par Specific Labs, évalue les modèles d'IA frontaliers sur des bases de code de production privée que l'équipe a sous licence auprès de véritables entreprises. Ses créateurs soutiennent que les tâches générées par des experts ou synthétiques, aussi bien conçues soient-elles, ne constituent pas le travail textuel que font réellement les ingénieurs de véritables entreprises. Pour plus de contexte sur cette histoire, consultez notre actualités IA.

Pourquoi les bases de code privées changent la donne

Real-SWE se distingue des benchmarks établis comme SWE-bench sur deux axes, selon ses auteurs : l'artefact de codage sous-jacent et la spécificité de l'instruction. Chaque tâche provient d'un système propriétaire dont le code et les solutions ne sont pas disponibles sur l'Internet public, ce qui signifie que les agents ne peuvent pas s'appuyer sur des réponses mémorisées extraites de référentiels publics.

Les tâches comportent également des conséquences commerciales. Les exemples de tâches de l'analyse comparative incluent la facturation correcte, le calcul des taxes et la migration des clients – des changements qui affectent le fonctionnement d'une entreprise, souvent sur plusieurs services. Chaque entreprise a ses propres conventions et façons d'écrire du code, et les agents doivent comprendre ces normes et apporter des modifications qui fonctionnent avec ce qui existe déjà.

« Un agent de codage peut-il réellement faire le travail d'un ingénieur logiciel dans le monde réel ? » demande l'introduction de l'indice de référence. Le classement suggère que la réponse, pour l’instant, est : seulement environ un tiers du temps, au mieux.

Le classement complet

Des laboratoires spécifiques ont évalué huit combinaisons de modèles et de harnais de pointe, mesurant le taux de résolution comme pass@1 en moyenne sur huit exécutions indépendantes par tâche, avec des intervalles de confiance de 95 % :

1. Fable 5.1 (Claude Code) — 38,8 %
2. GPT-6 Astra (Codex CLI) — 33,8 %
3. Gemini 3.8 Flash (Gemini CLI) — 31,2 %
4. GLM 5.3 (Code Claude) — 28,8 %
5. (égalité) Grok 4.6 (Grok Build) — 23,8 %
5. (égalité) Muse Spark 1.3 (Muse Code) — 23,8 %
7. Kimi K3 (Code Kimi) — 18,8 %
8. GPT-5.6 Sol (Codex CLI) — 16,2 %

Les résultats ont été largement discutés sur Hacker News au cours du week-end, où le benchmark a suscité plusieurs centaines de votes positifs et un débat animé sur la question de savoir si l'évaluation de la base de code privée est le bon critère pour la progression des agents.

Une répartition étroite mais significative au sommet

L’écart entre les quatre principaux systèmes est remarquable par ce qu’il révèle du paysage concurrentiel actuel. L'avance de cinq points de Fable 5.1 sur le GPT-6 Astra d'OpenAI est significative sur un benchmark où chaque tâche est un véritable problème de production. Gemini 3.8 Flash occupe la troisième place, ce qui est frappant, car le modèle se positionne comme un outil de travail rapide et peu coûteux plutôt que comme un système de raisonnement phare. Le GLM 5.3 de Z.ai, évalué par Claude Code, se classant à cinq points du leader souligne à quel point les modèles à poids ouvert sont devenus compétitifs dans les travaux d'ingénierie pratiques.

L’écart en bas est tout aussi révélateur. GPT-5.6 Sol, une version antérieure d'OpenAI, résout moins de deux fois moins de tâches que Fable 5.1 – un rappel de la rapidité avec laquelle la frontière a évolué et de l'ampleur de la baisse qui peut être d'une seule génération de modèle en arrière.

Les harnais comptent autant que les modèles

L'un des choix méthodologiques du benchmark attire l'attention : plutôt que d'évaluer les modèles de manière isolée, Real-SWE utilise des harnais natifs (Claude Code, Codex CLI, Gemini CLI, Grok Build) pour refléter la manière dont les ingénieurs d'entreprise travaillent réellement dans la pratique. Le classement classe explicitement les combinaisons modèle-faisceau, reconnaissant que l'échafaudage, l'accès aux outils et les boucles d'itération sont désormais indissociables de la capacité du modèle dans les déploiements réels.

Ce cadre est important pour les entreprises qui choisissent des systèmes. Le même modèle peut fonctionner très différemment en fonction du faisceau d'agents qui l'entoure, et les acheteurs évaluant les assistants de codage sur des numéros de référence publics peuvent avoir une image déformée de la façon dont ces systèmes se comporteront sur leurs propres bases de code.

Ce que cela signifie pour l'industrie

Les benchmarks ont été accusés à plusieurs reprises de saturation, les modèles frontières affichant des scores presque parfaits aux tests publics qui s'infiltrent dans les données de formation. La conception de Real-SWE tente de résoudre ces deux problèmes à la fois : le code est privé et sous licence, les tâches sont de véritables produits de travail d'équipes d'ingénierie en activité, et les instructions reflètent la spécificité désordonnée de vrais tickets plutôt que des énoncés de problèmes raffinés.

Ce qui donne à réfléchir, c’est le niveau absolu. Même le meilleur système résout moins de quatre tâches d'entreprise réelles sur dix dès la première tentative, en moyenne sur huit exécutions. Malgré tous les progrès réalisés dans le codage agent, le benchmark suggère que l’ingénierie logicielle autonome sur des systèmes de production réels reste une activité supervisée – une activité dans laquelle les ingénieurs humains examinent, redirigent et réparent bien plus souvent que ne le suggèrent les démonstrations des fournisseurs.

Pour les entreprises choisissant parmi les assistants de codage, le benchmark propose une liste de contrôle pratique : préférez les systèmes évalués sur du code privé, insistez sur les intervalles de confiance plutôt que sur les chiffres globaux à exécution unique, et accordez autant d'importance à la qualité de l'exploitation qu'à la capacité du modèle brut. Le premier classement de Real-SWE ne sera pas le dernier mot, mais c'est la réponse la plus directe à ce jour à la question que se pose tout responsable de l'ingénierie sur le codage agent.

Pour en savoir plus sur les agents de codage, les versions de modèles et les recherches qui les façonnent, suivez les dernières actualités en matière d'IA à mesure que la prochaine série de résultats de référence arrive.

---

Restez à la Pointe de l'IA

Les dernières actualités, analyses et percées en IA — au même endroit.

Lire plus d'actualités IA →