Une nouvelle référence remet en question la manière dont l’industrie de l’IA mesure la capacité scientifique, et ses premiers résultats sont une leçon d’humilité pour les laboratoires pionniers. Terminal-Bench-Science 0.1, lancé cette semaine par des chercheurs de l'Université de Stanford et l'équipe derrière le populaire benchmark de codage Terminal-Bench, évalue les agents d'IA sur de véritables flux de travail de recherche scientifique fournis par des scientifiques en activité - et le modèle le plus puissant testé, Claude Opus 5 exécuté via Claude Code, n'a réalisé que 30 % des tâches.

La page d'annonce du benchmark décrit sans détour son principe directeur : les scientifiques, et non les développeurs de modèles ou les fournisseurs de données, devraient fixer la barre en matière de capacité scientifique en matière d'IA. Le projet a été construit en collaboration avec des experts du domaine provenant d'institutions de recherche du monde entier et sa première version comprend 70 tâches couvrant les sciences de la vie, la physique, les sciences de la Terre, les mathématiques et l'ingénierie.

En quoi cela diffère des références des manuels scolaires

La plupart des évaluations scientifiques de l’IA testent les connaissances : questions à choix multiples, problèmes de manuels, exercices standardisés. Terminal-Bench-Science mesure plutôt si les agents peuvent exécuter les flux de travail techniquement exigeants et chronophages qui remplissent les journées des chercheurs réels – le genre de travail qui n'apparaît dans aucun examen. Les tâches s'exécutent dans des environnements réalistes et la notation est basée sur des artefacts concrets : analyses, simulations, preuves, codes et produits de données, vérifiés avec des tests reproductibles spécifiques à la tâche plutôt que des modèles de jugement ou des scores à choix multiples.

Cette conception reflète une théorie sur ce que les assistants IA devraient éventuellement faire pour la science. Plutôt que de remplacer le jugement scientifique, soutiennent les auteurs de l'étude de référence, les agents devraient prendre en charge la couche d'exécution - exécuter les expériences in silico, traiter les données, vérifier les preuves - afin de libérer les scientifiques pour les parties de la recherche où le jugement humain compte le plus : définir les questions, former des hypothèses, interpréter les résultats et communiquer les résultats.

Le projet est également explicitement construit comme une cible mouvante. Alors que de nombreux benchmarks sont publiés une seule fois et abandonnés – l'annonce appelle cela le problème des « articles à publier » – Terminal-Bench-Science est conçu comme un benchmark continu qui évolue le long de la frontière, avec des versions régulières destinées à garder l'évaluation en avance sur les progrès du modèle et à empêcher l'inflation des scores due à la contamination.

Le premier classement : loin d'être fiable

Le classement v0.1, qui a attiré beaucoup d'attention lorsqu'il est parvenu à Hacker News cette semaine, montre une forte baisse par rapport au sommet :

  • Claude Opus 5 (Claude Code) : 30,0%
  • GPT-5.6 Sol (Codex) : 22,4%
  • Claude Fable 5 (Claude Code) : 21,4%
  • Claude Opus 4.8 (Claude Code) : 10,5%
  • GPT-5.6 Terra (Codex) : 8,6%
  • GLM 5.3 (Code Claude) : 8,1%
  • Kimi K3 (Claude Code) : 7,1%
  • Grok 4.6 (Grok Build) : 7,1 %
  • GPT-5.6 Lune (Codex) : 3,3%

Les résultats suggèrent que les flux de travail scientifiques restent beaucoup plus difficiles pour les agents que le génie logiciel, où les tests de codage originaux de Terminal-Bench et concurrents ont vu les scores grimper rapidement. Un taux de résolution de 30 % pour le meilleur système disponible signifie que sur sept tâches de recherche réelles sur dix, même un agent de haut niveau associé à un harnais puissant ne parvient pas à produire un travail correct et vérifiable.

La répartition au sein des familles modèles est également instructive. L'écart entre Claude Opus 5 et Claude Opus 4.8 — près de vingt points — et entre les variantes GPT-5.6 Sol, Terra et Luna montre à quel point la qualité des résultats dépend de l'interaction du modèle et de l'exploitation des agents, et non de la seule intelligence brute du modèle. Chaque entrée avec un score élevé utilise un faisceau de codage agent (Claude Code, Codex, Grok Build), renforçant le consensus émergent selon lequel l'échafaudage est aussi décisif que les pondérations sous-jacentes.

Pourquoi les scientifiques ont construit leur propre référence

Le cadre de référence comporte un argument institutionnel subtil. "Les enjeux scientifiques sont trop élevés", indique le communiqué, "et ses critères doivent refléter les priorités de la communauté scientifique plutôt que des intérêts extérieurs". Le projet donne aux chercheurs en activité un mécanisme direct pour coder les tâches dont ils ont réellement besoin d'être automatisés - et pour comparer les affirmations des fournisseurs selon lesquelles "l'accélération de la découverte scientifique" est conforme à une norme vérifiable.

C’est important car l’écart entre le marketing et la réalité a de réelles conséquences. Si les laboratoires pionniers prétendent que leurs agents peuvent accélérer la recherche alors que des évaluations indépendantes conçues par des experts montrent des taux de résolution allant de 10 % à 30 %, les décisions de financement, les plans d'embauche et les politiques de laboratoire fondées sur ces affirmations héritent de l'erreur. Les benchmarks continus et communautaires constituent un correctif : ils convertissent des affirmations vagues en chiffres reproductibles.

Un signal pour les instituts de recherche

Pour les universités, les laboratoires nationaux et les équipes de R&D qui réfléchissent au moment de déployer des agents, le benchmark offre quelque chose que les démonstrations des fournisseurs ne peuvent pas offrir : une mesure maintenue par la communauté de la position réelle de la fiabilité. Un taux de résolution de l’ordre de l’adolescence ou de la vingtaine signifie qu’il est préférable de traiter ces systèmes aujourd’hui comme des assistants nécessitant une révision, et non comme des exécutants autonomes de pipelines expérimentaux. Les catégories de tâches – couvrant les sciences de la vie, les sciences physiques, de la Terre, les mathématiques et l’ingénierie – fournissent également aux spécialistes du domaine un modèle pour contribuer aux flux de travail dans des domaines que les références génériques négligent systématiquement.

Le contexte plus large du secteur renforce l’importance du timing. La science est devenue l’un des cas d’utilisation de l’IA de pointe les plus fortement promus, les laboratoires vantant leurs contributions à la découverte des matériaux, à la science des protéines et aux mathématiques. Ces affirmations sont difficiles à vérifier : la production scientifique est lente à valider et l’enthousiasme va plus vite que la réplication. Un benchmark qui évalue les artefacts vérifiables sur des flux de travail réels donne aux institutions de recherche un moyen de séparer les capacités démontrées du théâtre de démonstration - et de suivre, version par version, si les progrès agents en science s'accumulent aussi rapidement qu'en génie logiciel, où Terminal-Bench s'est fait un nom pour la première fois.

Pour l’industrie de l’IA, le message de la v0.1 est à double tranchant. La frontière avance clairement – ​​les 30 % de l'Opus 5 dépassent les 10,5 % de l'ancien Opus 4.8 – mais le plafond reste loin de la fiabilité exigée par les vrais laboratoires. Les concepteurs du benchmark affirment que les versions régulières suivront exactement la rapidité avec laquelle cet écart se comblera. Les scientifiques qui observent les tendances émergentes de l'IA dans les outils de recherche agentique disposent désormais d'un critère qu'ils ont eux-mêmes construit.

---

Gardez une longueur d'avance sur l'IA

Recevez les dernières actualités, analyses et avancées en matière d'IA, le tout en un seul endroit.

Lire plus d'actualités sur l'IA →