Anthropic améliore les capacités de ses modèles d'IA environ deux fois plus vite qu'il y a un an, et une grande partie de cette accélération semble provenir des systèmes d'IA aidant à construire leurs propres successeurs, selon une analyse indépendante publiée jeudi par le groupe d'évaluation à but non lucratif METR.
Les résultats, rapportés par l'Associated Press, ont un poids inhabituel car ils reposent sur ce que METR a décrit comme un « accès sans précédent » aux données internes d'Anthropic. Les chercheurs du groupe basé à Berkeley, en Californie – dont le nom complet est Model Evaluation and Threat Research – ont été invités au sein de l’entreprise pendant environ 11 semaines, de mi-août à fin octobre, où ils ont analysé les données de recherche internes et interrogé le personnel.
Pour les lecteurs qui suivent le débat sur la sécurité autour des laboratoires frontaliers, consultez notre couverture dernières nouvelles sur l'IA.
La principale conclusion : les progrès s'accumulent
L'estimation centrale de METR est qu'Anthropic améliore les performances de ses modèles sur des tâches bien spécifiées environ deux fois plus vite qu'un an plus tôt. Le rapport le dit clairement : « Anthropic semble avoir fait autant de progrès sur les critères de référence au cours de l’année écoulée qu’entre octobre 2023 et octobre 2025. »
Ce qui, selon METR, est à l'origine de l'accélération est plus conséquent. Les chercheurs ont déclaré qu'ils étaient en mesure d'exclure "en toute confiance" la croissance de la puissance de calcul comme cause - traditionnellement la variable la plus étroitement liée aux performances du modèle. Leur conclusion : l’amélioration réside en grande partie dans l’utilisation de l’IA elle-même pour effectuer des recherches sur l’IA.
Anthropic a reconnu que son chatbot Claude aide de plus en plus l'entreprise à développer des versions plus récentes et plus avancées d'elle-même. Le rapport du METR n'a trouvé aucun « goulot d'étranglement » – tel que des restrictions sur le calcul ou les données – qui freine ce processus, et a noté que même si l'IA n'apporte pas encore de « contributions très significatives et totalement autonomes » aux parties les plus importantes de la formation des modèles, les chercheurs d'Anthropic ont décrit des « signes de vie » significatifs, ce qui implique que cela pourrait bientôt changer.
Les résultats ont débouché sur un débat en pleine période de ralentissement
Le moment est délicat pour une entreprise dont le directeur général fait pression en faveur de la retenue. C'est pendant la période d'évaluation du METR que le PDG d'Anthropic, Dario Amodei, a publié le 12 septembre un essai exhortant l'industrie de l'IA à « ralentir le rythme auquel nous améliorons les capacités des modèles d'IA » afin que les mesures de sécurité puissent rattraper leur retard.
METR a également examiné à la fois le rapport public sur les risques Anthropic publié en août et une version privée, et a conclu que le document public « sous-estime globalement le niveau d'accélération qui se produisait ».
Réponse d'Anthropic : accord partiel, rédactions lourdes
Sam McCandlish, co-fondateur d'Anthropic et architecte en chef de l'entreprise, a répondu jeudi au rapport dans un long article sur X, écrivant que bon nombre des conclusions de METR correspondent à son propre point de vue.
"L'IA accélère nos recherches, mais il est difficile de dire dans quelle mesure exactement", écrit-il, ajoutant qu'Anthropic prévoit de publier sa propre analyse du rythme des progrès de l'IA au sein de l'entreprise dans les semaines à venir.
McCandlish a également défendu la décision de la société de supprimer de grandes parties du rapport, ce qui limitait la précision avec laquelle METR pouvait communiquer ses estimations d'accélération. Il a déclaré que partager « exactement ce qui motive l’accélération n’est pas la bonne chose à faire », parce que les informations sont à la fois commercialement sensibles et « risquent de donner une feuille de route pour que d’autres aillent plus vite » – ce qui, a-t-il soutenu, aggraverait les risques mêmes qui inquiètent METR. "C'est un compromis", a-t-il écrit.
Mises en garde importantes
Le rapport était, selon la propre description du METR, parsemé de mises en garde. Le groupe a déclaré que sa principale conclusion pourrait exagérer : l’accélération mesurée pourrait s’appliquer uniquement à des tâches bien spécifiées qui peuvent être notées automatiquement, plutôt qu’au travail plus complexe et ouvert qui définit la recherche de pointe. Alternativement, Anthropic a peut-être simplement sous-estimé sa ligne de base antérieure, donnant ainsi l’impression que le dernier saut est plus grand qu’il ne l’est.
La position de METR mérite également d'être notée pour des raisons de transparence : l'organisation à but non lucratif est financée par des dons, n'accepte pas de compensation pour ses évaluations et mène des évaluations de capacités pour Anthropic, OpenAI et d'autres laboratoires depuis des années – bien que les sociétés partenaires fournissent un accès aux modèles et les jetons nécessaires pour mener à bien ses recherches.
Pourquoi c'est important maintenant
L’analyse arrive des semaines avant qu’Anthropic ne s’attende à entrer en bourse dans ce qui pourrait être la plus grande introduction en bourse de l’histoire, avec un débat tourbillonnant sur la question de savoir si des modèles d’IA de plus en plus performants pourraient échapper au contrôle humain. Les défenseurs de la sécurité soutiennent depuis longtemps qu’une vérification indépendante – et non une auto-déclaration en laboratoire – est la seule mesure fiable de la vitesse à laquelle la frontière évolue, d’autant plus que l’administration Trump a encouragé les entreprises à se contrôler elles-mêmes.
Le METR a signalé une dernière préoccupation : si la recherche sur l’IA assistée par l’IA commence à se développer, l’accélération elle-même pourrait s’accélérer, les risques liés aux modèles avancés augmentant à un rythme que les observateurs extérieurs ne peuvent pas facilement suivre. Le rapport du groupe suggère que pour un laboratoire leader au moins, la boucle de rétroaction qui inquiète le domaine n'est plus hypothétique : elle apparaît dans les données de référence.
La question à laquelle les régulateurs, les investisseurs et les dirigeants de l'entreprise seront désormais attentifs sera la rapidité avec laquelle le reste du secteur suivra.
---
Gardez une longueur d'avance sur l'IARecevez les dernières actualités, analyses et avancées en matière d'IA, le tout en un seul endroit.
Lire plus d'actualités sur l'IA →
