Les modèles d'IA à poids ouvert se rapprochent de leurs rivaux à frontière fermée dans le travail comptable du monde réel, selon les derniers résultats de l'Accounting AI Benchmark géré par la société comptable AI DualEntry - avec Gemini 4 Argon de Google en tête dans l'ensemble et les modèles ouverts chinois affichant une précision presque identique pour une petite fraction du prix.
Le benchmark, couvert par Yahoo Finance sous le titre selon lequel les modèles d'IA open source « rattrapent » les modèles fermés en matière de travail comptable, teste les principaux modèles sur 101 tâches dans huit domaines de la comptabilité, de la classification des transactions et des écritures de journal au rapprochement, aux rapports financiers et à la clôture de fin de mois. Chaque modèle fonctionne à partir des mêmes livres de société, reçoit les mêmes instructions et a accès aux mêmes outils comptables, chaque modèle étant exécuté trois fois pour mesurer la cohérence. Pour plus de contexte sur cette histoire, consultez notre plus d'articles sur l'IA.
Gemini 4 Argon est en tête, mais l'écart est mince
Gemini 4 Argon est en tête du classement avec une précision de 91,1 %, accomplissant des tâches en 18 secondes en moyenne pour un coût de 0,115 $ par tâche, avec le meilleur score de cohérence de tous les modèles à 86,1 %.
Mais le pack de chasse est proche – et remarquablement bon marché. Le Flash GLM-5.3 à poids ouvert de Z.ai a obtenu un score de 88,1 %, à égalité avec le Grok 4.7 de xAI, tout en ne coûtant que 0,006 $ par tâche, soit environ 5 % de ce que dépense le modèle phare de Google. Kimi K3.1 Pro, un autre modèle ouvert de Moonshot AI, a suivi avec 86,1 %, plaçant deux modèles ouverts parmi les quatre plus performants.
Claude Fable 5.1 d'Anthropic a affiché 85,1 % à 1,18 $ par tâche – le modèle testé le plus cher – tandis que Claude Opus 5.5 a obtenu 82,2 % à 0,452 $. Le GPT-6 Astra d'OpenAI a atteint 81,2 % à 0,494 $ par tâche.
L'histoire des coûts est le vrai titre
Le chiffre le plus frappant dans les résultats est peut-être celui de DeepSeek. DeepSeek V4.1 Flash a obtenu un score de 84,2 % à 0,003 $ par tâche, selon les principaux points à retenir de DualEntry, contre Claude Fable 5.1 à 85,1 % et 1,18 $ par tâche. Cela représente environ 400 fois le coût d’un score supérieur de moins d’un point.
Le coût par tâche variait énormément, même parmi les modèles ayant une précision similaire, notent les auteurs de l'étude de référence, ce qui suggère que les entreprises automatisant les flux de travail de comptabilité pourraient réduire les factures d'inférence d'un ordre de grandeur simplement en choisissant le bon modèle pour la tâche.
Là où les modèles ont encore du mal
La comptabilité n’est un problème résolu pour aucun laboratoire frontalier. Les performances variaient fortement selon le domaine de tâche : les modèles affichaient une moyenne de 93,5 % sur la classification des transactions, mais seulement 64,7 % sur les deux domaines les plus difficiles, les comptes clients et la clôture de fin de mois. L'écart le plus large est apparu dans les comptes clients, où les scores variaient entre 41,7 % et 91,7 %.
Aucun modèle n’a dominé. Kimi K3.1 Pro a battu Gemini 4 Argon sur le rapprochement bancaire, avec un score parfait de 100 % contre 75 % pour Google, tandis que Kimi K3 a mené la clôture de fin de mois à 91,7 %. Gemini 3.8 Flash était le seul modèle à afficher un score parfait sur les entrées de journal. Chaque modèle testé a répondu aux questions à choix multiples sur les connaissances en comptabilité, obtenant un score de 100 %.
La cohérence s'écartait également de la précision brute : Grok 4.7 était à égalité au deuxième rang avec une précision de 88,1 %, mais a terminé les trois exécutions avec succès sur seulement 74,3 % des tâches, tandis que Claude Fable 5.1 était plus cohérent avec 80,2 % malgré un score de précision inférieur.
Une confession d'intérêt — et un signal pour l'IA d'entreprise
DualEntry, qui construit un logiciel de comptabilité natif d'IA, publie le benchmark pour présenter le paysage du modèle pour son propre domaine, de sorte que les entreprises devraient le traiter comme un point de données unique plutôt que comme une cour d'appel finale neutre. Sa méthodologie est pour le moins transparente : livres identiques, outils identiques, instructions identiques, trois runs par modèle, avec résultats, coûts et durées publiés par tâche.
Pourtant, la tendance fait écho à ce que des évaluations indépendantes ont montré dans d'autres domaines : le niveau de poids ouvert – dirigé par la famille GLM de Z.ai, les modèles Kimi de Moonshot et DeepSeek – se situe désormais à quelques points de pourcentage de la frontière fermée du travail professionnel structuré, à des coûts qui rendent le déploiement en volume trivial. Pour les cabinets comptables et les équipes financières évaluant les agents IA, le label frontière ne vaut peut-être plus la peine.
Les détails derrière le classement
La répartition par tâche montre à quel point les modèles échouent différemment. GLM-5.3 Flash correspond à Gemini 4 Argon en termes de reporting financier à 100 % et a obtenu un score de 92,3 % sur la classification des transactions et les écritures de journal, mais est tombé à 75 % sur le rapprochement bancaire et les comptes clients. Gemini 4 Argon, en revanche, a affiché des scores parfaits en matière de classification des transactions et de reporting financier et a mené les comptes clients à 91,7 % – mais n'a réussi que 75 % en matière de rapprochement bancaire, la tâche que Kimi K3.1 Pro a accomplie.
Cette incohérence entre les types de tâches est importante pour les praticiens. Une équipe financière qui automatise le traitement des factures est confrontée à un choix de modèle très différent de celui d'une équipe qui automatise la clôture de fin de mois, et les données de référence au niveau régional suggèrent que le « meilleur » modèle dépend des écritures comptables qui dominent la charge de travail.
Pourquoi la comptabilité est un banc d'essai utile
La comptabilité est devenue un terrain d’essai privilégié pour l’IA agentique car elle est structurée, vérifiable et impitoyable : une écriture de journal est équilibrée ou non. Contrairement aux arènes de chatbot qui récompensent la prose fluide, les benchmarks basés sur les tâches dans ce domaine mesurent si un modèle peut suivre des instructions en plusieurs étapes, utiliser correctement des outils externes et éviter de fabriquer des chiffres – les mêmes capacités dont les entreprises ont besoin pour l'automatisation du back-office en général.
La page décrit ses résultats comme un « cycle en cours », avec tous les modèles évalués sous la même version de référence, et le cycle comprend déjà vingt modèles couvrant des laboratoires américains et chinois. Si la courbe des coûts dans ce cycle se maintient – précision à la frontière des prix des matières premières – l’écart pratique entre les modèles ouverts et fermés sur le travail des connaissances professionnelles pourrait bientôt être mesuré en dollars plutôt qu’en points.
---
Restez à la Pointe de l'IALes dernières actualités, analyses et percées en IA — au même endroit.
Lire plus d'actualités IA →
