Modelele open-weight AI se apropie de rivalii lor de frontieră închisă în activitatea de contabilitate din lumea reală, conform celor mai recente rezultate ale Accounting AI Benchmark condus de compania de contabilitate AI DualEntry – cu Gemini 4 Argon de la Google, lider în ansamblu, iar modelele deschise chinezești postând o precizie aproape identică pentru o mică parte din preț.
Valoarea de referință, acoperită de Yahoo Finance sub titlul că modelele open-source AI „previn din urmă” cu cele închise în activitatea de contabilitate, testează modele de conducere pe 101 sarcini în opt domenii ale contabilității, de la clasificarea tranzacțiilor și înregistrările din jurnal până la reconciliere, raportare financiară și închiderea la sfârșitul lunii. Fiecare model funcționează din aceleași registre ale companiei, primește aceleași instrucțiuni și are acces la aceleași instrumente de contabilitate, fiecare model rulat de trei ori pentru a măsura coerența. For more context on this story, see our ongoing breaking AI news.
Gemini 4 Argon conduce, dar decalajul este subțire
Gemini 4 Argon se află în fruntea clasamentului cu o precizie de 91,1%, completând sarcini în medie în 18 secunde la un cost de 0,115 USD per sarcină, cu cel mai bun scor de consistență al oricărui model la 86,1%.
Dar pachetul de urmărire este aproape - și remarcabil de ieftin. Flash-ul deschis GLM-5.3 de la Z.ai a obținut un scor de 88,1%, la egalitate cu Grok 4.7 de la xAI, în timp ce costă doar 0,006 USD per sarcină, aproximativ 5% din ceea ce cheltuiește modelul emblematic al Google. Kimi K3.1 Pro, un alt model deschis de la Moonshot AI, a urmat cu 86,1%, plasând două modele deschise printre primii patru performeri.
Claude Fable 5.1 de la Anthropic a înregistrat 85,1% la 1,18 USD per sarcină - cel mai scump model testat - în timp ce Claude Opus 5.5 a obținut 82,2% la 0,452 USD. GPT-6 Astra de la OpenAI a ajuns la 81,2% la 0,494 USD per sarcină.
Povestea costurilor este adevăratul titlu
Cel mai grav număr din rezultate poate fi cel al lui DeepSeek. DeepSeek V4.1 Flash a obținut un scor de 84,2% la 0,003 USD per sarcină, conform principalelor concluzii ale DualEntry - în comparație cu Claude Fable 5.1 la 85,1% și 1,18 USD per sarcină. Adică de aproximativ 400 de ori costul pentru un scor mai mare cu un punct.
Costul pe sarcină a variat enorm chiar și între modele cu acuratețe similară, notează autorii benchmark-ului, sugerând că întreprinderile care automatizează fluxurile de lucru de contabilitate ar putea reduce facturile de inferență cu un ordin de mărime pur și simplu alegând modelul potrivit pentru sarcină.
Unde modelele încă se luptă
Contabilitatea nu este o problemă rezolvată pentru niciun laborator de frontieră. Performanța a variat considerabil în funcție de domeniul de activitate: modelele au avut o medie de 93,5% în clasificarea tranzacțiilor, dar doar 64,7% în cele două domenii cele mai dificile, conturi de încasat și închiderea la sfârșitul lunii. Cea mai mare răspândire a apărut în conturile de încasat, unde scorurile au variat de la 41,7% la 91,7%.
Niciun model nu a dominat. Kimi K3.1 Pro a învins Gemini 4 Argon la reconcilierea bancară, obținând un punctaj perfect de 100% față de 75% de la Google, în timp ce Kimi K3 a condus închiderea de sfârșit de lună la 91,7%. Gemini 3.8 Flash a fost singurul model care a postat un scor perfect la înregistrările din jurnal. Fiecare model testat a reușit la întrebările cu răspunsuri multiple ale benchmark-ului privind cunoștințele contabile, obținând un scor de 100%.
Consecvența s-a îndepărtat și de acuratețea brută: Grok 4.7 s-a clasat pe locul doi la precizie la 88,1%, dar a finalizat toate cele trei rulări cu succes la doar 74,3% din sarcini, în timp ce Claude Fable 5.1 a fost mai consistent la 80,2%, în ciuda unui scor de precizie mai scăzut.
O mărturisire de interes – și un semnal pentru Enterprise AI
DualEntry, care creează software de contabilitate nativ AI, publică benchmark-ul pentru a prezenta peisajul model pentru propriul său domeniu, astfel încât întreprinderile ar trebui să-l trateze ca un punct de date, mai degrabă decât o instanță de apel neutră. Metodologia sa este cel puțin transparentă: cărți identice, instrumente identice, instrucțiuni identice, trei rulări per model, cu rezultate, costuri și durate publicate per sarcină.
Cu toate acestea, modelul reflectă ceea ce evaluările independente au arătat în alte domenii: nivelul deschis - condus de familia GLM a lui Z.ai, modelele Kimi de la Moonshot și DeepSeek - se află acum la câteva puncte procentuale de frontiera închisă a muncii profesionale structurate, la costuri care fac triviale implementarea volumului. Pentru firmele de contabilitate și echipele financiare care evaluează agenții AI, eticheta de frontieră ar putea să nu mai merite prima.
Detaliile din spatele clasamentului
Defalcarea per sarcină arată cât de diferit eșuează modelele. GLM-5.3 Flash a egalat Gemini 4 Argon la raportarea financiară la 100% și a obținut un scor de 92,3% atât la clasificarea tranzacțiilor, cât și la înregistrările din jurnal, dar a scăzut la 75% la reconcilierea bancară și la conturile de creanțe. Gemini 4 Argon, în schimb, a înregistrat scoruri perfecte la clasificarea tranzacțiilor și raportarea financiară și a condus conturile de încasat la 91,7% - totuși a reușit doar 75% la reconcilierea bancară, sarcina îndeplinită de Kimi K3.1 Pro.
Această inconsecvență între tipurile de sarcini contează pentru practicieni. O echipă financiară care automatizează procesarea facturilor se confruntă cu o alegere de model foarte diferită față de o închidere automată de sfârșit de lună, iar datele de referință la nivel de zonă sugerează că „cel mai bun” model depinde de ce intrări din registru domină volumul de lucru.
De ce contabilitatea este un banc de probă util
Contabilitatea a apărut ca un teren de probă favorit pentru IA agentică, deoarece este structurată, verificabilă și neiertă: o înregistrare de jurnal fie se echilibrează, fie nu. Spre deosebire de arenele de chatbot care recompensează proza fluentă, benchmark-urile bazate pe sarcini din acest domeniu măsoară dacă un model poate urma instrucțiunile în mai mulți pași, poate folosi instrumentele externe corect și poate evita fabricarea de numere - aceleași capabilități de care companiile au nevoie pentru automatizarea back-office-ului în general.
Pagina descrie rezultatele sale ca o „rundă curentă”, cu toate modelele evaluate în cadrul aceleiași versiuni de referință, iar runda include deja douăzeci de modele care acoperă laboratoarele din SUA și China. Dacă curba costurilor din această rundă se menține - acuratețea frontierei la prețurile mărfurilor - decalajul practic dintre modelele deschise și închise privind munca de cunoștințe profesionale poate fi măsurat în curând în dolari și nu în puncte.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
