Open-weight AI-modeller närmar sig sina slutna gränsrivaler när det gäller redovisningsarbete i verkligheten, enligt de senaste resultaten från Accounting AI Benchmark som drivs av AI-redovisningsföretaget DualEntry – med Googles Gemini 4 Argon ledande övergripande och kinesiska öppna modeller som publicerar nästan identisk noggrannhet för en liten bråkdel av priset.
Riktmärket, som täcks av Yahoo Finance under rubriken att AI-modeller med öppen källkod "kommer ikapp" med slutna på redovisningsarbete, testar ledande modeller för 101 uppgifter inom åtta redovisningsområden, från transaktionsklassificering och journalposter till avstämning, finansiell rapportering och månadsslut. Varje modell arbetar från samma företagsböcker, får samma instruktioner och har tillgång till samma redovisningsverktyg, där varje modell körs tre gånger för att mäta konsekvens. For more context on this story, see our ongoing AI news.
Gemini 4 Argon leder, men gapet är tunt
Gemini 4 Argon toppar topplistan med 91,1 % noggrannhet och slutför uppgifter på i genomsnitt 18 sekunder till en kostnad av 0,115 USD per uppgift, med det bästa konsistenspoänget av alla modeller på 86,1 %.
Men jaktpaketet är nära — och anmärkningsvärt billigt. Z.ai:s GLM-5.3 Flash med öppen vikt fick 88,1 %, jämnt med xAI:s Grok 4.7, samtidigt som den kostade bara 0,006 USD per uppgift, ungefär 5 % av vad Googles flaggskeppsmodell spenderar. Kimi K3.1 Pro, en annan modell med öppen vikt från Moonshot AI, följde efter med 86,1 %, vilket placerade två öppna modeller bland de fyra bästa.
Anthropics Claude Fable 5.1 gav 85,1 % till 1,18 USD per uppgift – den dyraste modellen som testades – medan Claude Opus 5,5 fick 82,2 % till 0,452 USD. OpenAI:s GPT-6 Astra nådde 81,2 % till $0,494 per uppgift.
Kostnadsberättelsen är den verkliga rubriken
Den skarpaste siffran i resultaten kan vara DeepSeeks. DeepSeek V4.1 Flash fick 84,2 % till 0,003 USD per uppgift, enligt DualEntrys nyckeltal – jämfört med Claude Fable 5.1 med 85,1 % och 1,18 USD per uppgift. Det är ungefär 400 gånger kostnaden för en poäng som är mindre än en poäng högre.
Kostnaden per uppgift varierade enormt även mellan modeller med liknande noggrannhet, noterar benchmarkförfattarna, vilket tyder på att företag som automatiserar bokföringsarbetsflöden kunde minska slutsatserna i en storleksordning helt enkelt genom att välja rätt modell för uppgiften.
Där modeller fortfarande kämpar
Redovisning är inte ett löst problem för något gränslabb. Prestanda varierade kraftigt beroende på uppgiftsområde: modellerna var i genomsnitt 93,5 % vid transaktionsklassificering men bara 64,7 % på de två svåraste områdena, kundfordringar och månadsslut. Den största spridningen dök upp i kundfordringar, där poängen varierade från 41,7 % till 91,7 %.
Ingen enskild modell dominerade. Kimi K3.1 Pro slog Gemini 4 Argon på bankavstämning och fick perfekta 100 % mot Googles 75 %, medan Kimi K3 ledde månadsslutet på 91,7 %. Gemini 3.8 Flash var den enda modellen som gav ett perfekt resultat på journalanteckningar. Varje modell som testades klarade riktmärkets flervalsfrågor med redovisningskunskap och fick 100 %.
Konsistensen avvek också från rå noggrannhet: Grok 4,7 kom tvåa på noggrannhet på 88,1 % men klarade alla tre körningarna framgångsrikt på endast 74,3 % av uppgifterna, medan Claude Fable 5.1 var mer konsekvent med 80,2 % trots ett lägre noggrannhetspoäng.
En bekännelse av intresse — och en signal för Enterprise AI
DualEntry, som bygger AI-native bokföringsprogram, publicerar riktmärket för att visa upp modelllandskapet för sin egen domän, så företag bör behandla det som en datapunkt snarare än en neutral domstol för slutlig överklagande. Dess metod är åtminstone transparent: identiska böcker, identiska verktyg, identiska instruktioner, tre körningar per modell, med resultat, kostnader och varaktigheter publicerade per uppgift.
Ändå återspeglar mönstret vad oberoende utvärderingar har visat över andra domäner: den öppna viktnivån – ledd av Z.ais GLM-familj, Moonshots Kimi-modeller och DeepSeek – ligger nu inom några få procentenheter från den slutna gränsen för strukturerat professionellt arbete, till kostnader som gör volymdistribution trivialt. För redovisningsbyråer och finansteam som utvärderar AI-agenter kanske gränsmärket inte längre är värt premien.
Detaljerna bakom rankingen
Uppdelningen per uppgift visar hur olika modellerna misslyckas. GLM-5.3 Flash matchade Gemini 4 Argon på finansiell rapportering till 100 % och fick 92,3 % på både transaktionsklassificering och journalposter, men sjönk till 75 % på bankavstämning och kundfordringar. Gemini 4 Argon, däremot, gav perfekta resultat på transaktionsklassificering och finansiell rapportering och ledde kundfordringar på 91,7 % - men lyckades bara 75 % på bankavstämning, uppgiften Kimi K3.1 Pro klarade av.
Den inkonsekvensen mellan uppgiftstyperna är viktiga för utövarna. Ett finansteam som automatiserar fakturahantering står inför ett helt annat modellval än ett automatiserat månadsslut, och riktmärkets data på områdesnivå tyder på att den "bästa" modellen beror på vilka huvudboksposter som dominerar arbetsbelastningen.
Varför bokföring är en användbar testbädd
Redovisning har dykt upp som en gynnsam provningsgrund för agent AI eftersom den är strukturerad, verifierbar och oförlåtlig: en journalpost antingen balanserar eller inte. Till skillnad från chatbotarenor som belönar flytande prosa, mäter uppgiftsbaserade riktmärken inom denna domän om en modell kan följa flerstegsinstruktioner, använda externa verktyg korrekt och undvika att tillverka siffror – samma möjligheter som företag behöver för back-office-automatisering i allmänhet.
Sidan beskriver dess resultat som en "aktuell omgång", med alla modeller utvärderade under samma riktmärke, och omgången inkluderar redan tjugo modeller som spänner över amerikanska och kinesiska labb. Om kostnadskurvan i denna omgång håller — gränsöverskridande noggrannhet vid råvarupriser — kan det praktiska gapet mellan öppna och slutna modeller för professionellt kunskapsarbete snart mätas i dollar snarare än poäng.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
