Os modelos de IA de peso aberto estão se aproximando de seus rivais de fronteira fechada no trabalho de contabilidade do mundo real, de acordo com os últimos resultados do Accounting AI Benchmark administrado pela empresa de contabilidade de IA DualEntry – com o Gemini 4 Argon do Google liderando geral e os modelos abertos chineses apresentando precisão quase idêntica por uma pequena fração do preço.
O benchmark, coberto pelo Yahoo Finance sob o título de que os modelos de IA de código aberto estão “alcançando” os fechados no trabalho contábil, testa modelos líderes em 101 tarefas em oito áreas de contabilidade, desde classificação de transações e lançamentos contábeis manuais até reconciliação, relatórios financeiros e fechamento de final de mês. Cada modelo funciona a partir dos mesmos livros da empresa, recebe as mesmas instruções e tem acesso às mesmas ferramentas contábeis, sendo cada modelo executado três vezes para medir a consistência. Para mais contexto sobre esta história, confira nossa últimos desenvolvimentos em IA.
Gemini 4 Argon lidera, mas a diferença é pequena
Gemini 4 Argon lidera a tabela de classificação com 91,1% de precisão, completando tarefas em uma média de 18 segundos a um custo de US$ 0,115 por tarefa, com a melhor pontuação de consistência de qualquer modelo de 86,1%.
Mas o pacote de perseguição está próximo – e extremamente barato. O Flash GLM-5.3 de peso aberto da Z.ai obteve 88,1%, empatado com o Grok 4.7 da xAI, enquanto custava apenas US$ 0,006 por tarefa, cerca de 5% do que o modelo carro-chefe do Google gasta. Kimi K3.1 Pro, outro modelo aberto da Moonshot AI, seguiu com 86,1%, colocando dois modelos abertos entre os quatro melhores desempenhos.
Claude Fable 5.1 da Anthropic obteve 85,1% com US$ 1,18 por tarefa – o modelo mais caro testado – enquanto Claude Opus 5.5 obteve 82,2% com US$ 0,452. O GPT-6 Astra da OpenAI atingiu 81,2%, a US$ 0,494 por tarefa.
A história do custo é a verdadeira manchete
O número mais marcante nos resultados pode ser o do DeepSeek. DeepSeek V4.1 Flash obteve 84,2% com US$ 0,003 por tarefa, de acordo com as principais conclusões do DualEntry – em comparação com Claude Fable 5.1 com 85,1% e US$ 1,18 por tarefa. Isso é cerca de 400 vezes o custo de uma pontuação inferior a um ponto a mais.
O custo por tarefa variou enormemente mesmo entre modelos com precisão semelhante, observam os autores do benchmark, sugerindo que as empresas que automatizam fluxos de trabalho de contabilidade poderiam reduzir as contas de inferência numa ordem de grandeza simplesmente escolhendo o modelo certo para a tarefa.
Onde os modelos ainda têm dificuldades
A contabilidade não é um problema resolvido para nenhum laboratório de fronteira. O desempenho variou acentuadamente por área de tarefa: os modelos obtiveram uma média de 93,5% na classificação de transações, mas apenas 64,7% nas duas áreas mais difíceis, contas a receber e encerramento do mês. O maior spread apareceu no contas a receber, onde as pontuações variaram de 41,7% a 91,7%.
Nenhum modelo único dominou. Kimi K3.1 Pro venceu Gemini 4 Argon na reconciliação bancária, marcando 100% perfeito contra 75% do Google, enquanto Kimi K3 liderou o fechamento do mês com 91,7%. Gemini 3.8 Flash foi o único modelo a postar uma pontuação perfeita em entradas de diário. Cada modelo testado acertou nas questões de múltipla escolha de conhecimento contábil do benchmark, pontuando 100%.
A consistência também divergiu da precisão bruta: Grok 4.7 empatou em segundo lugar em precisão com 88,1%, mas completou todas as três execuções com sucesso em apenas 74,3% das tarefas, enquanto Claude Fable 5.1 foi mais consistente com 80,2%, apesar de uma pontuação de precisão mais baixa.
Uma confissão de interesse – e um sinal para IA empresarial
A DualEntry, que cria software de contabilidade nativo de IA, publica o benchmark para mostrar o cenário do modelo para seu próprio domínio, portanto, as empresas devem tratá-lo como um ponto de dados, em vez de um tribunal neutro de última instância. A sua metodologia é pelo menos transparente: livros idênticos, ferramentas idênticas, instruções idênticas, três execuções por modelo, com resultados, custos e durações publicados por tarefa.
Ainda assim, o padrão reflecte o que avaliações independentes mostraram noutros domínios: o nível de peso aberto – liderado pela família GLM da Z.ai, pelos modelos Kimi da Moonshot e pela DeepSeek – situa-se agora a poucos pontos percentuais da fronteira fechada no trabalho profissional estruturado, a custos que tornam a implementação de volume trivial. Para empresas de contabilidade e equipas financeiras que avaliam agentes de IA, o rótulo de fronteira pode já não valer o prémio.
Os detalhes por trás das classificações
A análise por tarefa mostra quão diferentemente os modelos falham. O GLM-5.3 Flash correspondeu ao Gemini 4 Argon em relatórios financeiros em 100% e obteve 92,3% na classificação de transações e lançamentos contábeis manuais, mas caiu para 75% na reconciliação bancária e contas a receber. Gemini 4 Argon, por outro lado, obteve pontuações perfeitas em classificação de transações e relatórios financeiros e liderou contas a receber em 91,7% – mas conseguiu apenas 75% em reconciliação bancária, tarefa que Kimi K3.1 Pro acertou.
Essa inconsistência entre os tipos de tarefas é importante para os profissionais. Uma equipe financeira que automatiza o processamento de faturas enfrenta uma escolha de modelo muito diferente daquela que automatiza o fechamento do mês, e os dados de nível de área do benchmark sugerem que o “melhor” modelo depende de quais entradas do razão dominam a carga de trabalho.
Por que a contabilidade é uma base de testes útil
A contabilidade emergiu como um campo de provas preferido para a IA agente porque é estruturada, verificável e implacável: um lançamento no diário ou equilibra ou não. Ao contrário das arenas de chatbot que recompensam a prosa fluente, os benchmarks baseados em tarefas neste domínio medem se um modelo pode seguir instruções de várias etapas, usar ferramentas externas corretamente e evitar a fabricação de números – os mesmos recursos que as empresas precisam para a automação de back-office em geral.
A página descreve seus resultados como uma “rodada atual”, com todos os modelos avaliados sob o mesmo lançamento de benchmark, e a rodada já inclui vinte modelos abrangendo laboratórios dos EUA e da China. Se a curva de custos desta ronda se mantiver – precisão de fronteira nos preços das matérias-primas – a lacuna prática entre os modelos abertos e fechados no trabalho de conhecimento profissional poderá em breve ser medida em dólares e não em pontos.
---
Fique à Frente da IAAs últimas notícias, análises e avanços em inteligência artificial — tudo em um só lugar.
Ler mais notícias de IA →
