Secondo gli ultimi risultati dell'Accounting AI Benchmark gestito dalla società di contabilità AI DualEntry, i modelli di intelligenza artificiale a peso aperto si stanno avvicinando ai loro rivali a frontiera chiusa nel lavoro di contabilità del mondo reale, con Gemini 4 Argon di Google in testa alla classifica generale e i modelli aperti cinesi che registrano una precisione quasi identica per una piccola frazione del prezzo.
Il benchmark, coperto da Yahoo Finance con il titolo che i modelli di intelligenza artificiale open source stanno "recuperando terreno" rispetto a quelli chiusi sul lavoro contabile, testa modelli leader su 101 attività in otto aree della contabilità, dalla classificazione delle transazioni e registrazioni contabili alla riconciliazione, rendicontazione finanziaria e chiusura di fine mese. Ogni modello funziona in base agli stessi libri aziendali, riceve le stesse istruzioni e ha accesso agli stessi strumenti contabili, e ogni modello viene eseguito tre volte per misurarne la coerenza. Per maggiori informazioni su questa storia, consulta la nostra ultimi sviluppi nell'IA.
Gemini 4 Argon è in testa, ma il divario è sottile
Gemini 4 Argon è in cima alla classifica con una precisione del 91,1%, completando le attività in una media di 18 secondi al costo di $ 0,115 per attività, con il miglior punteggio di coerenza di qualsiasi modello all'86,1%.
Ma il pacchetto di caccia è vicino – e notevolmente economico. Il GLM-5.3 Flash a peso aperto di Z.ai ha ottenuto l'88,1%, a pari merito con Grok 4.7 di xAI, mentre costa solo $ 0,006 per attività, circa il 5% di quanto spende il modello di punta di Google. Kimi K3.1 Pro, un altro modello open-weight di Moonshot AI, segue con l'86,1%, posizionando due modelli open tra i primi quattro performer.
Claude Fable 5.1 di Anthropic ha ottenuto l'85,1% a 1,18 dollari per attività – il modello più costoso testato – mentre Claude Opus 5.5 ha ottenuto l'82,2% a 0,452 dollari. GPT-6 Astra di OpenAI ha raggiunto l'81,2% a $ 0,494 per attività.
La storia dei costi è il vero titolo
Il numero più evidente nei risultati potrebbe essere quello di DeepSeek. DeepSeek V4.1 Flash ha ottenuto un punteggio dell'84,2% con 0,003 dollari per attività, secondo i principali dati di DualEntry, rispetto a Claude Fable 5.1 con l'85,1% e 1,18 dollari per attività. Si tratta di circa 400 volte il costo per un punteggio inferiore a un punto superiore.
Il costo per attività variava enormemente anche tra modelli con precisione simile, notano gli autori del benchmark, suggerendo che le aziende che automatizzano i flussi di lavoro contabili potrebbero ridurre i costi di inferenza di un ordine di grandezza semplicemente scegliendo il modello giusto per l'attività.
Dove le modelle ancora lottano
La contabilità non è un problema risolto per nessun laboratorio di frontiera. La performance variava notevolmente in base all'area di attività: i modelli avevano una media del 93,5% nella classificazione delle transazioni, ma solo del 64,7% nelle due aree più difficili, contabilità clienti e chiusura di fine mese. Il differenziale più ampio si è registrato nei conti clienti, dove i punteggi variavano dal 41,7% al 91,7%.
Nessun singolo modello ha dominato. Kimi K3.1 Pro ha battuto Gemini 4 Argon nella riconciliazione bancaria, ottenendo un perfetto 100% contro il 75% di Google, mentre Kimi K3 ha guidato la chiusura di fine mese al 91,7%. Gemini 3.8 Flash è stato l'unico modello a pubblicare un punteggio perfetto nelle voci del diario. Ogni modello testato ha superato le domande a scelta multipla di conoscenza contabile del benchmark, ottenendo un punteggio del 100%.
Anche la coerenza si è discostata dalla precisione pura: Grok 4.7 si è classificato secondo in termini di precisione all'88,1% ma ha completato tutte e tre le esecuzioni con successo solo nel 74,3% delle attività, mentre Claude Fable 5.1 è stato più coerente all'80,2% nonostante un punteggio di precisione inferiore.
Una confessione di interesse e un segnale per l'intelligenza artificiale aziendale
DualEntry, che crea software di contabilità nativo dell’intelligenza artificiale, pubblica il benchmark per mostrare il panorama del modello per il proprio dominio, quindi le aziende dovrebbero trattarlo come un punto dati piuttosto che come una corte d’appello finale neutrale. La sua metodologia è quantomeno trasparente: libri identici, strumenti identici, istruzioni identiche, tre esecuzioni per modello, con risultati, costi e durate pubblicati per attività.
Tuttavia, il modello riecheggia ciò che valutazioni indipendenti hanno mostrato in altri settori: il livello open-weight – guidato dalla famiglia GLM di Z.ai, dai modelli Kimi di Moonshot e DeepSeek – ora si trova entro pochi punti percentuali dalla frontiera chiusa del lavoro professionale strutturato, a costi che rendono banale l’implementazione del volume. Per le società di contabilità e i team finanziari che valutano gli agenti di intelligenza artificiale, l’etichetta di frontiera potrebbe non valere più il premio.
I dettagli dietro le classifiche
La ripartizione per attività mostra in che modo i modelli falliscono. GLM-5.3 Flash ha eguagliato Gemini 4 Argon sul reporting finanziario al 100% e ha ottenuto un punteggio del 92,3% sia sulla classificazione delle transazioni che sulle registrazioni contabili, ma è sceso al 75% sulla riconciliazione bancaria e sui crediti. Gemini 4 Argon, al contrario, ha registrato punteggi perfetti nella classificazione delle transazioni e nel reporting finanziario e ha condotto la contabilità clienti al 91,7%, ma è riuscita solo al 75% nella riconciliazione bancaria, compito svolto da Kimi K3.1 Pro.
Questa incoerenza tra i tipi di attività è importante per i professionisti. Un team finanziario che automatizza l’elaborazione delle fatture si trova di fronte a una scelta di modello molto diversa rispetto a un team che automatizza la chiusura di fine mese, e i dati a livello di area del benchmark suggeriscono che il modello “migliore” dipende da quali voci di registro dominano il carico di lavoro.
Perché la contabilità è un utile banco di prova
La contabilità è emersa come terreno di prova privilegiato per l’intelligenza artificiale degli agenti perché è strutturata, verificabile e spietata: una voce di diario o risulta in pareggio oppure no. A differenza delle arene di chatbot che premiano la prosa fluente, i benchmark basati su attività in questo ambito misurano se un modello può seguire istruzioni in più passaggi, utilizzare correttamente strumenti esterni ed evitare di fabbricare numeri: le stesse capacità di cui le aziende hanno bisogno per l’automazione del back-office in generale.
La pagina descrive i suoi risultati come un “round attuale”, con tutti i modelli valutati secondo la stessa versione di benchmark, e il round include già venti modelli che abbracciano laboratori statunitensi e cinesi. Se la curva dei costi in questo round regge – accuratezza alla frontiera ai prezzi delle materie prime – il divario pratico tra modelli aperti e chiusi sul lavoro di conoscenza professionale potrebbe presto essere misurato in dollari anziché in punti.
---
Rimani Aggiornato sull'IALe ultime notizie, analisi e scoperte sull'intelligenza artificiale — tutto in un posto.
Leggi altre notizie sull'IA →
