Jak wynika z najnowszych wyników testu Accounting AI Benchmark przeprowadzonego przez firmę księgową DualEntry, modele sztucznej inteligencji o otwartej wadze dorównują swoim zamkniętym rywalom w rzeczywistych pracach księgowych – przy czym wiodącym ogólnie rzecz biorąc modelem Gemini 4 Argon firmy Google i chińskim modelem otwartym charakteryzującym się niemal identyczną dokładnością za niewielki ułamek ceny.
Test porównawczy, opisywany przez Yahoo Finance pod hasłem, że modele sztucznej inteligencji typu open source „nadrabiają zaległości” w stosunku do zamkniętych w pracach księgowych, testuje wiodące modele w 101 zadaniach w ośmiu obszarach rachunkowości, od klasyfikacji transakcji i zapisów księgowych po uzgadnianie, raportowanie finansowe i zamknięcie miesiąca. Każdy model działa w oparciu o te same księgi firmowe, otrzymuje te same instrukcje i ma dostęp do tych samych narzędzi księgowych, przy czym każdy model jest uruchamiany trzykrotnie w celu pomiaru spójności. Więcej kontekstu na ten temat znajdziesz w naszych najnowsze osiągnięcia AI.
Gemini 4 przewody argonowe, ale przerwa jest niewielka
Gemini 4 Argon zajmuje pierwsze miejsce w tabeli wyników z dokładnością na poziomie 91,1%, wykonując zadania średnio w 18 sekund przy koszcie 0,115 USD za zadanie, z najlepszym wynikiem spójności spośród wszystkich modeli wynoszącym 86,1%.
Ale zestaw pościgowy jest blisko – i wyjątkowo tani. Otwarty moduł GLM-5.3 Flash firmy Z.ai uzyskał 88,1%, dorównując Grok 4.7 xAI, a jednocześnie kosztował zaledwie 0,006 dolara za zadanie, co stanowi około 5% wydatków flagowego modelu Google. Kimi K3.1 Pro, kolejny model z wagą otwartą od Moonshot AI, uplasował się na drugim miejscu z wynikiem 86,1%, co plasuje dwa otwarte modele wśród czterech najlepszych wyników.
Claude Fable 5.1 firmy Anthropic uzyskał 85,1% przy cenie 1,18 dolara za zadanie – najdroższy testowany model – podczas gdy Claude Opus 5.5 uzyskał wynik 82,2% przy cenie 0,452 dolara. OpenAI GPT-6 Astra osiągnął 81,2% przy cenie 0,494 USD za zadanie.
Historia kosztów to prawdziwy nagłówek
Najbardziej wyraźna liczba w wynikach może należeć do DeepSeek. Według kluczowych wniosków DualEntry DeepSeek V4.1 Flash uzyskał 84,2% przy 0,003 USD za zadanie — w porównaniu z Claude Fable 5.1 przy 85,1% i 1,18 USD za zadanie. To około 400-krotność kosztu uzyskania wyniku mniejszego niż jeden punkt wyższego.
Autorzy testu porównawczego zauważają, że koszt zadania znacznie się różnił nawet w przypadku modeli o podobnej dokładności, sugerując, że przedsiębiorstwa automatyzujące przepływy pracy w księgowości mogłyby obniżyć rachunki za wnioskowanie o rząd wielkości, po prostu wybierając odpowiedni model do zadania.
Gdzie modelki wciąż walczą
Księgowość nie jest problemem rozwiązanym dla żadnego laboratorium granicznego. Wyniki różniły się znacznie w zależności od obszaru zadań: modele osiągnęły średnio 93,5% w przypadku klasyfikacji transakcji, ale zaledwie 64,7% w dwóch najtrudniejszych obszarach, czyli należnościach i zamknięciu miesiąca. Największy rozpiętość wystąpiła w należnościach, gdzie oceny wahały się od 41,7% do 91,7%.
Żaden model nie dominował. Kimi K3.1 Pro pokonał Gemini 4 Argon po uzgodnieniu bankowym, uzyskując doskonałe 100% wyniku w porównaniu z 75% wyniku Google, podczas gdy Kimi K3 prowadził na koniec miesiąca z wynikiem 91,7%. Gemini 3.8 Flash był jedynym modelem, który uzyskał doskonały wynik we wpisach do dziennika. Każdy testowany model pomyślnie zdał pytania wielokrotnego wyboru z zakresu wiedzy księgowej, uzyskując 100% punktów.
Spójność również odbiegała od surowej dokładności: Grok 4.7 zajął drugie miejsce pod względem celności na poziomie 88,1%, ale wszystkie trzy serie wykonał pomyślnie tylko w 74,3% zadań, podczas gdy Claude Fable 5.1 był bardziej spójny i wyniósł 80,2% pomimo niższego wyniku dokładności.
Wyznanie zainteresowania — i sygnał dla sztucznej inteligencji przedsiębiorstw
DualEntry, które tworzy oprogramowanie księgowe natywne dla sztucznej inteligencji, publikuje punkt odniesienia, aby zaprezentować krajobraz modeli dla własnej domeny, dlatego przedsiębiorstwa powinny traktować go jako jeden punkt danych, a nie neutralny sąd apelacyjny. Jej metodologia jest co najmniej przejrzysta: identyczne książki, identyczne narzędzia, identyczne instrukcje, trzy serie dla każdego modelu, z opublikowanymi wynikami, kosztami i czasem trwania każdego zadania.
Mimo to schemat odzwierciedla to, co wykazały niezależne oceny w innych domenach: poziom otwartej wagi – na którego czele stoi rodzina GLM firmy Z.ai, modele Kimi firmy Moonshot i DeepSeek – znajduje się obecnie w odległości kilku punktów procentowych od zamkniętej granicy ustrukturyzowanej pracy zawodowej, przy kosztach, które sprawiają, że wdrażanie zbiorcze jest banalne. W przypadku firm księgowych i zespołów finansowych oceniających agentów AI etykieta pioniera może nie być już warta premii.
Szczegóły rankingów
Podział na zadania pokazuje, jak różnie zawodzą modele. GLM-5.3 Flash dorównał Gemini 4 Argon pod względem sprawozdawczości finansowej w 100% i uzyskał 92,3% zarówno w zakresie klasyfikacji transakcji, jak i zapisów księgowych, ale spadł do 75% w zakresie rozliczeń bankowych i należności. Z kolei Gemini 4 Argon uzyskał doskonałe wyniki w klasyfikacji transakcji i raportowaniu finansowym oraz prowadził należności na poziomie 91,7%, a mimo to poradził sobie jedynie w 75% w zakresie uzgadniania rachunków bankowych, co wykonał Kimi K3.1 Pro.
Ta niespójność między typami zadań ma znaczenie dla praktyków. Zespół finansowy automatyzujący przetwarzanie faktur stoi przed wyborem zupełnie innego modelu niż automatyzujący zamknięcie miesiąca, a dane na poziomie obszaru benchmarku sugerują, że „najlepszy” model zależy od tego, które wpisy w księdze dominują w obciążeniu pracą.
Dlaczego księgowość to przydatne stanowisko testowe
Rachunkowość stała się ulubionym poligonem doświadczalnym dla agentycznej sztucznej inteligencji, ponieważ jest ustrukturyzowana, weryfikowalna i bezlitosna: zapis księgowy albo się bilansuje, albo nie. W przeciwieństwie do chatbotów, które nagradzają płynną pisownię, testy porównawcze oparte na zadaniach w tej domenie mierzą, czy model może postępować zgodnie z wieloetapowymi instrukcjami, prawidłowo korzystać z narzędzi zewnętrznych i unikać fabrykowania liczb — są to te same możliwości, których ogólnie potrzebują przedsiębiorstwa do automatyzacji zaplecza biurowego.
Strona opisuje wyniki jako „bieżącą rundę”, w której wszystkie modele oceniano w ramach tej samej wersji testowej, a runda ta obejmuje już dwadzieścia modeli z laboratoriów amerykańskich i chińskich. Jeśli krzywa kosztów w tej rundzie się utrzyma – graniczna dokładność w cenach towarów – praktyczną lukę między modelami otwartymi i zamkniętymi dotyczącymi pracy z wiedzą profesjonalną będzie można wkrótce zmierzyć w dolarach, a nie w punktach.
---
Bądź na Bieżąco z AINajnowsze wiadomości, analizy i przełomy w dziedzinie AI — wszystko w jednym miejscu.
Czytaj więcej wiadomości AI →
