AI अकाउंटिंग कंपनी DualEntry द्वारे चालवल्या जाणाऱ्या अकाउंटिंग AI बेंचमार्कच्या ताज्या निकालांनुसार, ओपन-वेट AI मॉडेल्स वास्तविक-जगातील अकाउंटिंगच्या कामावर त्यांच्या बंद आघाडीच्या प्रतिस्पर्ध्यांचा सामना करत आहेत — Google चे जेमिनी 4 आर्गॉन एकंदर आघाडीवर आहे आणि चायनीज ओपन मॉडेल्स किमतीच्या अगदी लहान भागासाठी जवळपास समान अचूकता पोस्ट करत आहेत.
ओपन-सोर्स AI मॉडेल्स अकाउंटिंगच्या कामावर बंद असलेल्यांना "कॅच अप" करत आहेत या मथळ्याखाली Yahoo फायनान्सने कव्हर केलेला बेंचमार्क, अकाउंटिंगच्या आठ क्षेत्रांमध्ये 101 टास्कवर आघाडीच्या मॉडेल्सची चाचणी, ट्रान्झॅक्शन क्लासिफिकेशन आणि जर्नल एंट्रीपासून ते समेट, आर्थिक अहवाल आणि महिन्याच्या शेवटी बंद. प्रत्येक मॉडेल एकाच कंपनीच्या पुस्तकांमधून कार्य करते, समान सूचना प्राप्त करते आणि समान लेखा साधनांमध्ये प्रवेश असतो, प्रत्येक मॉडेल सातत्य मोजण्यासाठी तीन वेळा चालते. For more context on this story, see our ongoing AI industry coverage.
मिथुन 4 आर्गॉन आघाडीवर आहे, परंतु अंतर पातळ आहे
जेमिनी 4 आर्गॉन 91.1% अचूकतेसह लीडरबोर्डमध्ये अव्वल स्थानावर आहे, 86.1% वर कोणत्याही मॉडेलच्या सर्वोत्कृष्ट सातत्य स्कोअरसह, प्रति टास्क $0.115 च्या दराने सरासरी 18 सेकंदात कार्ये पूर्ण करते.
पण चेस पॅक जवळ आहे - आणि लक्षणीय स्वस्त. Z.ai च्या ओपन-वेट GLM-5.3 फ्लॅशने 88.1% स्कोअर केला, xAI च्या Grok 4.7 शी बरोबरी, तर प्रति टास्क फक्त $0.006, Google च्या फ्लॅगशिप मॉडेलच्या खर्चाच्या अंदाजे 5%. Kimi K3.1 Pro, Moonshot AI मधील आणखी एक ओपन-वेट मॉडेल, 86.1% ने त्यानंतर, दोन ओपन मॉडेल्सला शीर्ष चार परफॉर्मर्समध्ये स्थान दिले.
Anthropic च्या Claude Fable 5.1 ने प्रति टास्क $1.18 वर 85.1% पोस्ट केले - चाचणी केलेले सर्वात महाग मॉडेल - तर Claude Opus 5.5 ने $0.452 वर 82.2% गुण मिळवले. OpenAI चे GPT-6 Astra $0.494 प्रति टास्क 81.2% वर पोहोचले.
द कॉस्ट स्टोरी ही खरी हेडलाइन आहे
निकालांमध्ये सर्वात जास्त क्रमांक डीपसीकचा असू शकतो. DeepSeek V4.1 Flash ने प्रति टास्क $0.003 वर 84.2% स्कोअर केला, DualEntry च्या प्रमुख टेकवेजनुसार - क्लॉड फेबल 5.1 च्या तुलनेत 85.1% आणि $1.18 प्रति टास्क. ते एका गुणापेक्षा कमी गुणांसाठी अंदाजे 400 पट जास्त आहे.
समान अचूकतेच्या मॉडेल्समध्येही प्रति टास्कची किंमत प्रचंड प्रमाणात बदलते, बेंचमार्कच्या लेखकांनी असे सुचवले आहे की एंटरप्राइजेस ऑटोमॅटिक बुककीपिंग वर्कफ्लो केवळ टास्कसाठी योग्य मॉडेल निवडून परिमाणाच्या ऑर्डरद्वारे अनुमान बिल कमी करू शकतात.
जिथे मॉडेल्स अजूनही संघर्ष करतात
कोणत्याही फ्रंटियर लॅबसाठी अकाउंटिंग ही सोडवलेली समस्या नाही. कार्यक्षेत्रानुसार कार्यप्रदर्शन झपाट्याने बदलते: व्यवहार वर्गीकरणात मॉडेल्सची सरासरी 93.5% होती परंतु दोन सर्वात कठीण क्षेत्रे, प्राप्य खाते आणि महिन्याच्या शेवटी क्लोजवर फक्त 64.7%. सर्वात विस्तृत प्रसार प्राप्त करण्यायोग्य खात्यांमध्ये दिसून आला, जेथे स्कोअर 41.7% ते 91.7% पर्यंत होते.
एकाही मॉडेलचे वर्चस्व नाही. Kimi K3.1 Pro ने बँक सामंजस्याने जेमिनी 4 आर्गॉनवर मात केली, Google च्या 75% विरुद्ध 100% स्कोअर केले, तर Kimi K3 ने महिन्याच्या शेवटी 91.7% वर नेले. जर्नल एंट्रीवर परिपूर्ण स्कोअर पोस्ट करणारे जेमिनी 3.8 फ्लॅश हे एकमेव मॉडेल होते. चाचणी केलेल्या प्रत्येक मॉडेलने 100% गुण मिळवून बेंचमार्कच्या लेखा-ज्ञानाच्या बहु-निवडीच्या प्रश्नांना उत्तर दिले.
सुसंगतता देखील कच्च्या अचूकतेपासून वळली: Grok 4.7 ने 88.1% अचूकतेवर दुसऱ्या क्रमांकासाठी बरोबरी केली परंतु केवळ 74.3% कार्यांवर तिन्ही धावा यशस्वीपणे पूर्ण केल्या, तर क्लॉड फेबल 5.1 कमी अचूकतेचा स्कोअर असूनही 80.2% वर अधिक सुसंगत होता.
स्वारस्याची कबुली — आणि एंटरप्राइझ AI साठी सिग्नल
DualEntry, जे AI-नेटिव्ह अकाउंटिंग सॉफ्टवेअर बनवते, स्वतःच्या डोमेनसाठी मॉडेल लँडस्केप प्रदर्शित करण्यासाठी बेंचमार्क प्रकाशित करते, त्यामुळे एंटरप्राइझनी अंतिम अपीलच्या तटस्थ न्यायालयाऐवजी एक डेटा पॉइंट म्हणून हाताळले पाहिजे. त्याची कार्यपद्धती किमान पारदर्शक आहे: समान पुस्तके, समान साधने, समान सूचना, प्रति मॉडेल तीन धावा, परिणाम, खर्च आणि प्रत्येक कार्य प्रकाशित कालावधीसह.
तरीही, पॅटर्न इतर डोमेनवर स्वतंत्र मूल्यमापनाने दाखवलेल्या गोष्टींचा प्रतिध्वनी करतो: ओपन-वेट टियर — Z.ai चे GLM कुटुंब, Moonshot's Kimi मॉडेल्स, आणि DeepSeek — आता संरचित व्यावसायिक कामाच्या बंद सीमांच्या काही टक्के बिंदूंमध्ये बसते, ज्याच्या खर्चात व्हॉल्यूम तैनात करणे क्षुल्लक होते. AI एजंट्सचे मूल्यमापन करणाऱ्या अकाउंटिंग फर्म्स आणि फायनान्स टीम्ससाठी, फ्रंटियर लेबल यापुढे प्रीमियमचे मूल्य असणार नाही.
रँकिंगच्या मागे असलेले तपशील
प्रति-कार्य ब्रेकडाउन दर्शविते की मॉडेल्स किती वेगळ्या पद्धतीने अयशस्वी होतात. GLM-5.3 फ्लॅशने 100% आर्थिक अहवालावर जेमिनी 4 आर्गॉनशी जुळवून घेतले आणि व्यवहार वर्गीकरण आणि जर्नल एंट्री या दोन्हींवर 92.3% गुण मिळवले, परंतु बँक सामंजस्य आणि प्राप्त करण्यायोग्य खात्यांवर 75% पर्यंत घसरले. याउलट, जेमिनी 4 आर्गॉनने, व्यवहार वर्गीकरण आणि आर्थिक अहवालावर परिपूर्ण स्कोअर पोस्ट केले आणि 91.7% वर प्राप्य खाते नेतृत्व केले — तरीही बँक सामंजस्याने केवळ 75% व्यवस्थापित केले, Kimi K3.1 Pro ने कार्य केले.
कार्य प्रकारांमधील ती विसंगती प्रॅक्टिशनर्ससाठी महत्त्वाची आहे. एक फायनान्स टीम ऑटोमेटेड इनव्हॉइस प्रोसेसिंगला एका स्वयंचलित महीना-एंड क्लोजपेक्षा खूप वेगळ्या मॉडेलच्या निवडीचा सामना करावा लागतो आणि बेंचमार्कचा क्षेत्र-स्तरीय डेटा सूचित करतो की "सर्वोत्तम" मॉडेल कोणत्या लेजर नोंदी वर्कलोडवर वर्चस्व गाजवतात यावर अवलंबून असते.
लेखा एक उपयुक्त चाचणी बेड का आहे
लेखांकन हे एजंटिक AI साठी एक अनुकूल सिद्ध करणारे ग्राउंड म्हणून उदयास आले आहे कारण ते संरचित, पडताळण्यायोग्य आणि अक्षम्य आहे: जर्नल एंट्री एकतर शिल्लक ठेवते किंवा ती करत नाही. अस्खलित गद्य बक्षीस देणाऱ्या चॅटबॉट रिंगणाच्या विपरीत, या डोमेनमधील टास्क-आधारित बेंचमार्क एखादे मॉडेल बहु-चरण सूचनांचे पालन करू शकते की नाही, बाह्य साधनांचा योग्य वापर करू शकते आणि संख्या तयार करणे टाळू शकते - बॅक-ऑफिस ऑटोमेशनसाठी समान क्षमता एंटरप्राइझना आवश्यक आहेत.
पृष्ठ त्याचे परिणाम "वर्तमान फेरी" म्हणून वर्णन करते, सर्व मॉडेल्सचे मूल्यमापन समान बेंचमार्क रिलीझ अंतर्गत केले जाते आणि या फेरीत यूएस आणि चिनी लॅबमध्ये पसरलेल्या वीस मॉडेल्सचा समावेश आहे. जर या फेरीतील खर्च वक्र - कमोडिटी किमतींवरील सीमावर्ती अचूकता - व्यावसायिक ज्ञान कार्यावरील खुल्या आणि बंद मॉडेलमधील व्यावहारिक अंतर लवकरच पॉइंट्सऐवजी डॉलरमध्ये मोजले जाऊ शकते.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
