एआई अकाउंटिंग कंपनी DualEntry द्वारा संचालित अकाउंटिंग एआई बेंचमार्क के नवीनतम परिणामों के अनुसार, ओपन-वेट एआई मॉडल वास्तविक दुनिया के अकाउंटिंग कार्य में अपने बंद सीमांत प्रतिद्वंद्वियों के करीब पहुंच रहे हैं - जिसमें Google का जेमिनी 4 आर्गन समग्र रूप से अग्रणी है और चीनी ओपन मॉडल कीमत के एक छोटे से हिस्से के लिए लगभग समान सटीकता पोस्ट कर रहे हैं।
याहू फाइनेंस द्वारा इस हेडलाइन के तहत कवर किया गया बेंचमार्क कि ओपन-सोर्स एआई मॉडल अकाउंटिंग के काम में बंद लोगों को "पकड़" रहा है, अकाउंटिंग के आठ क्षेत्रों में 101 कार्यों पर अग्रणी मॉडल का परीक्षण करता है, लेनदेन वर्गीकरण और जर्नल प्रविष्टियों से लेकर सुलह, वित्तीय रिपोर्टिंग और महीने के अंत तक। प्रत्येक मॉडल एक ही कंपनी की पुस्तकों से काम करता है, एक ही निर्देश प्राप्त करता है, और एक ही लेखांकन उपकरण तक पहुंच रखता है, प्रत्येक मॉडल स्थिरता को मापने के लिए तीन बार चलता है। For more context on this story, see our ongoing more AI stories.
मिथुन 4 आर्गन आगे बढ़ता है, लेकिन अंतर कम है
जेमिनी 4 आर्गन 91.1% सटीकता के साथ लीडरबोर्ड में शीर्ष पर है, प्रति कार्य $0.115 की लागत पर औसतन 18 सेकंड में कार्य पूरा करता है, किसी भी मॉडल का सबसे अच्छा स्थिरता स्कोर 86.1% है।
लेकिन चेज़ पैक करीब है - और उल्लेखनीय रूप से सस्ता है। Z.ai के ओपन-वेट GLM-5.3 फ़्लैश ने 88.1% स्कोर किया, जो xAI के ग्रोक 4.7 के बराबर है, जबकि प्रति कार्य केवल $0.006 की लागत आई, जो कि Google के फ्लैगशिप मॉडल के खर्च का लगभग 5% है। मूनशॉट एआई का एक और ओपन-वेट मॉडल किमी K3.1 प्रो, 86.1% के साथ दूसरे स्थान पर रहा, जिससे दो ओपन मॉडल शीर्ष चार कलाकारों में शामिल हो गए।
एंथ्रोपिक के क्लाउड फैबल 5.1 ने $1.18 प्रति कार्य पर 85.1% पोस्ट किया - परीक्षण किया गया सबसे महंगा मॉडल - जबकि क्लाउड ओपस 5.5 ने $0.452 पर 82.2% स्कोर किया। OpenAI का GPT-6 एस्ट्रा $0.494 प्रति कार्य पर 81.2% तक पहुंच गया।
लागत की कहानी वास्तविक शीर्षक है
नतीजों में सबसे बड़ी संख्या डीपसीक की हो सकती है। DualEntry के प्रमुख निष्कर्षों के अनुसार, DeepSeek V4.1 फ़्लैश ने $0.003 प्रति कार्य पर 84.2% स्कोर प्राप्त किया - जबकि क्लाउड फैबल 5.1 ने 85.1% और $1.18 प्रति कार्य पर स्कोर किया। यह एक अंक से भी कम अंक के लिए लागत का लगभग 400 गुना है।
समान सटीकता वाले मॉडलों के बीच भी प्रति कार्य लागत काफी भिन्न होती है, बेंचमार्क के लेखक बताते हैं कि बहीखाता वर्कफ़्लो को स्वचालित करने वाले उद्यम केवल कार्य के लिए सही मॉडल चुनकर परिमाण के क्रम से अनुमान बिलों में कटौती कर सकते हैं।
जहां मॉडल अभी भी संघर्ष कर रहे हैं
किसी भी सीमांत प्रयोगशाला के लिए लेखांकन कोई हल की गई समस्या नहीं है। कार्य क्षेत्र के अनुसार प्रदर्शन में तेजी से भिन्नता आई: लेनदेन वर्गीकरण पर मॉडल का औसत 93.5% था, लेकिन दो सबसे कठिन क्षेत्रों, प्राप्य खाते और महीने के अंत में समापन पर केवल 64.7% था। सबसे व्यापक प्रसार प्राप्य खातों में दिखाई दिया, जहां स्कोर 41.7% से 91.7% तक था।
किसी एक मॉडल का दबदबा नहीं रहा. किमी K3.1 प्रो ने बैंक समाधान पर जेमिनी 4 आर्गन को पछाड़ दिया, Google के 75% के मुकाबले एकदम सही 100% स्कोर किया, जबकि किमी K3 महीने के अंत में 91.7% के साथ आगे रहा। जेमिनी 3.8 फ्लैश जर्नल प्रविष्टियों पर सही स्कोर पोस्ट करने वाला एकमात्र मॉडल था। परीक्षण किए गए प्रत्येक मॉडल ने बेंचमार्क के लेखांकन-ज्ञान के बहुविकल्पीय प्रश्नों में 100% स्कोर किया।
संगति भी कच्ची सटीकता से अलग हो गई: ग्रोक 4.7 88.1% पर सटीकता के साथ दूसरे स्थान पर रहा, लेकिन केवल 74.3% कार्यों पर सभी तीन रन सफलतापूर्वक पूरे किए, जबकि क्लाउड फैबल 5.1 कम सटीकता स्कोर के बावजूद 80.2% पर अधिक सुसंगत था।
रुचि की एक स्वीकारोक्ति - और एंटरप्राइज एआई के लिए एक संकेत
DualEntry, जो AI-नेटिव अकाउंटिंग सॉफ्टवेयर बनाता है, अपने स्वयं के डोमेन के लिए मॉडल परिदृश्य प्रदर्शित करने के लिए बेंचमार्क प्रकाशित करता है, इसलिए उद्यमों को इसे अंतिम अपील की तटस्थ अदालत के बजाय एक डेटा बिंदु के रूप में मानना चाहिए। इसकी कार्यप्रणाली कम से कम पारदर्शी है: समान किताबें, समान उपकरण, समान निर्देश, प्रति मॉडल तीन रन, परिणाम, लागत और प्रति कार्य प्रकाशित अवधि के साथ।
फिर भी, यह पैटर्न वही दर्शाता है जो स्वतंत्र मूल्यांकन ने अन्य डोमेन में दिखाया है: ओपन-वेट टियर - Z.ai के GLM परिवार, मूनशॉट के किमी मॉडल और डीपसीक के नेतृत्व में - अब संरचित पेशेवर काम पर बंद सीमा के कुछ प्रतिशत अंक के भीतर बैठता है, ऐसी लागत पर जो वॉल्यूम परिनियोजन को तुच्छ बनाती है। एआई एजेंटों का मूल्यांकन करने वाली लेखांकन फर्मों और वित्त टीमों के लिए, फ्रंटियर लेबल अब प्रीमियम के लायक नहीं हो सकता है।
रैंकिंग के पीछे का विवरण
प्रति-कार्य विश्लेषण से पता चलता है कि मॉडल कितने अलग-अलग तरीके से विफल होते हैं। जीएलएम-5.3 फ्लैश ने 100% पर वित्तीय रिपोर्टिंग पर जेमिनी 4 आर्गन का मिलान किया और लेनदेन वर्गीकरण और जर्नल प्रविष्टियों दोनों पर 92.3% स्कोर किया, लेकिन बैंक समाधान और प्राप्य खातों पर 75% तक गिर गया। इसके विपरीत, जेमिनी 4 आर्गन ने लेन-देन वर्गीकरण और वित्तीय रिपोर्टिंग पर सही स्कोर पोस्ट किया और प्राप्य खातों का नेतृत्व 91.7% पर किया - फिर भी बैंक समाधान पर केवल 75% का प्रबंधन किया, यह कार्य किमी K3.1 प्रो ने पूरा किया।
कार्य प्रकारों में यह असंगतता अभ्यासकर्ताओं के लिए मायने रखती है। चालान प्रसंस्करण को स्वचालित करने वाली एक वित्त टीम को महीने के अंत में स्वचालित होने की तुलना में एक बहुत अलग मॉडल विकल्प का सामना करना पड़ता है, और बेंचमार्क का क्षेत्र-स्तरीय डेटा बताता है कि "सर्वश्रेष्ठ" मॉडल इस बात पर निर्भर करता है कि कौन सी बही प्रविष्टियाँ कार्यभार पर हावी हैं।
लेखांकन एक उपयोगी परीक्षण आधार क्यों है
लेखांकन एजेंटिक एआई के लिए एक पसंदीदा सिद्ध आधार के रूप में उभरा है क्योंकि यह संरचित, सत्यापन योग्य और अक्षम्य है: एक जर्नल प्रविष्टि या तो संतुलन बनाती है या नहीं। धाराप्रवाह गद्य को पुरस्कृत करने वाले चैटबॉट क्षेत्रों के विपरीत, इस डोमेन में कार्य-आधारित बेंचमार्क मापते हैं कि क्या कोई मॉडल बहु-चरण निर्देशों का पालन कर सकता है, बाहरी उपकरणों का सही ढंग से उपयोग कर सकता है, और संख्याओं को गढ़ने से बच सकता है - समान क्षमताओं वाले उद्यमों को आमतौर पर बैक-ऑफ़िस स्वचालन के लिए आवश्यकता होती है।
पेज इसके परिणामों को "वर्तमान दौर" के रूप में वर्णित करता है, जिसमें सभी मॉडलों का मूल्यांकन एक ही बेंचमार्क रिलीज के तहत किया जाता है, और इस दौर में पहले से ही यूएस और चीनी प्रयोगशालाओं में फैले बीस मॉडल शामिल हैं। यदि इस दौर में लागत वक्र कायम रहता है - कमोडिटी की कीमतों पर सीमांत सटीकता - पेशेवर ज्ञान कार्य पर खुले और बंद मॉडल के बीच व्यावहारिक अंतर जल्द ही अंकों के बजाय डॉलर में मापा जा सकता है।
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
