AI اکاؤنٹنگ کمپنی DualEntry کے ذریعے چلائے جانے والے اکاؤنٹنگ AI بینچ مارک کے تازہ ترین نتائج کے مطابق، اوپن ویٹ AI ماڈلز حقیقی دنیا کے اکاؤنٹنگ کے کام پر اپنے بند فرنٹیئر حریفوں کے سامنے آ رہے ہیں - جس میں Google کے Gemini 4 Argon مجموعی طور پر سرفہرست ہیں اور چینی اوپن ماڈلز قیمت کے ایک چھوٹے سے حصے کے لیے قریب قریب ایک جیسی درستگی پوسٹ کر رہے ہیں۔
بینچ مارک، جس کا احاطہ Yahoo Finance نے اس عنوان کے تحت کیا ہے کہ اوپن سورس AI ماڈلز اکاؤنٹنگ کے کام پر بند ہونے والے ماڈلز کو "پکڑ رہے ہیں"، اکاؤنٹنگ کے آٹھ شعبوں میں 101 کاموں پر لیڈنگ ماڈلز کی جانچ کرتا ہے، ٹرانزیکشن کی درجہ بندی اور جریدے کے اندراجات سے لے کر مفاہمت، مالیاتی رپورٹنگ، اور مہینے کے اختتام تک۔ ہر ماڈل ایک ہی کمپنی کی کتابوں سے کام کرتا ہے، وہی ہدایات وصول کرتا ہے، اور اکاؤنٹنگ کے ایک ہی ٹولز تک رسائی رکھتا ہے، ہر ماڈل مستقل مزاجی کی پیمائش کے لیے تین بار چلتا ہے۔ For more context on this story, see our ongoing more AI stories.
جیمنی 4 آرگن لیڈز، لیکن گیپ پتلا ہے۔
Gemini 4 Argon 91.1% درستگی کے ساتھ لیڈر بورڈ میں سرفہرست ہے، 86.1% پر کسی بھی ماڈل کے بہترین مستقل مزاجی سکور کے ساتھ فی ٹاسک $0.115 کی لاگت سے اوسطاً 18 سیکنڈ میں کام مکمل کرتا ہے۔
لیکن پیچھا پیک قریب ہے - اور قابل ذکر طور پر سستا ہے۔ Z.ai کے اوپن ویٹ GLM-5.3 فلیش نے 88.1% اسکور کیا، جو xAI کے Grok 4.7 کے ساتھ بندھا ہوا، جبکہ فی کام صرف $0.006 لاگت آئی، جو گوگل کے فلیگ شپ ماڈل کے خرچ کا تقریباً 5% ہے۔ Kimi K3.1 Pro، Moonshot AI کا ایک اور اوپن ویٹ ماڈل، جس نے 86.1% کے ساتھ پیروی کی، جس نے دو اوپن ماڈلز کو سرفہرست چار اداکاروں میں شامل کیا۔
Anthropic کے Claude Fable 5.1 نے $1.18 فی ٹاسک پر 85.1% پوسٹ کیا - سب سے مہنگا ماڈل ٹیسٹ کیا گیا - جبکہ Claude Opus 5.5 نے $0.452 پر 82.2% اسکور کیا۔ OpenAI کا GPT-6 Astra $0.494 فی ٹاسک پر 81.2% تک پہنچ گیا۔
لاگت کی کہانی اصل سرخی ہے۔
نتائج میں سب سے اہم نمبر ڈیپ سیک کا ہو سکتا ہے۔ ڈیپ سیک V4.1 فلیش نے فی ٹاسک $0.003 پر 84.2% اسکور کیا، DualEntry کے کلیدی ٹیک ویز کے مطابق - Claude Fable 5.1 کے مقابلے میں 85.1% اور $1.18 فی ٹاسک۔ یہ ایک پوائنٹ سے کم اسکور کی قیمت سے تقریباً 400 گنا زیادہ ہے۔
اسی طرح کی درستگی والے ماڈلز کے درمیان بھی فی کام لاگت بہت زیادہ مختلف ہوتی ہے، بینچ مارک کے مصنفین نوٹ کرتے ہیں کہ بک کیپنگ ورک فلو کو خودکار کرنے والے ادارے صرف کام کے لیے صحیح ماڈل کا انتخاب کر کے قیاس کے بلوں کو کم کر سکتے ہیں۔
جہاں ماڈلز اب بھی جدوجہد کر رہی ہیں۔
اکاؤنٹنگ کسی بھی فرنٹیئر لیب کے لیے حل شدہ مسئلہ نہیں ہے۔ ٹاسک ایریا کے لحاظ سے کارکردگی میں تیزی سے فرق ہے: ٹرانزیکشن کی درجہ بندی پر ماڈلز کا اوسط 93.5% تھا لیکن دو مشکل ترین علاقوں، اکاؤنٹس قابل وصول اور مہینے کے آخر میں بند ہونے پر صرف 64.7%۔ سب سے زیادہ پھیلاؤ قابل وصول اکاؤنٹس میں ظاہر ہوا، جہاں اسکور 41.7% سے 91.7% تک تھے۔
کسی ایک ماڈل کا غلبہ نہیں ہے۔ Kimi K3.1 Pro نے بینک مفاہمت پر Gemini 4 Argon کو ہرا دیا، Google کے 75% کے مقابلے میں ایک کامل 100% اسکور کیا، جبکہ Kimi K3 کی قیادت ماہ کے آخر میں 91.7% پر ہوئی۔ جیمنی 3.8 فلیش واحد ماڈل تھا جس نے جرنل کے اندراجات پر کامل اسکور پوسٹ کیا۔ ٹیسٹ کیے گئے ہر ماڈل نے بینچ مارک کے اکاؤنٹنگ کے علم کے متعدد انتخابی سوالات کا جواب دیا، 100% اسکور کیا۔
مستقل مزاجی بھی خام درستگی سے ہٹ گئی: Grok 4.7 88.1% پر درستگی پر دوسرے نمبر پر رہا لیکن صرف 74.3% کاموں پر تینوں رنز کامیابی سے مکمل کیے، جبکہ Claude Fable 5.1 کم درستگی کے اسکور کے باوجود 80.2% پر زیادہ مستقل رہا۔
دلچسپی کا اعتراف — اور انٹرپرائز AI کے لیے ایک سگنل
DualEntry، جو AI- مقامی اکاؤنٹنگ سافٹ ویئر بناتا ہے، اپنے ڈومین کے لیے ماڈل لینڈ سکیپ کو ظاہر کرنے کے لیے بینچ مارک شائع کرتا ہے، اس لیے کاروباری اداروں کو اسے حتمی اپیل کی غیر جانبدار عدالت کے بجائے ایک ڈیٹا پوائنٹ کے طور پر استعمال کرنا چاہیے۔ اس کا طریقہ کار کم از کم شفاف ہے: ایک جیسی کتابیں، ایک جیسے اوزار، یکساں ہدایات، فی ماڈل تین رنز، نتائج، لاگت، اور ہر کام کے دوران شائع ہونے کے ساتھ۔
پھر بھی، پیٹرن اس بات کی بازگشت کرتا ہے جو آزادانہ تشخیصات نے دوسرے ڈومینز میں دکھایا ہے: اوپن ویٹ ٹائر — جس کی قیادت Z.ai کی GLM فیملی، مون شاٹ کے Kimi ماڈلز، اور DeepSeek کرتا ہے — اب ساختی پیشہ ورانہ کام پر بند فرنٹیئر کے چند فیصد پوائنٹس کے اندر بیٹھتا ہے، جو کہ حجم کی تعیناتی کو معمولی بنا دیتا ہے۔ AI ایجنٹوں کا جائزہ لینے والی اکاؤنٹنگ فرموں اور فنانس ٹیموں کے لیے، فرنٹیئر لیبل اب پریمیم کے قابل نہیں ہو سکتا۔
درجہ بندی کے پیچھے کی تفصیلات
فی ٹاسک بریک ڈاؤن دکھاتا ہے کہ ماڈلز کیسے مختلف طریقے سے ناکام ہوتے ہیں۔ GLM-5.3 Flash نے مالیاتی رپورٹنگ پر Gemini 4 Argon سے 100% پر مماثل کیا اور لین دین کی درجہ بندی اور جریدے کے اندراجات دونوں پر 92.3% اسکور کیا، لیکن بینک مصالحت اور قابل وصول اکاؤنٹس پر 75% تک گر گیا۔ اس کے برعکس، Gemini 4 Argon نے لین دین کی درجہ بندی اور مالیاتی رپورٹنگ پر کامل اسکور پوسٹ کیے اور 91.7% پر قابل وصول اکاؤنٹس - پھر بھی بینک مفاہمت پر صرف 75% کا انتظام کیا، کام Kimi K3.1 Pro aced۔
کام کی قسموں میں یہ عدم مطابقت پریکٹیشنرز کے لیے اہمیت رکھتی ہے۔ انوائس پروسیسنگ کو خودکار کرنے والی فنانس ٹیم کو ایک خودکار مہینے کے آخر میں بند ہونے کے مقابلے میں بہت مختلف ماڈل انتخاب کا سامنا کرنا پڑتا ہے، اور بینچ مارک کے ایریا لیول کے اعداد و شمار سے پتہ چلتا ہے کہ "بہترین" ماڈل اس بات پر منحصر ہے کہ کس لیجر اندراجات کام کے بوجھ پر حاوی ہیں۔
اکاؤنٹنگ ایک مفید ٹیسٹ بیڈ کیوں ہے۔
اکاؤنٹنگ ایجنٹ AI کے لیے ایک پسندیدہ ثابت کرنے کی بنیاد کے طور پر ابھری ہے کیونکہ یہ ساختہ، قابل تصدیق، اور ناقابل معافی ہے: ایک جریدے کا اندراج یا تو توازن رکھتا ہے یا نہیں کرتا۔ چیٹ بوٹ میدانوں کے برعکس جو روانی سے نوازتے ہیں، اس ڈومین میں ٹاسک پر مبنی بینچ مارک اس بات کی پیمائش کرتے ہیں کہ آیا کوئی ماڈل ملٹی سٹیپ ہدایات پر عمل کر سکتا ہے، بیرونی ٹولز کو درست طریقے سے استعمال کر سکتا ہے، اور نمبروں کو گھڑنے سے بچ سکتا ہے۔
صفحہ اپنے نتائج کو "موجودہ راؤنڈ" کے طور پر بیان کرتا ہے، جس میں تمام ماڈلز کا ایک ہی بینچ مارک ریلیز کے تحت جائزہ لیا جاتا ہے، اور راؤنڈ میں پہلے سے ہی امریکی اور چینی لیبز پر پھیلے ہوئے بیس ماڈلز شامل ہیں۔ اگر اس راؤنڈ میں لاگت کا وکر — اجناس کی قیمتوں میں سرحدی درستگی — پیشہ ورانہ علمی کام پر کھلے اور بند ماڈلز کے درمیان عملی فرق جلد ہی پوائنٹس کی بجائے ڈالر میں ماپا جا سکتا ہے۔
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
