AI অ্যাকাউন্টিং কোম্পানি DualEntry দ্বারা পরিচালিত অ্যাকাউন্টিং AI বেঞ্চমার্কের সর্বশেষ ফলাফল অনুসারে, ওপেন-ওয়েট AI মডেলগুলি বাস্তব-বিশ্বের অ্যাকাউন্টিং কাজে তাদের বদ্ধ সীমান্তের প্রতিদ্বন্দ্বীদের সাথে মিলিত হচ্ছে — Google-এর Gemini 4 Argon সামগ্রিকভাবে এগিয়ে রয়েছে এবং চীনা ওপেন মডেলগুলি দামের একটি ছোট অংশের জন্য প্রায় অভিন্ন নির্ভুলতা পোস্ট করছে।
বেঞ্চমার্ক, ইয়াহু ফাইন্যান্স দ্বারা আচ্ছাদিত শিরোনামের অধীনে যে ওপেন-সোর্স এআই মডেলগুলি অ্যাকাউন্টিং কাজের বন্ধগুলিকে "ক্যাচ আপ" করছে, লেনদেনের শ্রেণীবিভাগ এবং জার্নাল এন্ট্রি থেকে পুনর্মিলন, আর্থিক প্রতিবেদন, এবং মাস-এন্ড ক্লোজ পর্যন্ত অ্যাকাউন্টিংয়ের আটটি ক্ষেত্রে 101টি কাজের নেতৃস্থানীয় মডেলগুলি পরীক্ষা করে। প্রতিটি মডেল একই কোম্পানির বই থেকে কাজ করে, একই নির্দেশাবলী পায়, এবং একই অ্যাকাউন্টিং সরঞ্জামগুলিতে অ্যাক্সেস থাকে, প্রতিটি মডেল ধারাবাহিকতা পরিমাপ করতে তিনবার চালায়। For more context on this story, see our ongoing AI trends.
মিথুন 4 আর্গন লিড, কিন্তু ব্যবধান পাতলা
জেমিনি 4 আর্গন 91.1% নির্ভুলতায় লিডারবোর্ডে শীর্ষে রয়েছে, প্রতি টাস্কে $0.115 খরচ করে গড়ে 18 সেকেন্ডে কাজগুলি সম্পূর্ণ করে, যে কোনও মডেলের সর্বোত্তম ধারাবাহিকতা স্কোর 86.1%।
কিন্তু চেজ প্যাক কাছাকাছি - এবং উল্লেখযোগ্যভাবে সস্তা। Z.ai-এর ওপেন-ওয়েট GLM-5.3 ফ্ল্যাশ 88.1% স্কোর করেছে, xAI-এর Grok 4.7-এর সাথে আবদ্ধ, যেখানে প্রতি টাস্কে মাত্র $0.006 খরচ হয়েছে, যা Google-এর ফ্ল্যাগশিপ মডেল খরচ করে প্রায় 5%। কিমি K3.1 প্রো, মুনশট এআই-এর আরেকটি ওপেন-ওয়েট মডেল, 86.1% অনুসরণ করে, শীর্ষ চারটি পারফর্মারের মধ্যে দুটি ওপেন মডেল রাখে।
অ্যানথ্রপিকের ক্লড ফেবল 5.1 প্রতি টাস্কে $1.18 এ 85.1% পোস্ট করেছে - সবচেয়ে ব্যয়বহুল মডেল পরীক্ষিত - যেখানে Claude Opus 5.5 $0.452 এ 82.2% স্কোর করেছে। OpenAI এর GPT-6 Astra প্রতি টাস্কে $0.494 এ পৌঁছেছে 81.2%।
খরচের গল্পই আসল শিরোনাম
ফলাফলে সবচেয়ে বড় নম্বর হতে পারে ডিপসিকের। ডিপসিক V4.1 ফ্ল্যাশ প্রতি টাস্কে $0.003 এ 84.2% স্কোর করেছে, DualEntry-এর মূল টেকওয়েস অনুসারে — ক্লাউড ফেবল 5.1-এর সাথে 85.1% এবং $1.18 প্রতি টাস্কের তুলনায়। এটি এক পয়েন্টের চেয়ে কম স্কোরের জন্য খরচের প্রায় 400 গুণ বেশি।
একই রকম নির্ভুলতা সহ মডেলগুলির মধ্যেও প্রতি টাস্কের খরচ ব্যাপকভাবে পরিবর্তিত হয়, বেঞ্চমার্কের লেখকরা দ্রষ্টব্য যে, এন্টারপ্রাইজগুলি স্বয়ংক্রিয় হিসাবরক্ষণ কার্যপ্রবাহগুলিকে শুধুমাত্র কাজের জন্য সঠিক মডেল বেছে নেওয়ার মাধ্যমে অনুমান বিলগুলিকে মাত্রার ক্রম দ্বারা কমাতে পারে।
যেখানে মডেলরা এখনও সংগ্রাম করে
অ্যাকাউন্টিং কোন ফ্রন্টিয়ার ল্যাবের জন্য একটি সমাধান করা সমস্যা নয়। কার্যক্ষেত্র অনুসারে কর্মক্ষমতা তীব্রভাবে পরিবর্তিত হয়েছে: লেনদেনের শ্রেণীবিভাগে মডেলগুলির গড় 93.5% কিন্তু দুটি কঠিন ক্ষেত্র, প্রাপ্য অ্যাকাউন্ট এবং মাস-এন্ড ক্লোজে মাত্র 64.7%। প্রাপ্তিযোগ্য অ্যাকাউন্টগুলিতে বিস্তৃত স্প্রেড উপস্থিত হয়েছিল, যেখানে স্কোরগুলি 41.7% থেকে 91.7% পর্যন্ত ছিল।
কোনো একক মডেলের আধিপত্য নেই। কিমি K3.1 প্রো ব্যাঙ্ক পুনর্মিলনে জেমিনি 4 আর্গনকে পরাজিত করেছে, Google-এর 75% এর বিপরীতে একটি নিখুঁত 100% স্কোর করেছে, যেখানে Kimi K3 মাস-এন্ড 91.7% এ নেতৃত্ব দিয়েছে। জার্নাল এন্ট্রিতে নিখুঁত স্কোর পোস্ট করার জন্য জেমিনি 3.8 ফ্ল্যাশই একমাত্র মডেল। পরীক্ষিত প্রতিটি মডেল 100% স্কোর করে বেঞ্চমার্কের অ্যাকাউন্টিং-নলেজ মাল্টিপল-পছন্দের প্রশ্নে এগিয়েছে।
সামঞ্জস্যতাও অপরিশোধিত নির্ভুলতা থেকে বিচ্ছিন্ন হয়েছে: Grok 4.7 88.1% নির্ভুলতার উপর দ্বিতীয় জন্য বাঁধা হয়েছে কিন্তু শুধুমাত্র 74.3% কাজগুলিতে তিনটি রানই সফলভাবে সম্পন্ন করেছে, যখন Claude Fable 5.1 কম নির্ভুলতা স্কোর থাকা সত্ত্বেও 80.2% এ আরও ধারাবাহিক ছিল।
আগ্রহের স্বীকারোক্তি — এবং এন্টারপ্রাইজ এআই-এর জন্য একটি সংকেত
DualEntry, যা এআই-নেটিভ অ্যাকাউন্টিং সফ্টওয়্যার তৈরি করে, তার নিজস্ব ডোমেনের জন্য মডেল ল্যান্ডস্কেপ প্রদর্শনের জন্য বেঞ্চমার্ক প্রকাশ করে, তাই উদ্যোগগুলির এটিকে চূড়ান্ত আপিলের নিরপেক্ষ আদালতের পরিবর্তে একটি ডেটা পয়েন্ট হিসাবে বিবেচনা করা উচিত। এর পদ্ধতিটি অন্তত স্বচ্ছ: অভিন্ন বই, অভিন্ন সরঞ্জাম, অভিন্ন নির্দেশাবলী, প্রতি মডেলে তিনটি রান, ফলাফল, খরচ এবং কাজ প্রতি প্রকাশিত সময়কাল সহ।
তবুও, প্যাটার্নটি অন্যান্য ডোমেনে স্বাধীন মূল্যায়নের প্রতিধ্বনি করে: ওপেন-ওয়েট টিয়ার — Z.ai-এর GLM ফ্যামিলি, মুনশট-এর কিমি মডেল, এবং DeepSeek-এর নেতৃত্বে — এখন কাঠামোগত পেশাগত কাজে বদ্ধ সীমান্তের কয়েক শতাংশ পয়েন্টের মধ্যে বসে, খরচ যা ভলিউম স্থাপনকে তুচ্ছ করে তোলে৷ এআই এজেন্টদের মূল্যায়নকারী অ্যাকাউন্টিং ফার্ম এবং ফিনান্স টিমের জন্য, ফ্রন্টিয়ার লেবেল আর প্রিমিয়ামের মূল্য নাও হতে পারে।
র্যাঙ্কিংয়ের পেছনের বিশদ বিবরণ
প্রতি টাস্ক ব্রেকডাউন দেখায় যে মডেলগুলি কতটা আলাদাভাবে ব্যর্থ হয়। GLM-5.3 ফ্ল্যাশ 100% আর্থিক প্রতিবেদনে Gemini 4 Argon-এর সাথে মিলেছে এবং লেনদেনের শ্রেণীবিভাগ এবং জার্নাল এন্ট্রি উভয় ক্ষেত্রেই 92.3% স্কোর করেছে, কিন্তু ব্যাঙ্ক পুনর্মিলন এবং প্রাপ্য অ্যাকাউন্টগুলির ক্ষেত্রে 75%-এ নেমে এসেছে৷ জেমিনি 4 আর্গন, এর বিপরীতে, লেনদেনের শ্রেণীবিভাগ এবং আর্থিক প্রতিবেদনে নিখুঁত স্কোর পোস্ট করেছে এবং 91.7% এ গ্রহণযোগ্য অ্যাকাউন্টগুলি পরিচালনা করেছে — তবুও ব্যাঙ্ক পুনর্মিলনে মাত্র 75% পরিচালিত হয়েছে, কাজটি কিমি K3.1 প্রো এসিড।
টাস্কের ধরন জুড়ে সেই অসঙ্গতি অনুশীলনকারীদের জন্য গুরুত্বপূর্ণ। একটি ফিনান্স টিম স্বয়ংক্রিয় চালান প্রক্রিয়াকরণ একটি স্বয়ংক্রিয় মাস-এন্ড ক্লোজের চেয়ে খুব আলাদা মডেল পছন্দের মুখোমুখি হয় এবং বেঞ্চমার্কের এলাকা-স্তরের ডেটা প্রস্তাব করে যে "সেরা" মডেলটি নির্ভর করে কোন লেজার এন্ট্রিগুলি কাজের চাপে আধিপত্য করে।
কেন অ্যাকাউন্টিং একটি দরকারী পরীক্ষার বিছানা
অ্যাকাউন্টিং এজেন্টিক এআই-এর জন্য একটি অনুকূল প্রমাণের স্থল হিসাবে আবির্ভূত হয়েছে কারণ এটি কাঠামোগত, যাচাইযোগ্য এবং ক্ষমাহীন: একটি জার্নাল এন্ট্রি হয় ভারসাম্য রাখে বা তা করে না। চ্যাটবট অ্যারেনাগুলির বিপরীতে যা সাবলীল গদ্যকে পুরস্কৃত করে, এই ডোমেনে টাস্ক-ভিত্তিক বেঞ্চমার্কগুলি পরিমাপ করে যে কোনও মডেল বহু-পদক্ষেপের নির্দেশাবলী অনুসরণ করতে পারে কিনা, বাহ্যিক সরঞ্জামগুলি সঠিকভাবে ব্যবহার করতে পারে এবং নম্বর তৈরি করা এড়াতে পারে — একই ক্ষমতার এন্টারপ্রাইজগুলি সাধারণত ব্যাক-অফিস অটোমেশনের জন্য প্রয়োজন।
পৃষ্ঠাটি তার ফলাফলগুলিকে "বর্তমান রাউন্ড" হিসাবে বর্ণনা করে, একই বেঞ্চমার্ক রিলিজের অধীনে মূল্যায়ন করা সমস্ত মডেল সহ, এবং রাউন্ডে ইতিমধ্যেই মার্কিন এবং চীনা ল্যাবগুলিতে বিস্তৃত বিশটি মডেল অন্তর্ভুক্ত রয়েছে। যদি এই রাউন্ডে খরচের বক্ররেখা ধরে থাকে — পণ্যের দামে সীমান্ত নির্ভুলতা — পেশাদার জ্ঞান কাজের খোলা এবং বন্ধ মডেলের মধ্যে ব্যবহারিক ব্যবধান শীঘ্রই পয়েন্টের পরিবর্তে ডলারে পরিমাপ করা যেতে পারে।
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
