Yapay zeka muhasebe şirketi DualEntry tarafından yürütülen Accounting AI Benchmark'ın en son sonuçlarına göre, açık ağırlıklı yapay zeka modelleri, gerçek dünyadaki muhasebe çalışmalarındaki kapalı sınır rakiplerine yaklaşıyor; Google'ın Gemini 4 Argon'u genel olarak önde gidiyor ve Çin açık modelleri, fiyatın küçük bir kısmı karşılığında neredeyse aynı doğruluk sağlıyor.
Yahoo Finance tarafından açık kaynaklı yapay zeka modellerinin muhasebe işlerinde kapalı modelleri "yakaladığı" başlığı altında ele alınan kıyaslama, işlem sınıflandırması ve yevmiye girişlerinden mutabakata, finansal raporlamaya ve ay sonu kapanışına kadar muhasebenin sekiz alanında 101 görev üzerinde önde gelen modelleri test ediyor. Her model aynı şirket kitaplarından çalışır, aynı talimatları alır ve aynı muhasebe araçlarına erişime sahiptir; tutarlılığı ölçmek için her model üç kez çalıştırılır. For more context on this story, see our ongoing more AI stories.
İkizler 4 Argon Önde, Ancak Aradaki Fark Çok İnce
Gemini 4 Argon, %91,1 doğruluk oranıyla liderlik sıralamasında üst sıralarda yer alıyor; görevleri görev başına 0,115 ABD Doları maliyetle ortalama 18 saniyede tamamlıyor ve %86,1 ile tüm modeller arasında en iyi tutarlılık puanına sahip.
Ancak kovalamaca paketi yakın ve oldukça ucuz. Z.ai'nin açık ağırlıklı GLM-5.3 Flash'ı, xAI'nin Grok 4.7'siyle eşit bir şekilde %88,1 puan aldı ve görev başına yalnızca 0,006 ABD dolarına mal oldu; bu da Google'ın amiral gemisi modelinin harcadığının kabaca %5'i kadardı. Moonshot AI'nin bir başka açık ağırlıklı modeli olan Kimi K3.1 Pro %86,1 ile onu takip etti ve iki açık model ilk dört performans sergileyenler arasında yer aldı.
Anthropic'in Claude Fable 5.1'i, görev başına 1,18 dolardan %85,1 puan alırken (test edilen en pahalı model), Claude Opus 5.5 ise 0,452 dolardan %82,2 puan aldı. OpenAI'nin GPT-6 Astra'sı görev başına 0,494 dolardan %81,2'ye ulaştı.
Maliyet Hikayesi Gerçek Başlıktır
Sonuçlardaki en belirgin sayı DeepSeek'inki olabilir. DualEntry'nin temel sonuçlarına göre DeepSeek V4.1 Flash, görev başına 0,003 ABD Doları ile %84,2 puan aldı; Claude Fable 5.1 ise %85,1 ve görev başına 1,18 ABD Doları ile karşılaştırıldığında. Bu, bir puanın altındaki bir puanın maliyetinin kabaca 400 katıdır.
Karşılaştırmalı değerlendirmenin yazarları, görev başına maliyetin, benzer doğruluğa sahip modeller arasında bile çok büyük farklılıklar gösterdiğine dikkat çekerek, defter tutma iş akışlarını otomatikleştiren kuruluşların, yalnızca görev için doğru modeli seçerek çıkarım faturalarını büyüklük sırasına göre azaltabileceğini öne sürüyor.
Modellerin Hala Mücadele Ettiği Yer
Muhasebe herhangi bir sınır laboratuarı için çözülmüş bir sorun değildir. Performans, görev alanına göre büyük farklılıklar gösteriyordu: modeller, işlem sınıflandırmasında ortalama %93,5'ken, en zor iki alan olan alacak hesapları ve ay sonu kapanışında yalnızca %64,7'ydi. En geniş fark, puanların %41,7 ile %91,7 arasında değiştiği alacak hesaplarında görüldü.
Tek bir modelin hakimiyeti yok. Kimi K3.1 Pro, banka mutabakatında Gemini 4 Argon'u yenerek Google'ın %75'ine karşı %100 mükemmel bir puan alırken, Kimi K3 ay sonu kapanışında %91,7 ile lider oldu. Gemini 3.8 Flash, günlük girişlerinde mükemmel puan alan tek modeldi. Test edilen her model, karşılaştırmalı değerlendirmenin muhasebe bilgisi çoktan seçmeli sorularını %100 puanla geçti.
Tutarlılık da ham doğruluktan farklıydı: Grok 4.7 %88,1 doğrulukla ikinci sırada yer aldı ancak üç çalıştırmayı da görevlerin yalnızca %74,3'ünde başarıyla tamamladı; Claude Fable 5.1 ise daha düşük doğruluk puanına rağmen %80,2 ile daha tutarlıydı.
Bir İlgi İtirafı ve Kurumsal Yapay Zeka İçin Bir Sinyal
Yapay zekaya dayalı muhasebe yazılımı geliştiren DualEntry, kendi alanı için model ortamını sergilemek üzere karşılaştırmalı değerlendirme yayınlıyor; dolayısıyla işletmelerin bunu tarafsız bir nihai temyiz mahkemesi yerine tek bir veri noktası olarak ele alması gerekiyor. Metodolojisi en azından şeffaftır: aynı kitaplar, aynı araçlar, aynı talimatlar, model başına üç çalıştırma, sonuçlar, maliyetler ve görev başına yayınlanan süreler.
Yine de bu model, diğer alanlardaki bağımsız değerlendirmelerin gösterdiği şeyleri yansıtıyor: Z.ai'nin GLM ailesi, Moonshot'ın Kimi modelleri ve DeepSeek liderliğindeki açık ağırlık kademesi, hacim dağıtımını önemsiz hale getiren maliyetlerle artık yapılandırılmış profesyonel çalışmadaki kapalı sınırın birkaç yüzde puanı içinde yer alıyor. Yapay zeka temsilcilerini değerlendiren muhasebe firmaları ve finans ekipleri için sınır etiketi artık ödenen paraya değmeyebilir.
Sıralamanın Arkasındaki Detaylar
Görev başına dağılım, modellerin ne kadar farklı şekilde başarısız olduğunu gösterir. GLM-5.3 Flash, finansal raporlamada Gemini 4 Argon'u %100 ile eşleştirdi ve hem işlem sınıflandırmasında hem de yevmiye girişlerinde %92,3 puan aldı, ancak banka mutabakatı ve alacak hesaplarında %75'e düştü. Gemini 4 Argon ise tam tersine, işlem sınıflandırması ve finansal raporlamada mükemmel puanlar elde etti ve alacak hesaplarını %91,7 oranında yönetti ancak Kimi K3.1 Pro'nun yerine getirdiği banka mutabakatında yalnızca %75'i başardı.
Görev türleri arasındaki bu tutarsızlık uygulayıcılar için önemlidir. Fatura işlemeyi otomatikleştiren bir finans ekibi, ay sonu kapanışını otomatikleştiren birinden çok farklı bir model seçimiyle karşı karşıyadır ve karşılaştırmalı değerlendirmenin alan düzeyindeki verileri, "en iyi" modelin, hangi defter girişlerinin iş yüküne hakim olduğuna bağlı olduğunu göstermektedir.
Muhasebe Neden Yararlı Bir Test Ortamıdır?
Muhasebe, yapılandırılmış, doğrulanabilir ve affetmez olduğundan, ajansal yapay zeka için tercih edilen bir kanıtlama alanı olarak ortaya çıkmıştır: bir günlük girişi ya dengeler ya da sağlamaz. Akıcı anlatımı ödüllendiren sohbet robotu arenalarının aksine, bu alandaki göreve dayalı kıyaslamalar, bir modelin çok adımlı talimatları takip edip edemediğini, harici araçları doğru şekilde kullanıp kullanmadığını ve uydurma rakamlardan kaçınıp kaçınmadığını ölçer; bu da işletmelerin genel olarak arka ofis otomasyonu için ihtiyaç duyduğu yeteneklerin aynısıdır.
Sayfa, sonuçlarını, tüm modellerin aynı kıyaslama sürümü altında değerlendirildiği "geçerli bir tur" olarak tanımlıyor ve turda halihazırda ABD ve Çin laboratuvarlarını kapsayan yirmi model yer alıyor. Bu turdaki maliyet eğrisi (emtia fiyatlarında sınır doğruluğu) geçerli olursa, mesleki bilgi çalışmasına ilişkin açık ve kapalı modeller arasındaki pratik fark, yakında puan yerine dolar cinsinden ölçülebilir.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
