Model AI open-weight mendekati pesaingnya dalam pekerjaan akuntansi di dunia nyata, menurut hasil terbaru dari Accounting AI Benchmark yang dijalankan oleh perusahaan akuntansi AI DualEntry — dengan Gemini 4 Argon dari Google memimpin secara keseluruhan dan model terbuka Tiongkok mencatat akurasi yang hampir sama dengan harga yang lebih murah.
Tolok ukur tersebut, yang dicakup oleh Yahoo Finance dengan judul bahwa model AI sumber terbuka "mengejar" model AI yang tertutup dalam pekerjaan akuntansi, menguji model-model terkemuka pada 101 tugas di delapan bidang akuntansi, mulai dari klasifikasi transaksi dan entri jurnal hingga rekonsiliasi, pelaporan keuangan, dan penutupan akhir bulan. Setiap model bekerja dari pembukuan perusahaan yang sama, menerima instruksi yang sama, dan memiliki akses ke alat akuntansi yang sama, dengan setiap model dijalankan tiga kali untuk mengukur konsistensi. For more context on this story, see our ongoing artificial intelligence updates.
Gemini 4 Argon Memimpin, tapi Kesenjangannya Tipis
Gemini 4 Argon menduduki puncak papan peringkat dengan akurasi 91,1%, menyelesaikan tugas rata-rata 18 detik dengan biaya $0,115 per tugas, dengan skor konsistensi terbaik dari model mana pun sebesar 86,1%.
Tapi paket pengejarnya sudah dekat – dan sangat murah. GLM-5.3 Flash bobot terbuka Z.ai memperoleh skor 88,1%, setara dengan Grok 4.7 xAI, dengan biaya hanya $0,006 per tugas, kira-kira 5% dari pengeluaran model andalan Google. Kimi K3.1 Pro, model berbobot terbuka lainnya dari Moonshot AI, mengikuti dengan perolehan 86,1%, menempatkan dua model terbuka di antara empat model dengan performa terbaik.
Claude Fable 5.1 dari Anthropic membukukan 85,1% pada $1,18 per tugas — model paling mahal yang diuji — sementara Claude Opus 5.5 mencetak 82,2% pada $0,452. GPT-6 Astra OpenAI mencapai 81,2% dengan harga $0,494 per tugas.
Kisah Biaya Adalah Judul Sebenarnya
Angka yang paling mencolok dalam hasil mungkin adalah milik DeepSeek. DeepSeek V4.1 Flash mencetak skor 84,2% pada $0,003 per tugas, menurut kesimpulan utama DualEntry — dibandingkan dengan Claude Fable 5.1 pada 85,1% dan $1,18 per tugas. Itu kira-kira 400 kali lipat biaya untuk skor yang kurang dari satu poin lebih tinggi.
Biaya per tugas sangat bervariasi bahkan di antara model-model dengan akurasi serupa, penulis catatan benchmark tersebut, menunjukkan bahwa perusahaan yang mengotomatisasi alur kerja pembukuan dapat memotong tagihan inferensi dengan urutan besarnya hanya dengan memilih model yang tepat untuk tugas tersebut.
Dimana Model Masih Berjuang
Akuntansi bukanlah masalah yang terpecahkan untuk laboratorium perbatasan mana pun. Performanya sangat bervariasi berdasarkan bidang tugas: model rata-rata menghasilkan 93,5% pada klasifikasi transaksi namun hanya 64,7% pada dua bidang tersulit, yaitu piutang dan penutupan akhir bulan. Spread terluas terjadi pada akun piutang dengan skor berkisar antara 41,7% hingga 91,7%.
Tidak ada satu model pun yang mendominasi. Kimi K3.1 Pro mengalahkan Gemini 4 Argon dalam hal rekonsiliasi bank, dengan skor sempurna 100% dibandingkan Google 75%, sementara Kimi K3 memimpin penutupan akhir bulan dengan 91,7%. Gemini 3.8 Flash adalah satu-satunya model yang memberikan skor sempurna pada entri jurnal. Setiap model yang diuji mendapat nilai bagus dalam pertanyaan pilihan ganda pengetahuan akuntansi benchmark, dengan skor 100%.
Konsistensi juga berbeda dari akurasi mentah: Grok 4.7 berada di urutan kedua dalam akurasi 88,1% tetapi menyelesaikan ketiga proses dengan sukses hanya pada 74,3% tugas, sementara Claude Fable 5.1 lebih konsisten pada 80,2% meskipun skor akurasinya lebih rendah.
Pengakuan Kepentingan — dan Sinyal untuk AI Perusahaan
DualEntry, yang membuat perangkat lunak akuntansi asli AI, menerbitkan tolok ukur untuk menampilkan lanskap model untuk domainnya sendiri, sehingga perusahaan harus memperlakukannya sebagai satu titik data, bukan sebagai pengadilan netral untuk banding akhir. Metodologinya setidaknya transparan: buku yang identik, alat yang identik, instruksi yang identik, tiga proses per model, dengan hasil, biaya, dan durasi yang dipublikasikan per tugas.
Namun, pola tersebut mencerminkan apa yang ditunjukkan oleh evaluasi independen di domain lain: tingkat bobot terbuka — dipimpin oleh keluarga GLM Z.ai, model Kimi dari Moonshot, dan DeepSeek — kini berada dalam beberapa poin persentase dari batasan tertutup dalam pekerjaan profesional terstruktur, dengan biaya yang membuat penerapan volume menjadi sepele. Bagi firma akuntansi dan tim keuangan yang mengevaluasi agen AI, label frontier mungkin tidak lagi bernilai tinggi.
Detail Dibalik Pemeringkatan
Perincian per tugas menunjukkan betapa berbedanya kegagalan model. GLM-5.3 Flash menyamai Gemini 4 Argon dalam pelaporan keuangan sebesar 100% dan memperoleh skor 92,3% pada klasifikasi transaksi dan entri jurnal, namun turun menjadi 75% pada rekonsiliasi bank dan piutang. Gemini 4 Argon, sebaliknya, membukukan skor sempurna pada klasifikasi transaksi dan pelaporan keuangan dan memimpin piutang sebesar 91,7% — namun hanya berhasil 75% pada rekonsiliasi bank, tugas yang diselesaikan Kimi K3.1 Pro.
Ketidakkonsistenan antar jenis tugas penting bagi para praktisi. Tim keuangan yang mengotomatiskan pemrosesan faktur menghadapi pilihan model yang sangat berbeda dibandingkan tim keuangan yang mengotomatisasi penutupan akhir bulan, dan data tingkat area tolok ukur menunjukkan model "terbaik" bergantung pada entri buku besar mana yang mendominasi beban kerja.
Mengapa Akuntansi Merupakan Tempat Ujian yang Berguna
Akuntansi telah muncul sebagai tempat pembuktian yang disukai untuk AI agen karena akuntansi terstruktur, dapat diverifikasi, dan tidak dapat dimaafkan: entri jurnal seimbang atau tidak. Tidak seperti arena chatbot yang menghargai prosa yang fasih, tolok ukur berbasis tugas dalam domain ini mengukur apakah suatu model dapat mengikuti instruksi multi-langkah, menggunakan alat eksternal dengan benar, dan menghindari pemalsuan angka — kemampuan yang sama yang dibutuhkan perusahaan untuk otomatisasi back-office secara umum.
Halaman tersebut menggambarkan hasilnya sebagai "putaran saat ini", dengan semua model dievaluasi berdasarkan rilis benchmark yang sama, dan putaran tersebut sudah mencakup dua puluh model yang mencakup laboratorium AS dan Tiongkok. Jika kurva biaya pada putaran ini bertahan – akurasi terdepan pada harga komoditas – kesenjangan praktis antara model terbuka dan tertutup dalam pekerjaan pengetahuan profesional akan segera diukur dalam dolar, bukan poin.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
