Згідно з останніми результатами Accounting AI Benchmark, проведеного бухгалтерською компанією зі штучним інтелектом DualEntry, відкриті моделі штучного інтелекту наближаються до своїх закритих конкурентів у роботі з бухгалтерським обліком, де Gemini 4 Argon від Google лідирує в загальному заліку, а китайські відкриті моделі показують майже однакову точність за невелику частку ціни.

Порівняльний тест, опублікований Yahoo Finance під заголовком про те, що моделі штучного інтелекту з відкритим кодом «наздоганяють» закриті в роботі з бухгалтерським обліком, перевіряє провідні моделі на 101 задачі у восьми сферах бухгалтерського обліку, від класифікації транзакцій і журнальних записів до звірки, фінансової звітності та закриття місяця. Кожна модель працює на підставі одних і тих самих книг компанії, отримує ті самі інструкції та має доступ до тих самих інструментів обліку, причому кожна модель запускається тричі для вимірювання узгодженості. For more context on this story, see our ongoing more AI stories.

Gemini 4 Аргон лідирує, але розрив невеликий

Gemini 4 Argon очолює таблицю лідерів із точністю 91,1%, виконуючи завдання в середньому за 18 секунд за ціною 0,115 доларів США за завдання, з найкращим показником узгодженості серед усіх моделей у 86,1%.

Але пакет Chase є близьким — і надзвичайно дешевим. Відкритий GLM-5.3 Flash від Z.ai набрав 88,1%, порівнявшись із Grok від xAI 4.7, в той час як коштував лише 0,006 доларів США за завдання, приблизно 5% від того, що витрачає флагманська модель Google. Kimi K3.1 Pro, ще одна відкрита модель від Moonshot AI, слідує з показником 86,1%, помістивши дві відкриті моделі серед чотирьох найефективніших.

Claude Fable 5.1 від Anthropic отримав 85,1% при 1,18 долара за завдання — найдорожча тестована модель, а Claude Opus 5.5 — 82,2% при 0,452 долара. GPT-6 Astra від OpenAI досяг 81,2% при $0,494 за завдання.

Історія витрат - справжній заголовок

Найяскравішим числом у результатах може бути DeepSeek. Згідно з ключовими висновками DualEntry, DeepSeek V4.1 Flash набрав 84,2% при 0,003 долара за завдання — у порівнянні з Claude Fable 5.1 — 85,1% і 1,18 долара за завдання. Це приблизно в 400 разів перевищує вартість для оцінки, яка перевищує один бал.

Вартість виконання завдання надзвичайно різнилася навіть серед моделей із подібною точністю, зазначають автори тесту, що свідчить про те, що підприємства, які автоматизують робочі процеси бухгалтерського обліку, можуть на порядок скоротити рахунки за висновки, просто вибравши правильну модель для завдання.

Де моделі все ще борються

Облік не є вирішеною проблемою для жодної прикордонної лабораторії. Ефективність різко різнилася залежно від завдань: моделі в середньому становили 93,5% за класифікацією транзакцій, але лише 64,7% за двома найскладнішими областями, дебіторська заборгованість і закриття на кінець місяця. Найбільший розкид виявився в дебіторській заборгованості, де показники коливалися від 41,7% до 91,7%.

Жодна модель не домінувала. Kimi K3.1 Pro переміг Gemini 4 Argon на звірці банків, набравши ідеальні 100% проти 75% у Google, тоді як Kimi K3 закрився на кінець місяця на 91,7%. Gemini 3.8 Flash була єдиною моделлю, яка опублікувала ідеальну оцінку для записів у журналі. Кожна перевірена модель показала 100% балів у відповіді на питання з кількома варіантами відповідей на знання бухгалтерського обліку.

Узгодженість також відрізнялася від первинної точності: Grok 4.7 посів друге місце за точністю з 88,1%, але успішно виконав усі три запуску лише з 74,3% завдань, тоді як Claude Fable 5.1 був більш послідовним із 80,2%, незважаючи на нижчий показник точності.

Визнання зацікавленості — і сигнал для ШІ підприємства

Компанія DualEntry, яка розробляє програмне забезпечення бухгалтерського обліку на базі штучного інтелекту, публікує еталонний тест, щоб продемонструвати модель ландшафту для власного домену, тому підприємствам слід розглядати його як одну точку даних, а не як нейтральний суд останньої апеляції. Його методологія принаймні прозора: ідентичні книжки, ідентичні інструменти, ідентичні інструкції, три прогони на кожну модель з опублікованими результатами, витратами та тривалістю для кожного завдання.

Тим не менш, модель повторює те, що показали незалежні оцінки в інших сферах: відкритий рівень — на чолі з сімейством GLM Z.ai, моделями Kimi від Moonshot і DeepSeek — тепер знаходиться в межах кількох процентних пунктів від закритого кордону структурованої професійної роботи, з витратами, які роблять масштабне розгортання тривіальним. Для бухгалтерських фірм і фінансових команд, які оцінюють агентів штучного інтелекту, прикордонний ярлик може більше не вартий премії.

Деталі, що стоять за рейтингом

Розподіл за завданнями показує, наскільки різні моделі зазнають невдач. GLM-5.3 Flash збігся з Gemini 4 Argon щодо фінансової звітності на 100% і набрав 92,3% як за класифікацією транзакцій, так і за записами журналу, але знизився до 75% за звіркою банківських даних і дебіторською заборгованістю. Gemini 4 Argon, навпаки, опублікував відмінні оцінки з класифікації транзакцій і фінансової звітності та перевищив показник дебіторської заборгованості на рівні 91,7%, але впорався лише на 75% звірки банківського рахунку, завдання, яке Kimi K3.1 Pro впорався.

Ця неузгодженість між типами завдань має значення для практиків. Фінансова команда, яка автоматизує обробку рахунків-фактур, стикається з вибором моделі, яка зовсім не відрізняється від автоматизованого закриття місяця, а дані порівняльного аналізу на рівні області свідчать про те, що «найкраща» модель залежить від того, які записи в бухгалтерській книзі домінують у робочому навантаженні.

Чому бухгалтерський облік є корисним випробувальним майданчиком

Бухгалтерський облік став найкращим випробувальним полігоном для агентського штучного інтелекту, оскільки він структурований, перевірений і невблаганний: запис у журналі або балансує, або ні. На відміну від арен чат-ботів, які винагороджують за вільну прозу, тести на основі завдань у цьому домені вимірюють, чи може модель виконувати багатоетапні інструкції, правильно використовувати зовнішні інструменти та уникати фальсифікації чисел — ті самі можливості, які загалом потрібні підприємствам для автоматизації бек-офісу.

Сторінка описує його результати як «поточний раунд», коли всі моделі оцінюються за одним тестовим випуском, і раунд уже включає двадцять моделей, що охоплюють лабораторії США та Китаю. Якщо крива витрат у цьому раунді збережеться — гранична точність за товарними цінами — практичний розрив між відкритою та закритою моделями роботи з професійними знаннями незабаром можна буде вимірювати в доларах, а не в балах.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →