Провідні чат-боти зі штучним інтелектом найчастіше дають неправильні відповіді на фінансові запитання, згідно з новим звітом про дослідження британської фінансово-технічної компанії Saturn, який протестував 18 найпопулярніших моделей штучного інтелекту та виявив середній рівень помилок у 57%, повідомляє Financial Times у понеділок.

Звіт під назвою «Штучний авторитет» з’явився в той момент, коли мільйони споживачів все частіше звертаються до чат-ботів, щоб отримати рекомендації щодо пенсій, податків, боргів і заощаджень — питань, на які одна неправильна відповідь може мати реальні фінансові наслідки. Оскільки помічники загального призначення потрапляють на регульовану територію, дослідження, подібні до цього, стають регулярним стрес-тестом споживчих обіцянок галузі, і ми продовжуватимемо відстежувати останні розробки штучного інтелекту в міру реагування регуляторів.

Як працював тест

Команда Saturn дослідила 18 найпоширеніших моделей штучного інтелекту через 121 питання, пов’язане з пенсіями, податками, боргами та заощадженнями — основними сферами, куди роздрібні споживачі найчастіше звертаються за порадою. Відповідно до опублікованого підсумку звіту, протестовані моделі включали ChatGPT, Gemini, Claude і Microsoft Copilot.

За словами Saturn, у середньому моделі помилялися в 57% випадків. Компанія сформулювала висновки як такі, що стосуються «помилок, пов’язаних із захистом прав споживачів», і використала їх, щоб стверджувати, що розрив у консультаціях Великобританії — розрив між людьми, які мають доступ до регульованих фінансових консультацій, і тими, хто не може — не можна закрити лише нерегульованими чат-ботами.

Навіть найкраща модель часто помилялася

Результати були неоднаковими, але навіть найсильніші виконавці часто зазнавали невдачі. Згідно зі звітом FT, найефективнішою моделлю була Claude Opus 5 від Anthropic, яка працювала в режимі аргументації — і вона все ще допускала помилки в 39% відповідей.

Ця деталь може виявитися найбільш значущим висновком звіту. Режими міркування, які дозволяють моделям обдумувати, перш ніж відповісти, є провідною в галузі відповіддю на галюцинації та помилки, а передові моделі регулярно публікують хороші результати на професійних іспитах з фінансів і права. Рівень помилок у практичних фінансових питаннях у 39% свідчить про те, що контрольні тести в стилі іспиту та запити споживачів у реальному світі вимірюють дуже різні речі.

Висновки також викликали негативну реакцію. Коментатори Hacker News поставили під сумнів методологію та вибір моделі, зазначивши, що кілька прикладів помилок у звіті походять від менших моделей безкоштовного рівня. Але середня цифра 57% і найкраща в своєму класі цифра 39% відповідають опублікованим заявам Saturn і FT, і головне попередження звіту про те, що споживачі не повинні розглядати результати чат-ботів як регламентовану пораду, не оскаржувалося.

Попередження, яке регулятори чули раніше

Доповідь припадає на тлі зростаючого офіційного занепокоєння щодо чат-ботів у грошових питаннях. Споживачі Великобританії вже були попереджені про те, що чат-боти штучного інтелекту надають неточні фінансові поради в широко висвітленому попередженні, опублікованому The Guardian наприкінці 2025 року, а фінансові регулятори в Європі та Сполучених Штатах з тих пір позначають поради, створені штучним інтелектом, як сферу ризику для споживачів.

Власна позиція Saturn надає звіту особливу перевагу: компанія розробляє інструменти штучного інтелекту для фінансових консультацій, і вона опублікувала висновки не як відмову від штучного інтелекту у фінансах, а як аргумент для того, щоб правильно поставити захисні огородження. Його аргумент полягає в тому, що погано керовані чат-боти вже заповнюють прогалину в порадах за замовчуванням, і що регулятори мають вибір між контрольованим і неконтрольованим ШІ-керівництвом, а не між ШІ та людськими порадами.

Внесок Saturn у цю дискусію полягає в аргументі щодо розробки політики: компанія каже, що перехід від того, що вона називає надмірним регулюванням, до встановлення практичних огорож для великих мовних моделей швидше зменшить розрив у порадах, водночас захистить людей від нерегульованих вказівок ШІ. Іншими словами, замість того, щоб повністю позбавляти ШІ фінансових консультацій, створюйте контрольовані, обмежені розгортання, які можуть безпечно обслуговувати клієнтів, для яких люди-консультанти занадто дорогі.

Це формування має значення, тому що прогалина в порадах є найвагомішим виправданням для того, щоб бути в цьому просторі взагалі. У Великій Британії більшість домогосподарств виходять за межі, за якими регульовані фінансові консультації вважаються економічно життєздатними, тобто населення зараз запитує чат-ботів про пенсії та борги.

Що споживачі повинні взяти з собою

Поки моделі не покращаться або регулятори не втручаються, практичне керівництво дослідження є простим:

  • Сприймайте відповіді чат-бота щодо податків, пенсій, боргів і заощаджень як відправну точку для дослідження, а не як пораду.
  • Перевірте будь-яку конкретну цифру — пороги, ставки, надбавки — з офіційним джерелом, перш ніж діяти на її основі.
  • Будьте особливо обережні з безкоштовними моделями, які можуть бути старшими або меншими за флагманські версії, які рекламує лабораторія.
  • Для прийняття непрямих рішень регульований консультант залишається єдиним каналом юридичної відповідальності.

У звіті піднімається ширше питання, з яким індустрія штучного інтелекту неодноразово стикатиметься у 2026 році: можливості, які вражають у демонстраціях і тестах, все ще можуть не досягати планки надійності, якої вимагають регульовані домени. Фінансові консультації – це просто перша арена, де ця прогалина була кількісно виражена настільки яскраво.

Будьте попереду ШІ

Відстеження того, як ШІ змінює фінанси, дослідження та регулювання? Читайте більше новин AI на AI Buzz Wire — незалежне висвітлення AI щодня.

---

Будьте попереду ШІ

Отримуйте останні новини штучного інтелекту, аналіз і прориви — усе в одному місці.

Читати більше новин AI →