Ведущие чат-боты с искусственным интеллектом чаще всего дают неверные ответы на финансовые вопросы, согласно новому исследовательскому отчету британской финтех-компании Saturn, которая протестировала 18 самых популярных моделей искусственного интеллекта и выявила средний уровень ошибок 57%, сообщила Financial Times в понедельник.

Отчет под названием «Искусственный авторитет» появился на фоне того, как миллионы потребителей все чаще обращаются к чат-ботам за советом по вопросам пенсий, налогов, долгов и сбережений — вопросов, где единственный неверный ответ может повлечь за собой реальные финансовые последствия. Поскольку универсальные помощники вытесняются на регулируемую территорию, исследования, подобные этому, становятся повторяющимся стресс-тестом потребительских обещаний отрасли, и мы будем продолжать отслеживать последние разработки в области искусственного интеллекта по мере реакции регулирующих органов.

Как работал тест

Команда Saturn рассмотрела 18 наиболее широко используемых моделей искусственного интеллекта, ответив на 121 вопрос, охватывающий пенсии, налоги, долги и сбережения — основные области, в которых розничные потребители чаще всего обращаются за советом. Согласно опубликованному резюме отчета, протестированные модели включали ChatGPT, Gemini, Claude и Microsoft Copilot.

По данным Saturn, в среднем модели допускали ошибки в 57% случаев. Компания сформулировала результаты как охватывающие «от ошибок до неспособности защитить потребителей» и использовала их, чтобы доказать, что разрыв в консультировании в Великобритании — разрыв между людьми, которые могут получить доступ к регулируемым финансовым консультациям, и теми, кто не может — не будет закрыт одними нерегулируемыми чат-ботами.

Даже лучшая модель часто ошибается

Результаты не были равномерными, но даже самый сильный исполнитель часто терпел неудачи. Согласно отчету FT, самой эффективной моделью оказалась модель Claude Opus 5 от Anthropic, работающая в режиме рассуждения — и она все равно допустила ошибки в 39% ответов.

Эта деталь может оказаться наиболее важным выводом отчета. Режимы рассуждения, которые позволяют моделям обдумать, прежде чем ответить, являются ведущим в отрасли ответом на галлюцинации и ошибки, а передовые модели регулярно показывают высокие результаты на профессиональных экзаменах по финансам и праву. Коэффициент ошибок в 39% при ответе на практические финансовые вопросы предполагает, что тесты в стиле экзаменов и реальные потребительские запросы измеряют совершенно разные вещи.

Результаты также вызвали негативную реакцию. Комментаторы Hacker News поставили под сомнение методологию и выбор модели, отметив, что некоторые ошибки в примерах отчета связаны с меньшими моделями бесплатного уровня. Но средний показатель в 57% и лучший в своем классе показатель в 39% соответствуют опубликованным заявлениям Saturn и FT, а главное предупреждение отчета о том, что потребители не должны рассматривать результаты чат-бота как регулируемую рекомендацию, не оспаривалось.

Предупреждение, которое регулирующие органы слышали раньше

Отчет появился на фоне растущей обеспокоенности властей по поводу чат-ботов в финансовых вопросах. Британские потребители уже были предупреждены о том, что чат-боты с искусственным интеллектом дают неточные финансовые советы, в широко освещаемом предупреждении, опубликованном The Guardian в конце 2025 года, а финансовые регуляторы в Европе и США с тех пор отметили советы, генерируемые искусственным интеллектом, как новую область потребительского риска.

Собственная позиция Saturn придает отчету особое преимущество: компания разрабатывает инструменты искусственного интеллекта для финансового консультирования и опубликовала результаты не как отказ от использования искусственного интеллекта в финансах, а как аргумент в пользу того, чтобы правильно поставить барьеры. Его аргумент заключается в том, что плохо управляемые чат-боты уже по умолчанию заполняют пробел в консультировании, и что перед регулирующими органами стоит выбор между контролируемым руководством ИИ и неконтролируемым руководством ИИ, а не между ИИ и человеческим советом.

Вклад Saturn в эти дебаты — это спор о разработке политики: компания заявляет, что переход от того, что она называет чрезмерным регулированием, к установлению практических ограничений для больших языковых моделей быстрее сократит разрыв в советах, одновременно защитив людей от нерегулируемого руководства ИИ. Другими словами, вместо того, чтобы полностью исключать ИИ из финансовых консультаций, создайте контролируемые, ограниченные развертывания, которые могут безопасно обслуживать клиентов, связаться с которыми консультантам-людям слишком дорого.

Эта формулировка имеет значение, поскольку дефицит рекомендаций является для отрасли самым веским оправданием присутствия в этой сфере вообще. В Великобритании большинство домохозяйств выходят за порог, при котором регулируемые финансовые консультации считаются экономически жизнеспособными, и именно это население сейчас спрашивает чат-ботов о пенсиях и долгах.

Что следует взять с собой потребителям

Пока модели не улучшатся или не вмешаются регулирующие органы, практическое руководство исследования будет простым:

  • Относитесь к ответам чат-бота о налогах, пенсиях, долгах и сбережениях как к отправной точке для исследования, а не как к совету.
  • Сверяйте любую конкретную цифру (пороги, ставки, надбавки) с официальным источником, прежде чем действовать на ее основе.
– Будьте особенно осторожны с моделями бесплатного уровня, которые могут быть старше или меньше флагманских версий, продвигаемых лабораторией.
  • Для принятия последующих решений регулируемый консультант-человек остается единственным каналом, обеспечивающим юридическую ответственность.

Более широкий вопрос, который поднимает отчет, — это вопрос, с которым индустрия искусственного интеллекта столкнется неоднократно в 2026 году: возможности, которые впечатляют в демонстрациях и тестах, все еще могут не соответствовать планке надежности, которая регулирует спрос в доменах. Финансовые консультации — это просто первая сфера, где этот разрыв был так резко выражен количественно.

Будьте впереди ИИ

Отслеживаете, как ИИ меняет финансы, исследования и регулирование? Подробнее читайте новости об искусственном интеллекте на AI Buzz Wire — независимое освещение событий в области искусственного интеллекта каждый день.

---

Будьте впереди ИИ

Получайте последние новости, анализ и открытия в области искусственного интеллекта — все в одном месте.

Подробнее новости AI →