据英国《金融时报》周一报道，英国金融科技公司 Saturn 的一份新研究报告显示，领先的人工智能聊天机器人经常对金融问题给出错误答案，该报告测试了 18 个最流行的人工智能模型，发现平均错误率为 57%。

这份题为“人为权威”的报告发布之际，正值数百万消费者越来越多地向聊天机器人寻求有关养老金、税收、债务和储蓄的指导——这些问题的一个错误答案就可能带来真正的财务后果。随着通用助理被推入监管领域，像这样的研究正在成为对该行业消费者承诺的反复压力测试，随着监管机构的回应，我们将继续跟踪最新的人工智能发展。

测试如何进行

Saturn 的领域团队将 18 个最广泛使用的人工智能模型应用于 121 个问题，涉及养老金、税收、债务和储蓄——零售消费者最常寻求建议的核心领域。根据报告发布的摘要，测试的模型包括 ChatGPT、Gemini、Claude 和微软的 Copilot。

Saturn 表示，平均而言，这些模型有 57% 的时间会犯错误。该公司将调查结果界定为“关于消费者保护失败的错误”，并用它们来论证英国的建议差距——能够获得受监管的财务建议的人和不能获得受监管的财务建议的人之间的差距——不会仅靠不受监管的聊天机器人来缩小。

即使是最好的模型也经常犯错误

结果并不一致，但即使是表现最好的人也经常失败。根据英国《金融时报》的报告，表现最好的模型是 Anthropic 的 Claude Opus 5，它在推理模式下运行，但它仍然在 39% 的答案中出错。

这一细节可能被证明是该报告最重要的发现。推理模式让模型在回答之前进行深思熟虑，这是业界对幻觉和错误的领先答案，前沿模型通常在金融和法律专业考试中取得优异的成绩。实际财务问题的错误率为 39%，这表明考试式基准和现实世界的消费者查询衡量的东西非常不同。

研究结果也遭到了反对。 《黑客新闻》的评论者对方法和模型选择提出了质疑，指出该报告的几个示例错误来自较小的免费模型。但 57% 的平均水平和 39% 的同类最佳数字符合土星和英国《金融时报》已发表的声明，并且该报告的核心警告——消费者不应将聊天机器人的输出视为受监管的建议——没有争议。

监管机构以前听过的警告

该报告发布之际，官方对聊天机器人在金钱问题上的担忧日益加剧。 《卫报》在 2025 年底发布的一份广泛报道的警报中，英国消费者已经收到关于人工智能聊天机器人提供不准确财务建议的警告，欧洲和美国的金融监管机构此后将人工智能生成的建议标记为新兴的消费者风险领域。

土星自身的立场使该报告具有特殊的优势：该公司开发了用于财务建议的人工智能工具，其发布的调查结果并不是对金融领域人工智能的拒绝，而是作为正确保护护栏的案例。它的论点是，管理不善的聊天机器人已经默认填补了建议的空白，监管机构面临的选择是在有监督的人工智能指导和无监督的人工智能指导之间，而不是在人工智能和人类建议之间。

Saturn 对这场辩论的贡献是关于政策设计的争论：该公司表示，从所谓的过度监管转向为大型语言模型设置实用的护栏，将更快地缩小建议差距，同时保护人们免受不受监管的人工智能指导。换句话说，与其完全将人工智能排除在财务建议之外，不如构建受监督、受限的部署，以安全地为人类顾问的成本太高而无法接触到的客户提供服务。

这个框架很重要，因为建议差距是该行业进入这个领域的最有力的理由。在英国，大多数家庭都超出了受监管的财务建议在经济上可行的门槛，而这正是现在向聊天机器人询问养老金和债务问题的人群。

消费者应该带走什么

在模型改进或监管机构干预之前，该研究的实际指导非常简单：

  • 将聊天机器人关于税收、养老金、债务和储蓄的答案视为研究的起点，而不是建议。
  • 在采取行动之前，根据官方来源核实任何具体数字——阈值、费率、津贴。
  • 对免费型号要特别谨慎，这些型号可能比实验室推广的旗舰版本更旧或更小。
  • 对于后续决策，受监管的人类顾问仍然是附带法律责任的唯一渠道。

该报告提出的更广泛的问题是人工智能行业将在 2026 年反复面临的问题：在演示和基准测试中令人印象深刻的功能仍然无法达到监管领域要求的可靠性标准。财务咨询只是第一个如此明确地量化这种差距的领域。

保持人工智能领先地位

追踪人工智能如何重塑金融、研究和监管？ 在 AI Buzz Wire 上阅读更多人工智能新闻 — 每天都有独立的人工智能报道。

---

保持人工智能领先地位

获取最新的人工智能新闻、分析和突破——尽在一个地方。

阅读更多人工智能新闻 →