영국 핀테크 보고서에 따르면 AI 챗봇은 대부분의 경우 잘못된 재정 조언을 받습니다.

Fintech Saturn은 121개의 금융 질문에 대해 18개의 주요 AI 모델을 테스트했으며 Financial Times에서 보고한 결과에 따르면 평균 오류율이 57%인 것으로 나타났습니다.

영국 핀테크 새턴(Saturn)이 가장 인기 있는 AI 모델 18개를 테스트한 결과 평균 57%의 오류율을 발견했다는 새로운 연구 보고서에 따르면, 선도적인 AI 챗봇은 금융 관련 질문에 대해 종종 잘못된 답변을 제공한다고 파이낸셜 타임즈(Financial Times)가 월요일 보도했습니다.

"인공 권위(Artificial Authority)"라는 제목의 이 보고서는 수백만 명의 소비자가 연금, 세금, 부채 및 저축에 대한 안내를 위해 점점 더 챗봇을 사용하고 있는 가운데 발표되었습니다. 이러한 질문은 단 하나의 잘못된 답변이 실제 재정적 결과를 가져올 수 있는 질문입니다. 범용 보조자가 규제 영역으로 밀려나면서 이와 같은 연구는 업계 소비자 약속에 대한 반복적인 스트레스 테스트가 되고 있으며, 우리는 규제 기관의 대응에 따라 최신 AI 개발을 계속 추적할 것입니다.

테스트 작동 방식

Saturn의 도메인 팀은 소매 소비자가 가장 자주 조언을 구하는 핵심 영역인 연금, 세금, 부채 및 저축에 대한 121개의 질문을 통해 가장 널리 사용되는 AI 모델 중 18개를 제시했습니다. 보고서에 게시된 요약에 따르면 테스트된 모델에는 ChatGPT, Gemini, Claude 및 Microsoft의 Copilot이 포함되었습니다.

평균적으로 모델들은 57%의 실수를 저질렀다고 Saturn은 말했습니다. 회사는 조사 결과를 "소비자 보호 실패에 관한 실수"로 구성하고 이를 사용하여 영국의 조언 격차(규제된 금융 조언에 접근할 수 있는 사람과 접근할 수 없는 사람 사이의 격차)가 규제되지 않은 챗봇만으로는 해소되지 않을 것이라고 주장했습니다.

최고의 모델도 자주 실수를 한다

결과는 균일하지 않았지만 가장 강력한 성과자라도 종종 실패했습니다. FT의 보고서에 따르면 가장 성능이 좋은 모델은 추론 모드에서 실행되는 Anthropic의 Claude Opus 5였으며 여전히 답변의 39%에서 실수를 범했습니다.

이 세부 사항은 보고서의 가장 중요한 결과가 될 수 있습니다. 모델이 답변하기 전에 숙고하도록 하는 추론 모드는 환각과 오류에 대한 업계 최고의 답변이며, 프론티어 모델은 정기적으로 금융 및 법률 분야의 전문 시험에서 강력한 결과를 게시합니다. 실용적인 금융 질문에 대한 39%의 오류율은 시험 스타일 벤치마크와 실제 소비자 쿼리가 매우 다른 것을 측정한다는 것을 의미합니다.

이번 연구 결과는 반발도 불러일으켰다. Hacker News의 논평자들은 방법론과 모델 선택에 의문을 제기하면서 보고서의 몇 가지 예시 오류가 더 작은 무료 계층 모델에서 나왔다는 점을 지적했습니다. 그러나 평균 57%와 동급 최고 39% 수치는 Saturn과 FT가 발표한 주장이며 소비자가 챗봇 출력을 규제된 조언으로 취급해서는 안 된다는 보고서의 중앙 경고는 이의를 제기하지 않았습니다.

규제 당국이 이전에 들었던 경고

이 보고서는 금전 문제와 관련해 챗봇에 대한 공식적인 불안이 커지는 가운데 나왔습니다. 영국 소비자들은 이미 2025년 말 The Guardian이 발행한 광범위한 경고를 통해 AI 챗봇이 부정확한 금융 조언을 제공한다는 경고를 받았으며, 이후 유럽과 미국 전역의 금융 규제 당국은 AI가 생성한 조언을 새로운 소비자 위험 영역으로 표시했습니다.

Saturn의 입장은 보고서에 특별한 이점을 제공합니다. 이 회사는 재무 조언을 위한 AI 도구를 개발하고 그 결과를 금융 AI를 거부하는 것이 아니라 가드레일을 올바르게 설정하기 위한 사례로 발표했습니다. 그 주장은 제대로 관리되지 않는 챗봇이 이미 기본적으로 조언 격차를 메우고 있으며, 규제 기관이 직면한 선택은 AI와 인간의 조언 사이가 아니라 감독된 AI 지침과 비지도 AI 지침 사이에 있다는 것입니다.

해당 논쟁에 대한 Saturn의 기여는 정책 설계에 대한 논쟁입니다. 회사는 과도한 규제라고 부르는 것에서 대규모 언어 모델에 실용적인 가드레일을 배치하는 방향으로 전환하면 규제되지 않은 AI 지침으로부터 사람들을 보호하는 동시에 조언 격차를 더 빨리 줄일 수 있다고 말합니다. 즉, AI를 재정적 조언에서 완전히 배제하는 대신, 인간 조언자가 도달하기에는 비용이 너무 많이 드는 고객에게 안전하게 서비스를 제공할 수 있는 감독되고 제한된 배포를 구축하십시오.

조언 격차는 업계에서 이 분야에 존재하는 가장 강력한 근거이기 때문에 이러한 프레이밍이 중요합니다. 영국에서는 대부분의 가구가 규제된 금융 조언이 경제적으로 실행 가능한 것으로 간주되는 기준을 벗어났습니다. 이는 바로 현재 연금 및 부채에 대해 챗봇을 요청하는 인구입니다.

소비자가 가져가야 할 것

모델이 개선되거나 규제 기관이 개입할 때까지 연구의 실제 지침은 간단합니다.

세금, 연금, 부채, 저축에 대한 챗봇 답변을 조언이 아닌 연구의 출발점으로 삼으세요.

조치를 취하기 전에 공식 출처와 비교하여 특정 수치(한도, 요율, 허용량)를 확인하십시오.

실험실에서 홍보하는 주력 버전보다 오래되었거나 작을 수 있는 무료 계층 모델의 경우 특히 주의하십시오.

결과적 결정의 경우, 규제된 인간 조언자는 법적 책임이 부여되는 유일한 채널로 남아 있습니다.

보고서가 제기하는 더 광범위한 질문은 AI 산업이 2026년에 반복적으로 직면하게 될 질문입니다. 데모와 벤치마크에서 인상적인 기능은 규제 도메인이 요구하는 신뢰성 기준에 여전히 미치지 못할 수 있습니다. 재무 조언은 그 격차가 이렇게 극명하게 정량화되는 첫 번째 영역일 뿐입니다.