AI 챗봇은 대부분의 경우 잘못된 금융 답변을 제공한다는 영국 연구 결과

이번 주 FT가 다룬 영국 연구에 따르면 AI 챗봇은 금융 질문에 최대 57%까지 부정확하게 답변하여 AI 자금 조언에 대한 경고를 갱신했습니다.

대서양 양쪽에 대한 보도의 물결은 규제 당국이 2년 동안 표명해 온 우려에 큰 부담을 안겨주었습니다. 사람들이 AI 챗봇에게 돈에 대해 질문하면 대답이 옳은 것보다 틀린 경우가 더 많습니다. 파이낸셜 타임즈(Financial Times)에 따르면, 최근 영국의 연구에 따르면 AI 챗봇은 "대부분의 경우" 금융 관련 질문에 잘못된 답변을 제공하는 것으로 나타났습니다.

최신 AI 속보 및 분석을 보려면 AI Buzz Wire를 방문하세요.

연구 결과

이 헤드라인 수치는 지난 9월 초 Saturn의 연구를 인용하여 AI 모델이 57%의 잘못된 재무 조언을 제공한다고 보도한 무역 간행물 Financial Reporter에서 나온 것입니다. IBS Intelligence도 동일한 57%의 오류율을 보고했습니다. Yahoo Finance의 보도에서는 영국 퇴직 플랫폼 PensionBee와 관련된 연구를 설명했으며 BeInCrypto에서는 테스트가 대략 10,000개의 답변에 걸쳐 있다고 보고했습니다. 초기 보도에서 서로 다른 속성은 연구가 여러 당사자와 관련되었음을 나타냅니다. 콘센트 전반에 걸친 일관된 스레드는 실패율의 척도입니다.

오류는 추상적이지 않습니다. Mortgage Professional America는 보험 적용 범위의 한 가지 예를 강조했습니다. 챗봇은 모기지 대출자에게 지불 휴가를 받아도 신용 점수에 영향을 미치지 않는다고 말했습니다. 그럴 수 있습니다. 그리고 그 대답에 대해 중요한 재정적 결정을 내리는 가구의 경우 구별하는 데 비용이 많이 듭니다.

이번 주까지 이야기는 주류로 넘어갔습니다. InvestmentNews는 "AI 챗봇이 대부분의 경우 잘못된 재정적 답변을 제공한다는 연구 결과가 나왔습니다"라는 제목으로 보도했으며 Tom's Guide는 연구 결과에 따라 AI가 비용을 초래할 수 있다고 독자들에게 경고했습니다.

이상값이 아닌 패턴

영국의 연구 결과는 비슷한 결론을 내리는 점점 늘어나는 연구 스택의 맨 위에 있습니다. 3월에 널리 다룬 이전 분석에 따르면 ChatGPT는 돈 관련 질문에 대해 약 35%의 잘못된 답변을 제공한 것으로 나타났습니다. 지난 8월 스탠포드와 MIT 연구원들은 AI가 남성보다 여성에게 더 나쁜 투자 조언을 제공한다는 사실을 발견했다고 보고했습니다. 파이낸셜 타임스(Financial Times)는 8월에 젊은 영국인 중 거의 절반이 AI 재정 조언이 규제된다고 잘못 믿고 있다고 보도했습니다. 이는 부정확한 답변을 더 위험하게 만드는 인식 격차입니다.

그리고 사용량에 관계없이 계속해서 증가하고 있습니다. NerdWallet의 연도 중반 데이터 보고에 따르면 미국인들은 이미 상당한 수의 금융 조언을 위해 챗봇을 사용하고 있으며, 이것이 바로 정확성 결과가 학문적 퀴즈로 보관되기보다는 소비자 옹호자들의 관심을 끌고 있는 이유입니다.

재정적 질문이 챗봇을 방해하는 이유

재정적 조언은 대규모 언어 모델이 가장 어려워하는 모든 것의 교차점에 있습니다. 정답은 국가별로 변경되고 달라지는 현재의 관할권별 규칙(세금 기준, 신용 점수 메커니즘, 연금 규정)에 따라 다릅니다. 또한 모델은 자신있게 들리는 일반성으로 위험을 회피하는 경향이 있으며 사용자는 일반적인 지침이 적용되는지 여부를 결정하는 개인적인 맥락(소득, 기존 부채, 목표)을 제공하지 않는 경우가 많습니다.

돈 특유의 비대칭 문제도 있습니다. 시에 대한 잘못된 대답은 당혹스럽지만 지불 유예로 인한 신용 영향에 대한 잘못된 대답은 몇 달 후에 발견된 실제 금전적 피해로 이어질 수 있습니다.

규제기관과 사용자가 이로부터 취해야 할 것

영국 규제 당국은 가디언(The Guardian)이 부정확한 금융 조언을 제공하는 챗봇에 대해 공식적인 경고를 보도한 이후 적어도 2025년 후반부터 규제되지 않은 AI 금융 지침에 대해 소비자들에게 경고해 왔습니다. 새로운 연구는 이러한 경고에 구체적인 실패율을 제공합니다. 현명한 해석은 AI가 개인 금융에 쓸모가 없다는 것이 아니라(모델이 개념을 잘 설명할 수 있음) 교육과 조언 사이의 경계가 사용자에게는 여전히 모호하고 규제 기관의 규칙서에서만 명확하다는 것입니다.

도메인별 금융 질문에 대한 챗봇의 정확성이 급격히 향상될 때까지 연구 범위의 실제 지침은 간단합니다. AI 자금 답변을 연구의 출발점으로 취급하고 결정 자체로 간주하지 말고 조치를 취하기 전에 규제 대상 소스에 대해 신용 영향, 세금 처리, 연금 규정 등 결과적인 모든 사항을 확인하십시오.