Ledande AI-chatbotar ger fel svar på ekonomiska frågor oftare än inte, enligt en ny forskningsrapport av brittiska fintech Saturn som testade 18 av de mest populära AI-modellerna och hittade en genomsnittlig felfrekvens på 57 %, rapporterade Financial Times på måndagen.

Rapporten, med titeln "Artificiell myndighet", kommer när miljontals konsumenter i allt högre grad vänder sig till chatbots för vägledning om pensioner, skatter, skulder och sparande – frågor där ett enda fel svar kan få verkliga ekonomiska konsekvenser. När assistenter för allmänna ändamål pressas in på reglerat territorium, blir studier som denna ett återkommande stresstest av branschens konsumentlöften, och vi kommer att fortsätta följa den senaste AI-utvecklingen när tillsynsmyndigheterna svarar.

Hur testet fungerade

Saturns domänteam satte 18 av de mest använda AI-modellerna genom 121 frågor som spänner över pensioner, skatter, skulder och sparande – de kärnområden där detaljhandelskonsumenter oftast söker råd. Modellerna som testades inkluderade ChatGPT, Gemini, Claude och Microsofts Copilot, enligt rapportens publicerade sammanfattning.

I genomsnitt gjorde modellerna misstag 57% av tiden, sa Saturnus. Företaget inramade resultaten som att spänna över "beträffande misstag till konsumentskyddsmisslyckande" och använde dem för att argumentera att Storbritanniens rådgap – gapet mellan människor som kan få tillgång till reglerad finansiell rådgivning och de som inte kan – inte kommer att stängas av enbart oreglerade chatbots.

Även den bästa modellen gjorde ofta fel

Resultaten var inte enhetliga, men även den starkaste spelaren misslyckades ofta. Enligt FT:s rapport var den bäst presterande modellen Anthropics Claude Opus 5 som körde i resonemangsläge - och den gjorde fortfarande misstag i 39 % av svaren.

Den detaljen kan visa sig vara rapportens mest följdriktiga resultat. Resonemangssätt, som låter modeller överväga innan de svarar, är branschens ledande svar på hallucinationer och misstag, och frontiermodeller publicerar rutinmässigt starka resultat på professionella prov inom finans och juridik. En felfrekvens på 39 % på praktiska ekonomiska frågor tyder på att riktmärken i examensstil och konsumentfrågor i verkligheten mäter mycket olika saker.

Fynden drog också tillbaka. Kommentatorer på Hacker News ifrågasatte metodiken och modellvalet och noterade att flera av rapportens exempelfel kom från mindre fria modeller. Men genomsnittet på 57 % och siffran på 39 % som är bäst i klassen står som publicerade påståenden från Saturnus och FT, och rapportens centrala varning – att konsumenter inte ska behandla chatbot-utdata som reglerade råd – bestreds inte.

En varning Regulatorer har hört förut

Rapporten landar mitt i växande officiell oro över chatbots i pengafrågor. Brittiska konsumenter varnades redan för AI-chatbots som ger felaktiga finansiella råd i en allmänt täckt varning som publicerades av The Guardian i slutet av 2025, och finansiella tillsynsmyndigheter över hela Europa och USA har sedan dess flaggat AI-genererade råd som ett framväxande konsumentriskområde.

Saturns egen position ger rapporten ett särskilt försprång: företaget utvecklar AI-verktyg för finansiell rådgivning, och det publicerade resultaten inte som ett förkastande av AI inom finans utan som ett fall för att få skyddsräckena rätt. Dess argument är att dåligt styrda chatbots redan fyller rådgapet som standard, och att valet som regulatorer står inför är mellan övervakad AI-vägledning och oövervakad AI-vägledning - inte mellan AI och mänsklig rådgivning.

Saturnus bidrag till den debatten är ett argument om policyutformning: företaget säger att en förändring från vad det kallar överdriven reglering till att sätta praktiska skyddsräcken på stora språkmodeller skulle minska rådgapet snabbare samtidigt som det skyddar människor från oreglerad AI-vägledning. Med andra ord, istället för att helt hålla AI utanför finansiell rådgivning, bygg övervakade, begränsade implementeringar som säkert kan betjäna kunder som mänskliga rådgivare är för dyra att nå.

Den inramningen spelar roll eftersom rådgivningsgapet är branschens starkaste motivering för att överhuvudtaget vara i detta utrymme. I Storbritannien faller de flesta hushåll utanför tröskeln vid vilken reglerad finansiell rådgivning anses ekonomiskt lönsam, vilket är just befolkningen som nu frågar chatbots om pensioner och skulder.

Vad konsumenterna bör ta bort

Tills modellerna förbättras eller tillsynsmyndigheter ingriper är den praktiska vägledningen från forskningen enkel:

– Behandla chatbotsvar om skatt, pensioner, skulder och sparande som en utgångspunkt för forskning, inte som rådgivning.

  • Kontrollera varje specifik siffra - trösklar, satser, ersättningar - mot en officiell källa innan du agerar på den.

  • Var särskilt försiktig med modeller med fria nivåer, som kan vara äldre eller mindre än flaggskeppsversionerna som ett labb marknadsför.

  • För följdbeslut är en reglerad mänsklig rådgivare fortfarande den enda kanalen med juridiskt ansvar kopplat.

Den bredare frågan som rapporten väcker är en AI-branschen kommer att möta upprepade gånger under 2026: kapacitet som imponerar i demos och riktmärken kan fortfarande inte överstiga den tillförlitlighetsnivå som reglerade domäner kräver. Finansiell rådgivning är helt enkelt den första arenan där det gapet har kvantifierats så starkt.

Ligg före AI

Spåra hur AI omformar ekonomi, forskning och reglering? Läs fler AI-nyheter om AI Buzz Wire — oberoende AI-bevakning, varje dag.

---

Stay ahead of AI

Få de senaste AI-nyheterna, analyserna och genombrotten – allt på ett ställe.

Läs mer AI-nyheter →