Toonaangevende AI-chatbots geven vaker wel dan niet verkeerde antwoorden op financiële vragen, volgens een nieuw onderzoeksrapport van de Britse fintech Saturn, waarin 18 van de meest populaire AI-modellen werden getest en een gemiddeld foutenpercentage van 57% werd gevonden, zo meldde de Financial Times maandag.

Het rapport, getiteld ‘Artificial Authority’, komt op een moment dat miljoenen consumenten zich steeds meer tot chatbots wenden voor advies over pensioenen, belastingen, schulden en sparen – vragen waarbij een enkel verkeerd antwoord reële financiële gevolgen kan hebben. Nu assistenten voor algemene doeleinden het gereguleerde gebied betreden, worden onderzoeken als deze een terugkerende stresstest van de consumentenbeloften van de sector, en we zullen de nieuwste AI-ontwikkelingen blijven volgen terwijl toezichthouders hierop reageren.

Hoe de test werkte

Het domeinteam van Saturnus heeft 18 van de meest gebruikte AI-modellen doorgenomen met 121 vragen over pensioenen, belastingen, schulden en spaargelden – de kerngebieden waar particuliere consumenten het vaakst advies zoeken. De geteste modellen omvatten ChatGPT, Gemini, Claude en Microsoft's Copilot, volgens de gepubliceerde samenvatting van het rapport.

Gemiddeld maakten de modellen 57% van de tijd fouten, zei Saturnus. Het bedrijf vatte de bevindingen op als "betreffende fouten tot het falen van de consumentenbescherming", en gebruikte ze om te beargumenteren dat de advieskloof in Groot-Brittannië - de kloof tussen mensen die toegang hebben tot gereguleerd financieel advies en degenen die dat niet kunnen - niet alleen door niet-gereguleerde chatbots zal worden gedicht.

Zelfs het beste model maakte vaak fouten

De resultaten waren niet uniform, maar zelfs de sterkste performer faalde vaak. Volgens het rapport van de FT was het best presterende model Claude Opus 5 van Anthropic, dat in de redeneermodus draaide – en het maakte nog steeds fouten in 39% van de antwoorden.

Dat detail zou wel eens de meest consequente bevinding van het rapport kunnen blijken te zijn. Redeneringsmodi, waarbij modellen kunnen nadenken voordat ze antwoorden, zijn het belangrijkste antwoord in de branche op hallucinaties en fouten, en frontiermodellen boeken routinematig goede resultaten op professionele examens in financiën en recht. Een foutenpercentage van 39% bij praktische financiële vragen suggereert dat benchmarks in examenstijl en echte consumentenvragen heel verschillende dingen meten.

De bevindingen zorgden ook voor weerstand. Commentatoren op Hacker News trokken de methodologie en modelselectie in twijfel en merkten op dat verschillende voorbeeldfouten in het rapport afkomstig waren van kleinere free-tier-modellen. Maar het gemiddelde van 57% en het beste cijfer van 39% zijn de gepubliceerde beweringen van Saturnus en de FT, en de centrale waarschuwing van het rapport – dat consumenten de output van chatbots niet als gereguleerd advies mogen beschouwen – werd niet betwist.

Een waarschuwing die regelgevers al eerder hebben gehoord

Het rapport komt terecht in een groeiende officiële onrust over chatbots in geldzaken. Britse consumenten werden al gewaarschuwd voor AI-chatbots die onnauwkeurig financieel advies gaven in een veelbesproken waarschuwing die eind 2025 door The Guardian werd gepubliceerd, en financiële toezichthouders in heel Europa en de Verenigde Staten hebben sindsdien door AI gegenereerd advies gemarkeerd als een opkomend consumentenrisicogebied.

Saturnus' eigen standpunt geeft het rapport een bijzondere voorsprong: het bedrijf ontwikkelt AI-tools voor financieel advies, en publiceerde de bevindingen niet als een afwijzing van AI in de financiële wereld, maar als een pleidooi voor het op orde krijgen van de vangrails. Het argument is dat slecht bestuurde chatbots de advieskloof standaard al opvullen, en dat de keuze voor toezichthouders gaat tussen begeleide AI-begeleiding en niet-gecontroleerde AI-begeleiding – en niet tussen AI en menselijk advies.

De bijdrage van Saturnus aan dat debat is een argument over beleidsontwerp: het bedrijf zegt dat een verschuiving van wat het buitensporige regelgeving noemt naar het plaatsen van praktische vangrails op grote taalmodellen de advieskloof sneller zou verkleinen en tegelijkertijd mensen zou beschermen tegen ongereguleerde AI-begeleiding. Met andere woorden: in plaats van AI volledig buiten het financiële advies te houden, moet u onder toezicht staande, beperkte implementaties bouwen die klanten veilig kunnen bedienen voor wie menselijke adviseurs te duur zijn om te bereiken.

Die framing is van belang omdat de advieskloof de sterkste rechtvaardiging van de sector is om zich überhaupt in deze ruimte te bevinden. In Groot-Brittannië vallen de meeste huishoudens buiten de drempel waarbij gereguleerd financieel advies als economisch levensvatbaar wordt beschouwd, en dat is precies de bevolking die nu chatbots vraagt ​​naar pensioenen en schulden.

Wat consumenten moeten wegnemen

Totdat modellen verbeteren of toezichthouders ingrijpen, zijn de praktische richtlijnen uit het onderzoek eenvoudig:

  • Behandel chatbotantwoorden over belastingen, pensioenen, schulden en sparen als startpunt voor onderzoek, niet als advies.
  • Controleer elk specifiek cijfer – drempels, tarieven, vergoedingen – aan de hand van een officiële bron voordat u ernaar handelt.
  • Wees vooral voorzichtig met free-tier-modellen, die ouder of kleiner kunnen zijn dan de vlaggenschipversies die een laboratorium promoot.
  • Voor vervolgbeslissingen blijft een gereguleerde menselijke adviseur het enige kanaal waaraan juridische aansprakelijkheid verbonden is.

De bredere vraag die het rapport opwerpt, is er een waar de AI-industrie in 2026 herhaaldelijk mee te maken zal krijgen: capaciteiten die indruk maken in demo's en benchmarks kunnen nog steeds niet voldoen aan de betrouwbaarheidsnorm die gereguleerde domeinen vereisen. Financieel advies is eenvoudigweg de eerste arena waar deze kloof zo duidelijk is gekwantificeerd.

Blijf AI een stap voor

Volgen hoe AI de financiën, het onderzoek en de regelgeving hervormt? Lees meer AI-nieuws op AI Buzz Wire — onafhankelijke AI-verslaggeving, elke dag.

---

Blijf AI een stap voor

Ontvang het laatste AI-nieuws, analyses en doorbraken – allemaal op één plek.

Lees meer AI-nieuws →