Přední chatboti s umělou inteligencí dávají špatné odpovědi na finanční otázky častěji než ne, podle nové výzkumné zprávy britského fintech Saturn, která testovala 18 nejoblíbenějších modelů umělé inteligence a zjistila průměrnou chybovost 57 %, uvedl v pondělí Financial Times.

Zpráva nazvaná „Umělá autorita“ přichází s tím, jak se miliony spotřebitelů stále častěji obracejí na chatboty s žádostí o radu ohledně důchodů, daní, dluhů a úspor – otázek, kde jediná špatná odpověď může mít skutečné finanční důsledky. S tím, jak jsou univerzální asistenti tlačeni na regulované území, se studie, jako je tato, stávají opakujícím se zátěžovým testem spotřebitelských slibů tohoto odvětví a my budeme průběžně sledovat nejnovější vývoj AI, jak regulační orgány reagují.

Jak test dopadl

Doménový tým společnosti Saturn sestavil 18 nejpoužívanějších modelů umělé inteligence prostřednictvím 121 otázek týkajících se důchodů, daní, dluhů a úspor – hlavních oblastí, kde maloobchodní spotřebitelé nejčastěji hledají radu. Testované modely zahrnovaly ChatGPT, Gemini, Claude a Microsoft Copilot, podle zveřejněného shrnutí zprávy.

V průměru se modely dopustily chyb v 57 % případů, řekl Saturn. Společnost zarámovala zjištění jako zahrnující „chyby až po selhání ochrany spotřebitele“ a použila je k argumentaci, že mezeru v poradenství ve Spojeném království – propast mezi lidmi, kteří mají přístup k regulovanému finančnímu poradenství, a těmi, kteří nemají přístup – nevyřeší pouze neregulovaní chatboti.

I ten nejlepší model často chyboval

Výsledky nebyly jednotné, ale i ten nejsilnější hráč často selhal. Podle zprávy FT byl nejvýkonnějším modelem Claude Opus 5 od Anthropic běžící v režimu uvažování — a stále dělal chyby ve 39 % odpovědí.

Tento detail se může ukázat jako nejzávažnější zjištění zprávy. Režimy uvažování, které umožňují modelům uvažovat před odpovědí, jsou hlavní odpovědí na halucinace a chyby a hraniční modely běžně vykazují dobré výsledky u odborných zkoušek z financí a práva. 39% chybovost u praktických finančních otázek naznačuje, že srovnávací testy ve stylu zkoušek a skutečné spotřebitelské dotazy měří velmi odlišné věci.

Zjištění také vyvolalo odpor. Komentátoři na Hacker News zpochybňovali metodologii a výběr modelu a poznamenali, že několik příkladů chyb zprávy pochází z menších modelů na volné úrovni. Ale průměr 57 % a 39 % nejlepší číslo ve své třídě stojí za zveřejněnými tvrzeními Saturnu a FT a hlavní varování zprávy – že spotřebitelé by neměli považovat výstup chatbotů za regulované poradenství – nebylo zpochybněno.

Varování, které už regulátory slyšely

Zpráva přistává uprostřed rostoucího oficiálního znepokojení ohledně chatbotů v peněžních záležitostech. Spotřebitelé ve Spojeném království již byli varováni před chatboty s umělou inteligencí, kteří poskytují nepřesné finanční rady, v široce krytém upozornění zveřejněném The Guardian koncem roku 2025 a finanční regulátoři v celé Evropě a Spojených státech od té doby označili poradenství generované umělou inteligencí za nově vznikající oblast rizik pro spotřebitele.

Saturnova vlastní pozice dává zprávě zvláštní výhodu: společnost vyvíjí nástroje umělé inteligence pro finanční poradenství a výsledky publikovala nikoli jako odmítnutí umělé inteligence ve financích, ale jako důvod pro správné nastavení zábradlí. Jejím argumentem je, že špatně řízení chatboti již ve výchozím nastavení vyplňují mezeru v radách a že regulační orgány mají na výběr mezi vedením AI pod dohledem a vedením AI bez dohledu – nikoli mezi AI a lidskými radami.

Saturnův příspěvek k této debatě je argumentem o návrhu politiky: společnost tvrdí, že posun od toho, co nazývá nadměrnou regulací, směrem k praktickému omezování velkých jazykových modelů, by rychleji zmenšil mezeru v radách a zároveň by chránil lidi před neregulovaným vedením AI. Jinými slovy, spíše než aby se umělá inteligence úplně vyhýbala finančnímu poradenství, vytvářejte kontrolovaná, omezená nasazení, která mohou bezpečně sloužit zákazníkům, na něž jsou lidští poradci příliš drahí.

Na tomto rámování záleží, protože mezera v radách je nejsilnějším důvodem, proč se v tomto odvětví vůbec nachází. Ve Spojeném království většina domácností nedosahuje prahu, při kterém je regulované finanční poradenství považováno za ekonomicky životaschopné, což je přesně ta populace, která se nyní chatbotů ptá na důchody a dluhy.

Co by si měli spotřebitelé odnést

Dokud se modely nezlepší nebo nezasáhnou regulační orgány, praktické pokyny z výzkumu jsou jednoduché:

  • Odpovědi chatbotů na daně, důchody, dluhy a úspory považujte za výchozí bod pro výzkum, nikoli za rady.
  • Ověřte jakýkoli konkrétní údaj – prahové hodnoty, sazby, povolenky – oproti oficiálnímu zdroji, než na něj zareagujete.
  • Buďte obzvláště opatrní u modelů volných vrstev, které mohou být starší nebo menší než vlajkové verze, které laboratoř propaguje.
  • Pro následná rozhodnutí zůstává regulovaný lidský poradce jediným kanálem s právní odpovědností.

Širší otázka, kterou zpráva vyvolává, je otázka, které bude odvětví umělé inteligence čelit opakovaně v roce 2026: schopnost, která zapůsobí v ukázkách a benchmarcích, může stále zaostávat za laťkou spolehlivosti, kterou vyžadují regulované domény. Finanční poradenství je prostě první oblastí, kde byla tato mezera tak ostře vyčíslena.

Udržujte si náskok před AI

Sledování toho, jak umělá inteligence přetváří finance, výzkum a regulaci? Přečtěte si další zprávy o AI na AI Buzz Wire – nezávislé pokrytí AI, každý den.

---

Stay Ahead of AI

Získejte nejnovější zprávy, analýzy a průlomové informace o umělé inteligenci – vše na jednom místě.

Přečtěte si další zprávy o AI →