Jak wynika z brytyjskiego badania, chatboty AI w większości przypadków udzielają błędnych odpowiedzi finansowych

Fala doniesień po obu stronach Atlantyku uwidoczniła niepokój, który organy regulacyjne wyrażały od dwóch lat: kiedy ludzie zadają chatbotom AI pytania dotyczące ich pieniędzy, odpowiedzi częściej są błędne niż prawidłowe. Według „Financial Times” z niedawnego brytyjskiego badania wynika, że ​​chatboty oparte na sztucznej inteligencji „w większości przypadków” udzielają błędnych odpowiedzi na zapytania finansowe.

Najnowsze wiadomości i analizy dotyczące sztucznej inteligencji można znaleźć na stronie AI Buzz Wire.

Co wykazały badania

Główne dane pochodzą z publikacji branżowej Financial Reporter, która na początku września podała, że modele sztucznej inteligencji udzielają błędnych porad finansowych w 57% przypadków, powołując się na badania przeprowadzone przez firmę Saturn. IBS Intelligence zgłosiło ten sam poziom błędów wynoszący 57%. Yahoo Finance opisało badanie przeprowadzone w związku z brytyjską platformą emerytalną PensionBee, natomiast BeInCrypto poinformowało, że test objął około 10 000 odpowiedzi. Różne atrybucje w początkowym zasięgu sugerują, że w badaniu uczestniczyło wiele stron; spójnym wątkiem we wszystkich punktach sprzedaży jest skala wskaźnika awaryjności.

Błędy nie są abstrakcyjne. Mortgage Professional America podkreśliło jeden przykład z relacji: chatbot powiedział kredytobiorcy hipotecznemu, że wzięcie urlopu w spłacie nie wpłynie na jego zdolność kredytową. Można – a dla gospodarstwa domowego podejmującego poważną decyzję finansową w oparciu o tę odpowiedź, rozróżnienie to jest kosztowne.

W tym tygodniu historia weszła do głównego nurtu. Jak wynika z badania, portal InvestmentNews donosił pod nagłówkiem: „Jak wynika z badania, chatboty oparte na sztucznej inteligencji przez większość czasu udzielają błędnych odpowiedzi finansowych”, a Tom's Guide ostrzegł czytelników, że na podstawie wyników badania sztuczna inteligencja może ich kosztować.

Wzór, a nie wartość odstająca

Ustalenia z Wielkiej Brytanii uzupełniają coraz większą liczbę badań, w których można znaleźć podobne wnioski. Z poprzedniej analizy szeroko omawianej w marcu wynika, że ​​ChatGPT udzielało błędnych odpowiedzi na pytania dotyczące pieniędzy w około 35% przypadków. W sierpniu badacze ze Stanford i MIT odkryli, że sztuczna inteligencja zapewnia kobietom gorsze porady inwestycyjne niż mężczyznom. Sam „Financial Times” doniósł w sierpniu, że prawie połowa młodych Brytyjczyków błędnie uważa, że ​​doradztwo finansowe oparte na sztucznej inteligencji jest regulowane – luka w postrzeganiu sprawia, że ​​niedokładne odpowiedzi są bardziej, a nie mniej niebezpieczne.

A zużycie stale rośnie, niezależnie od tego. Ze śródrocznego raportu NerdWallet wynika, że ​​Amerykanie już w znacznej liczbie korzystają z chatbotów w celu uzyskania porad finansowych i właśnie dlatego wyniki dotyczące dokładności przyciągają uwagę rzeczników konsumentów, a nie są traktowane jako ciekawostki akademickie.

Dlaczego pytania finansowe psują chatboty

Doradztwo finansowe znajduje się na skrzyżowaniu wszystkiego, co sprawia największe trudności dużym modelom językowym. Prawidłowe odpowiedzi zależą od aktualnych przepisów właściwych dla danej jurysdykcji – progów podatkowych, mechanizmów punktacji kredytowej, przepisów emerytalnych – które zmieniają się i różnią w zależności od kraju. Modele mają również tendencję do zabezpieczania się za pomocą pewnie brzmiących ogólników, a użytkownicy często nie podają kontekstu osobistego (dochody, istniejące długi, cele), który określa, czy ogólne wytyczne mają do nich zastosowanie.

Istnieje również problem asymetrii charakterystyczny dla pieniędzy: zła odpowiedź dotycząca wiersza jest zawstydzająca, ale zła odpowiedź na temat wpływu wakacji kredytowych może przełożyć się na rzeczywiste szkody finansowe odkryte kilka miesięcy później.

Co organy regulacyjne i użytkownicy powinni z tego wyciągnąć

Brytyjskie organy regulacyjne ostrzegają konsumentów przed nieuregulowanymi wytycznymi finansowymi AI co najmniej od końca 2025 r., kiedy to The Guardian doniósł o oficjalnych ostrzeżeniach dotyczących chatbotów udzielających niedokładnych porad finansowych. Nowe badania wskazują, że te ostrzeżenia mają konkretny wskaźnik awaryjności. Rozsądna interpretacja nie polega na tym, że sztuczna inteligencja jest bezużyteczna w finansach osobistych – modele mogą dobrze wyjaśniać koncepcje – ale na tym, że granica między edukacją a doradztwem pozostaje niewyraźna dla użytkowników i wyraźna jedynie w zbiorach przepisów organów regulacyjnych.

Dopóki chatbot nie poprawi znacząco kwestii finansowych w danej domenie, praktyczne wskazówki wynikające z badania są proste: traktuj odpowiedzi dotyczące pieniędzy AI jako punkt wyjścia do badań, a nie jako samą decyzję, i przed podjęciem działań weryfikuj wszystko, co będzie miało konsekwencje – implikacje kredytowe, opodatkowanie, zasady emerytalne – w odniesieniu do regulowanych źródeł.

Wyprzedź sztuczną inteligencję

Aby na bieżąco informować o najważniejszych wydarzeniach w branży sztucznej inteligencji, dodaj zakładkę AI Buzz Wire, aby nigdy nie przegapić przełomowej historii.

Przeczytaj więcej aktualności na temat sztucznej inteligencji