Jak podaje w poniedziałek „Financial Times”, czołowe chatboty AI częściej udzielają błędnych odpowiedzi na pytania finansowe.

Raport zatytułowany „Sztuczna władza” pojawia się w momencie, gdy miliony konsumentów coraz częściej zwracają się do chatbotów o wskazówki dotyczące emerytur, podatków, zadłużenia i oszczędności – czyli pytań, w przypadku których jedna zła odpowiedź może mieć realne konsekwencje finansowe. W miarę jak asystenci ogólnego przeznaczenia są wypychani na terytorium regulowane, badania takie jak to stają się powtarzającym się testem warunków skrajnych dotyczącym obietnic konsumenckich branży, a my będziemy na bieżąco śledzić najnowsze osiągnięcia w zakresie sztucznej inteligencji w miarę reakcji organów regulacyjnych.

Jak działał test

Zespół domenowy firmy Saturn poddał 18 najczęściej używanych modeli sztucznej inteligencji 121 pytaniom obejmującym emerytury, podatki, zadłużenie i oszczędności – czyli główne obszary, w których konsumenci detaliczni najczęściej szukają porady. Jak wynika z opublikowanego podsumowania raportu, testowane modele obejmowały ChatGPT, Gemini, Claude i Copilot firmy Microsoft.

Saturn stwierdził, że modele popełniały błędy średnio w 57% przypadków. Firma określiła ustalenia jako obejmujące „błędy aż do niepowodzeń w zakresie ochrony konsumentów” i wykorzystała je do argumentacji, że luki w doradztwie w Wielkiej Brytanii – przepaści między osobami, które mogą uzyskać dostęp do regulowanych porad finansowych a tymi, które nie mogą – nie uda się wypełnić samymi nieuregulowanymi chatbotami.

Nawet najlepszy model często popełnia błędy

Wyniki nie były jednolite, ale nawet najsilniejsi gracze często zawodzili. Według raportu FT najlepiej działającym modelem był Claude Opus 5 firmy Anthropic działający w trybie rozumowania – i nadal zawierał błędy w 39% odpowiedzi.

Ten szczegół może okazać się najważniejszym wnioskiem zawartym w raporcie. Tryby rozumowania, które pozwalają modelom zastanowić się przed udzieleniem odpowiedzi, to wiodąca w branży odpowiedź na halucynacje i błędy, a modele pionierskie rutynowo publikują dobre wyniki na egzaminach zawodowych z finansów i prawa. Poziom błędów w praktycznych kwestiach finansowych wynoszący 39% sugeruje, że testy porównawcze w stylu egzaminów i zapytania konsumentów w świecie rzeczywistym mierzą bardzo różne rzeczy.

Odkrycia również wywołały sprzeciw. Komentatorzy w Hacker News kwestionowali metodologię i wybór modelu, zauważając, że kilka przykładowych błędów zawartych w raporcie pochodzi z mniejszych modeli bezpłatnych. Jednak średnia wynosząca 57% i najlepszy w swojej klasie wynik na poziomie 39% odpowiadają opublikowanym twierdzeniom Saturna i FT, a główne ostrzeżenie zawarte w raporcie – że konsumenci nie powinni traktować wyników chatbota jako porady regulowanej – nie zostało zakwestionowane.

Ostrzeżenie, które organy regulacyjne słyszały już wcześniej

Raport pojawia się w związku z rosnącym oficjalnym niepokojem dotyczącym chatbotów w sprawach finansowych. Brytyjscy konsumenci zostali już ostrzeżeni o chatbotach AI udzielających niedokładnych porad finansowych w szeroko komentowanym alercie opublikowanym przez The Guardian pod koniec 2025 r., a organy nadzoru finansowego w Europie i Stanach Zjednoczonych od tego czasu oznaczyły porady generowane przez sztuczną inteligencję jako wyłaniający się obszar ryzyka dla konsumentów.

Stanowisko Saturna nadaje raportowi szczególną przewagę: firma opracowuje narzędzia AI do doradztwa finansowego, a wyniki opublikowała nie jako odrzucenie sztucznej inteligencji w finansach, ale jako argument za właściwym ustawieniem barier ochronnych. Argumentuje, że słabo zarządzane chatboty już domyślnie wypełniają lukę w doradztwie i że organy regulacyjne muszą dokonać wyboru między przewodnictwem sztucznej inteligencji pod nadzorem a przewodnictwem sztucznej inteligencji bez nadzoru, a nie między sztuczną inteligencją a radą człowieka.

Wkład Saturna w tę debatę stanowi argument dotyczący projektowania polityki: firma twierdzi, że przejście od tego, co nazywa nadmiernymi regulacjami, w kierunku umieszczania praktycznych barier w dużych modelach językowych szybciej zmniejszyłoby lukę w doradztwie, chroniąc jednocześnie ludzi przed nieuregulowanymi wskazówkami dotyczącymi sztucznej inteligencji. Innymi słowy, zamiast całkowicie trzymać sztuczną inteligencję poza doradztwem finansowym, buduj nadzorowane, ograniczone wdrożenia, które mogą bezpiecznie służyć klientom, do których doradcy ludzcy są zbyt kosztowni.

Takie ramy mają znaczenie, ponieważ luka w doradztwie jest dla branży najsilniejszym uzasadnieniem obecności w tej przestrzeni. W Wielkiej Brytanii większość gospodarstw domowych nie przekracza progu, przy którym regulowane doradztwo finansowe uznaje się za opłacalne ekonomicznie, czyli dokładnie tej populacji, która obecnie pyta chatboty o emerytury i zadłużenie.

Co konsumenci powinni zabrać

Dopóki modele nie zostaną udoskonalone lub nie zainterweniują organy regulacyjne, praktyczne wskazówki wynikające z badania są proste:

  • Traktuj odpowiedzi chatbota dotyczące podatków, emerytur, długów i oszczędności jako punkt wyjścia do badań, a nie jako poradę.
  • Przed podjęciem jakichkolwiek działań sprawdzaj wszelkie konkretne liczby – progi, stawki, dodatki – w oficjalnym źródle.
  • Zachowaj szczególną ostrożność w przypadku modeli bezpłatnych, które mogą być starsze lub mniejsze niż wersje flagowe promowane przez laboratorium.
  • W przypadku decyzji wynikowych jedynym kanałem, z którym wiąże się odpowiedzialność prawna, pozostaje regulowany doradca ludzki.

Szersza kwestia, jaką podnosi raport, to kwestia, przed którą branża sztucznej inteligencji będzie wielokrotnie stawać w 2026 r.: możliwości, które robią wrażenie w wersjach demonstracyjnych i testach porównawczych, mogą w dalszym ciągu odbiegać od poziomu niezawodności wymaganego w domenach regulowanych. Doradztwo finansowe to po prostu pierwszy obszar, w którym luka ta została tak wyraźnie określona ilościowo.

Wyprzedź sztuczną inteligencję

Śledzenie, jak sztuczna inteligencja zmienia finanse, badania i regulacje? Przeczytaj więcej aktualności na temat sztucznej inteligencji w AI Buzz Wire — codzienne niezależne relacje dotyczące sztucznej inteligencji.

---

Wyprzedź sztuczną inteligencję

Otrzymuj najnowsze wiadomości, analizy i przełomowe informacje dotyczące sztucznej inteligencji — wszystko w jednym miejscu.

Przeczytaj więcej aktualności o sztucznej inteligencji →