Secondo un nuovo rapporto di ricerca del fintech britannico Saturn che ha testato 18 dei modelli di intelligenza artificiale più popolari e ha riscontrato un tasso di errore medio del 57%, i principali chatbot di intelligenza artificiale danno risposte sbagliate alle domande finanziarie il più delle volte.
Il rapporto, intitolato “Autorità artificiale”, arriva mentre milioni di consumatori si rivolgono sempre più ai chatbot per avere indicazioni su pensioni, tasse, debito e risparmi – domande in cui una singola risposta sbagliata può comportare conseguenze finanziarie reali. Man mano che gli assistenti generici vengono spinti in territori regolamentati, studi come questo stanno diventando uno stress test ricorrente delle promesse del settore ai consumatori e continueremo a monitorare gli ultimi sviluppi dell’intelligenza artificiale man mano che le autorità di regolamentazione rispondono.
Come ha funzionato il test
Il team del dominio Saturn ha sottoposto 18 dei modelli di intelligenza artificiale più utilizzati a 121 domande che spaziano da pensioni, tasse, debito e risparmio, le aree principali in cui i consumatori al dettaglio cercano più spesso consulenza. I modelli testati includevano ChatGPT, Gemini, Claude e Copilot di Microsoft, secondo il riassunto pubblicato del rapporto.
In media, i modelli hanno commesso errori il 57% delle volte, ha affermato Saturn. L'azienda ha definito i risultati come "riguardanti gli errori e il fallimento della protezione dei consumatori" e li ha utilizzati per sostenere che il divario di consulenza nel Regno Unito - il divario tra le persone che possono accedere alla consulenza finanziaria regolamentata e coloro che non possono - non sarà colmato solo dai chatbot non regolamentati.
Anche il miglior modello sbagliava spesso
I risultati non furono uniformi, ma anche il più forte fallì spesso. Secondo il rapporto del FT, il modello con le migliori prestazioni è stato Claude Opus 5 di Anthropic in modalità ragionamento e ha comunque commesso errori nel 39% delle risposte.
Questo dettaglio potrebbe rivelarsi la scoperta più importante del rapporto. Le modalità di ragionamento, che consentono ai modelli di deliberare prima di rispondere, sono la risposta principale del settore alle allucinazioni e agli errori, e i modelli di frontiera pubblicano regolarmente ottimi risultati negli esami professionali in finanza e diritto. Un tasso di errore del 39% su domande finanziarie pratiche suggerisce che i benchmark in stile esame e le domande dei consumatori nel mondo reale misurano cose molto diverse.
I risultati hanno anche suscitato reazioni negative. I commentatori di Hacker News hanno messo in dubbio la metodologia e la selezione del modello, sottolineando che molti degli errori di esempio del rapporto provenivano da modelli di livello libero più piccoli. Ma la media del 57% e il dato migliore del 39% sono affermazioni pubblicate da Saturn e dal FT, e l’avvertimento centrale del rapporto – secondo cui i consumatori non dovrebbero considerare l’output dei chatbot come consigli regolamentati – non è stato contestato.
Un avvertimento che gli enti regolatori hanno già sentito prima
Il rapporto arriva nel mezzo di un crescente disagio ufficiale nei confronti dei chatbot in questioni finanziarie. I consumatori del Regno Unito erano già stati avvertiti dei chatbot basati sull’intelligenza artificiale che fornivano consigli finanziari imprecisi in un avviso ampiamente seguito pubblicato da The Guardian alla fine del 2025, e da allora le autorità di regolamentazione finanziaria di tutta Europa e degli Stati Uniti hanno contrassegnato i consigli generati dall’intelligenza artificiale come un’area emergente di rischio per i consumatori.
La posizione stessa di Saturno conferisce al rapporto un vantaggio particolare: l’azienda sviluppa strumenti di intelligenza artificiale per la consulenza finanziaria e ha pubblicato i risultati non come un rifiuto dell’intelligenza artificiale nella finanza, ma come una causa per correggere i guardrail. La sua tesi è che i chatbot mal governati stanno già colmando il divario di consulenza per impostazione predefinita e che la scelta che devono affrontare i regolatori è tra la guida dell’IA supervisionata e la guida dell’IA non supervisionata, non tra l’IA e la consulenza umana.
Il contributo di Saturn a questo dibattito è una discussione sulla progettazione delle politiche: l’azienda afferma che uno spostamento da ciò che definisce una regolamentazione eccessiva verso l’introduzione di barriere pratiche su modelli linguistici di grandi dimensioni ridurrebbe il divario di consulenza più rapidamente, proteggendo al contempo le persone dalla guida dell’intelligenza artificiale non regolamentata. In altre parole, invece di tenere l’intelligenza artificiale completamente fuori dalla consulenza finanziaria, creare implementazioni supervisionate e vincolate che possano servire in sicurezza i clienti che i consulenti umani sono troppo costosi da raggiungere.
Questo quadro è importante perché il divario di consulenza è la giustificazione più forte del settore per essere in questo spazio. Nel Regno Unito, la maggior parte delle famiglie non rientra nella soglia oltre la quale la consulenza finanziaria regolamentata è considerata economicamente fattibile, che corrisponde esattamente alla popolazione che ora chiede ai chatbot informazioni su pensioni e debito.
Cosa dovrebbero portare via i consumatori
Fino a quando i modelli non miglioreranno o le autorità di regolamentazione non interverranno, la guida pratica fornita dalla ricerca è semplice:
- Trattare le risposte dei chatbot su tasse, pensioni, debiti e risparmi come punto di partenza per la ricerca, non come consigli.
- Verificare qualsiasi cifra specifica – soglie, tariffe, indennità – rispetto a una fonte ufficiale prima di agire in base ad essa.
- Prestare particolare attenzione ai modelli di livello gratuito, che potrebbero essere più vecchi o più piccoli delle versioni di punta promosse da un laboratorio.
- Per le decisioni consequenziali, un consulente umano regolamentato rimane l'unico canale con responsabilità legale.
La domanda più ampia sollevata dal rapporto è quella che il settore dell’intelligenza artificiale dovrà affrontare ripetutamente nel 2026: le capacità che impressionano nelle demo e nei benchmark possono ancora non raggiungere il livello di affidabilità richiesto dai domini regolamentati. La consulenza finanziaria è semplicemente il primo ambito in cui tale divario è stato quantificato in modo così netto.
Stai al passo con l'intelligenza artificiale
Monitorare il modo in cui l’intelligenza artificiale sta rimodellando la finanza, la ricerca e la regolamentazione? Leggi altre notizie sull'intelligenza artificiale su AI Buzz Wire: copertura indipendente sull'intelligenza artificiale, ogni giorno.
---
Stai al passo con l'intelligenza artificialeRicevi le ultime notizie, analisi e scoperte sull'intelligenza artificiale, tutto in un unico posto.
Leggi altre notizie sull'AI →
