Chatbot AI terkemuka memberikan jawapan yang salah kepada soalan kewangan lebih kerap daripada tidak, menurut laporan penyelidikan baharu oleh fintech UK Saturn yang menguji 18 model AI paling popular dan mendapati kadar ralat purata sebanyak 57%, Financial Times melaporkan pada hari Isnin.
Laporan itu, bertajuk "Pihak Berkuasa Buatan," tiba apabila berjuta-juta pengguna semakin beralih kepada chatbots untuk mendapatkan panduan tentang pencen, cukai, hutang dan simpanan — soalan di mana satu jawapan yang salah boleh membawa akibat kewangan yang sebenar. Memandangkan pembantu tujuan am ditolak ke wilayah terkawal, kajian seperti ini menjadi ujian tekanan berulang terhadap janji pengguna industri, dan kami akan terus menjejaki perkembangan AI terkini apabila pengawal selia bertindak balas.
Bagaimana Ujian Berfungsi
Pasukan domain Saturnus meletakkan 18 model AI yang paling banyak digunakan melalui 121 soalan merangkumi pencen, cukai, hutang dan simpanan — kawasan teras yang paling kerap digunakan oleh pengguna runcit untuk mendapatkan nasihat. Model yang diuji termasuk ChatGPT, Gemini, Claude dan Copilot Microsoft, menurut ringkasan laporan yang diterbitkan.
Secara purata, model membuat kesilapan 57% pada masa itu, kata Saturnus. Syarikat itu membingkaikan penemuan itu sebagai merangkumi "mengenai kesilapan kepada kegagalan perlindungan pengguna," dan menggunakannya untuk berhujah bahawa jurang nasihat UK - jurang antara orang yang boleh mengakses nasihat kewangan terkawal dan mereka yang tidak boleh - tidak akan ditutup oleh chatbot yang tidak terkawal sahaja.
Malah Model Terbaik Kerap Disalahkan
Keputusannya tidak seragam, malah pemain terkuat sering gagal. Menurut laporan FT, model berprestasi terbaik ialah Anthropic's Claude Opus 5 berjalan dalam mod penaakulan — dan ia masih melakukan kesilapan dalam 39% jawapan.
Perincian itu mungkin terbukti sebagai penemuan paling penting dalam laporan itu. Mod penaakulan, yang membenarkan model berbincang sebelum menjawab, merupakan jawapan utama industri terhadap halusinasi dan kesilapan, dan model sempadan secara rutin menyiarkan keputusan yang kukuh pada peperiksaan profesional dalam kewangan dan undang-undang. Kadar ralat 39% pada soalan kewangan praktikal menunjukkan bahawa penanda aras gaya peperiksaan dan pertanyaan pengguna dunia sebenar mengukur perkara yang sangat berbeza.
Penemuan itu juga mendapat penolakan. Pengulas di Hacker News mempersoalkan metodologi dan pemilihan model, dengan menyatakan bahawa beberapa contoh ralat laporan datang daripada model peringkat bebas yang lebih kecil. Tetapi purata 57% dan angka terbaik dalam kelas 39% adalah seperti dakwaan yang diterbitkan daripada Saturn dan FT, dan amaran utama laporan itu — bahawa pengguna tidak seharusnya menganggap output chatbot sebagai nasihat terkawal — tidak dipertikaikan.
Pengawal Selia Amaran Pernah Dengar Sebelum Ini
Laporan itu tiba di tengah-tengah kegelisahan rasmi yang semakin meningkat tentang chatbots dalam hal wang. Pengguna UK sudah diberi amaran tentang chatbot AI yang memberikan nasihat kewangan yang tidak tepat dalam makluman yang dilindungi secara meluas yang diterbitkan oleh The Guardian pada akhir 2025, dan pengawal selia kewangan di seluruh Eropah dan Amerika Syarikat sejak itu telah menandakan nasihat yang dijana AI sebagai kawasan berisiko pengguna yang sedang muncul.
Kedudukan Saturnus sendiri memberikan laporan kelebihan tertentu: syarikat membangunkan alat AI untuk nasihat kewangan, dan ia menerbitkan penemuan itu bukan sebagai penolakan AI dalam kewangan tetapi sebagai kes untuk mendapatkan pagar yang betul. Hujahnya ialah chatbot yang ditadbir dengan buruk sudah mengisi jurang nasihat secara lalai, dan pilihan yang dihadapi pengawal selia adalah antara bimbingan AI yang diselia dan bimbingan AI yang tidak diselia — bukan antara AI dan nasihat manusia.
Sumbangan Saturnus kepada perdebatan itu ialah hujah tentang reka bentuk dasar: syarikat itu mengatakan peralihan daripada apa yang dipanggil peraturan yang berlebihan ke arah meletakkan pagar praktikal pada model bahasa yang besar akan mengecilkan jurang nasihat dengan lebih pantas sambil melindungi orang daripada bimbingan AI yang tidak terkawal. Dalam erti kata lain, daripada mengenepikan AI daripada nasihat kewangan sepenuhnya, bina penempatan terkawal dan terkawal yang boleh memberi perkhidmatan kepada pelanggan dengan selamat yang penasihat manusia terlalu mahal untuk dijangkau.
Pembingkaian itu penting kerana jurang nasihat adalah justifikasi terkuat industri untuk berada di ruang ini sama sekali. Di UK, kebanyakan isi rumah berada di luar ambang di mana nasihat kewangan terkawal dianggap berdaya maju dari segi ekonomi, iaitu penduduk yang kini bertanya kepada chatbots tentang pencen dan hutang.
Perkara yang Perlu Diambil oleh Pengguna
Sehingga model bertambah baik atau pengawal selia campur tangan, panduan praktikal daripada penyelidikan adalah mudah:
- Anggap jawapan chatbot mengenai cukai, pencen, hutang dan simpanan sebagai titik permulaan untuk penyelidikan, bukan sebagai nasihat.
- Sahkan mana-mana angka tertentu — ambang, kadar, elaun — terhadap sumber rasmi sebelum bertindak ke atasnya.
- Berhati-hati terutamanya dengan model peringkat percuma, yang mungkin lebih lama atau lebih kecil daripada versi perdana yang dipromosikan oleh makmal.
- Untuk keputusan berbangkit, penasihat manusia terkawal kekal sebagai satu-satunya saluran dengan kebertanggungjawaban undang-undang dilampirkan.
Persoalan yang lebih luas yang ditimbulkan oleh laporan itu ialah satu yang akan dihadapi oleh industri AI berulang kali pada tahun 2026: keupayaan yang mengagumkan dalam tunjuk cara dan penanda aras masih boleh gagal daripada bar kebolehpercayaan yang mengawal permintaan domain. Nasihat kewangan hanyalah arena pertama di mana jurang itu telah diukur dengan jelas.
Kekal Mendahului AI
Menjejaki bagaimana AI membentuk semula kewangan, penyelidikan dan peraturan? Baca lebih banyak berita AI di AI Buzz Wire — liputan AI bebas, setiap hari.
---
Kekal Mendahului AIDapatkan berita, analisis dan penemuan terkini AI — semuanya di satu tempat.
Baca lebih banyak berita AI →
