Chatbot AI terkemuka lebih sering memberikan jawaban yang salah terhadap pertanyaan keuangan, menurut laporan penelitian baru oleh fintech Saturn Inggris yang menguji 18 model AI paling populer dan menemukan tingkat kesalahan rata-rata sebesar 57%, Financial Times melaporkan pada hari Senin.

Laporan bertajuk “Otoritas Buatan” ini muncul ketika jutaan konsumen semakin beralih ke chatbots untuk mendapatkan panduan mengenai pensiun, pajak, utang, dan tabungan – pertanyaan-pertanyaan di mana satu jawaban yang salah dapat menimbulkan konsekuensi finansial yang nyata. Ketika asisten serba guna didorong ke dalam wilayah yang diatur, studi seperti ini menjadi ujian berulang terhadap janji-janji konsumen di industri, dan kami akan terus melacak perkembangan AI terkini seiring dengan respons regulator.

Cara Kerja Tes

Tim domain Saturnus mengajukan 18 model AI yang paling banyak digunakan dalam 121 pertanyaan yang mencakup pensiun, pajak, utang, dan tabungan – bidang inti tempat konsumen ritel paling sering meminta nasihat. Model yang diuji termasuk ChatGPT, Gemini, Claude dan Copilot Microsoft, menurut ringkasan laporan yang diterbitkan.

Rata-rata, model membuat kesalahan sebanyak 57%, kata Saturnus. Perusahaan ini menggambarkan temuan-temuan tersebut sebagai "kesalahan hingga kegagalan perlindungan konsumen," dan menggunakannya untuk berargumentasi bahwa kesenjangan nasihat di Inggris – yaitu kesenjangan antara masyarakat yang dapat mengakses nasihat keuangan yang teregulasi dan mereka yang tidak dapat mengaksesnya – tidak akan dapat diatasi hanya dengan chatbot yang tidak diatur.

Bahkan Model Terbaik Sekalipun Sering Melakukan Kesalahan

Hasilnya tidak seragam, namun bahkan pemain terkuat sekalipun sering kali gagal. Menurut laporan FT, model dengan kinerja terbaik adalah Claude Opus 5 dari Anthropic yang berjalan dalam mode penalaran — dan masih membuat kesalahan dalam 39% jawaban.

Detail tersebut mungkin menjadi temuan paling penting dalam laporan ini. Mode penalaran, yang memungkinkan model mempertimbangkan terlebih dahulu sebelum menjawab, merupakan jawaban terdepan dalam industri terhadap halusinasi dan kesalahan, dan model frontier secara rutin memberikan hasil yang bagus pada ujian profesional di bidang keuangan dan hukum. Tingkat kesalahan sebesar 39% pada pertanyaan keuangan praktis menunjukkan bahwa tolok ukur gaya ujian dan pertanyaan konsumen di dunia nyata mengukur hal-hal yang sangat berbeda.

Temuan ini juga menuai penolakan. Komentator di Hacker News mempertanyakan metodologi dan pemilihan model, dan mencatat bahwa beberapa contoh kesalahan laporan berasal dari model tingkat gratis yang lebih kecil. Namun rata-rata 57% dan 39% terbaik di kelasnya merupakan klaim yang dipublikasikan dari Saturn dan FT, dan peringatan utama laporan tersebut — bahwa konsumen tidak boleh memperlakukan keluaran chatbot sebagai saran yang diatur — tidak diperdebatkan.

Peringatan yang Pernah Didengar Regulator

Laporan ini muncul di tengah meningkatnya kegelisahan resmi mengenai chatbots dalam masalah uang. Konsumen di Inggris telah diperingatkan mengenai chatbot AI yang memberikan nasihat keuangan yang tidak akurat dalam peringatan yang dipublikasikan secara luas oleh The Guardian pada akhir tahun 2025, dan regulator keuangan di seluruh Eropa dan Amerika Serikat sejak itu menandai saran yang dihasilkan AI sebagai area yang berisiko bagi konsumen.

Posisi Saturnus memberikan keunggulan khusus pada laporan ini: perusahaan tersebut mengembangkan alat AI untuk memberikan nasihat keuangan, dan mempublikasikan temuan tersebut bukan sebagai penolakan terhadap AI di bidang keuangan namun sebagai upaya untuk memperbaiki batasannya. Argumennya adalah bahwa chatbot yang memiliki tata kelola yang buruk sudah mengisi kesenjangan saran secara default, dan pilihan yang dihadapi regulator adalah antara panduan AI yang diawasi dan panduan AI yang tidak diawasi — bukan antara AI dan saran manusia.

Kontribusi Saturnus dalam perdebatan tersebut adalah sebuah argumen mengenai desain kebijakan: perusahaan tersebut mengatakan bahwa peralihan dari apa yang mereka sebut sebagai regulasi berlebihan ke arah penerapan batasan praktis pada model bahasa besar akan mempersempit kesenjangan saran dengan lebih cepat sekaligus melindungi masyarakat dari panduan AI yang tidak diatur. Dengan kata lain, daripada sepenuhnya mengecualikan AI dari nasihat keuangan, bangunlah penerapan yang diawasi dan dibatasi yang dapat dengan aman melayani pelanggan yang sulit dijangkau oleh penasihat manusia.

Pembingkaian tersebut penting karena kesenjangan saran adalah pembenaran terkuat bagi industri untuk berada di bidang ini. Di Inggris, sebagian besar rumah tangga berada di luar ambang batas dimana nasihat keuangan yang diatur dianggap layak secara ekonomi, dan hal inilah yang menyebabkan masyarakat sekarang bertanya kepada chatbots tentang pensiun dan utang.

Apa yang Harus Diambil Konsumen

Sampai modelnya membaik atau regulator melakukan intervensi, panduan praktis dari penelitian ini sangatlah jelas:

  • Perlakukan jawaban chatbot tentang pajak, pensiun, utang, dan tabungan sebagai titik awal penelitian, bukan sebagai nasihat.
  • Verifikasi angka spesifik apa pun — ambang batas, tarif, tunjangan — dengan sumber resmi sebelum mengambil tindakan.
  • Berhati-hatilah dengan model tingkat gratis, yang mungkin lebih tua atau lebih kecil dari versi andalan yang dipromosikan laboratorium.
  • Untuk pengambilan keputusan yang penting, penasihat manusia yang diatur tetap menjadi satu-satunya saluran yang memiliki akuntabilitas hukum.

Pertanyaan lebih luas yang muncul dari laporan ini adalah pertanyaan yang akan berulang kali dihadapi oleh industri AI pada tahun 2026: kemampuan yang mengesankan dalam demo dan tolok ukur masih jauh dari standar keandalan yang mengatur permintaan domain. Nasihat keuangan hanyalah arena pertama di mana kesenjangan tersebut telah diukur secara signifikan.

Tetap Terdepan dalam AI

Melacak bagaimana AI mengubah keuangan, penelitian, dan regulasi? Baca berita AI selengkapnya di AI Buzz Wire — liputan AI independen, setiap hari.

---

Tetap Terdepan dalam AI

Dapatkan berita, analisis, dan terobosan AI terkini — semuanya di satu tempat.

Baca berita AI selengkapnya →