आघाडीचे AI चॅटबॉट्स आर्थिक प्रश्नांना अनेकदा चुकीची उत्तरे देतात, यूके फिनटेक सॅटर्नच्या एका नवीन संशोधन अहवालानुसार ज्याने सर्वात लोकप्रिय AI मॉडेलपैकी 18 ची चाचणी केली आणि त्यात सरासरी त्रुटी दर 57% आढळला, असे फायनान्शियल टाइम्सने सोमवारी नोंदवले.

"कृत्रिम प्राधिकरण" नावाचा अहवाल आला आहे कारण लाखो ग्राहक पेन्शन, कर, कर्ज आणि बचत यांवरील मार्गदर्शनासाठी चॅटबॉट्सकडे वळत आहेत - प्रश्न जेथे एकच चुकीचे उत्तर वास्तविक आर्थिक परिणामांना सामोरे जाऊ शकते. सामान्य-उद्देशीय सहाय्यकांना नियमन केलेल्या प्रदेशात ढकलले जात असल्याने, यासारखे अभ्यास उद्योगाच्या ग्राहक आश्वासनांची आवर्ती ताण चाचणी बनत आहेत आणि नियामक प्रतिसाद देत असताना आम्ही नवीनतम AI घडामोडींचा मागोवा घेत राहू.

चाचणी कशी कार्य करते

सॅटर्नच्या डोमेन टीमने पेन्शन, कर, कर्ज आणि बचत अशा १२१ प्रश्नांद्वारे सर्वाधिक वापरल्या जाणाऱ्या 18 AI मॉडेल्सचा समावेश केला आहे — मुख्य क्षेत्र जेथे किरकोळ ग्राहक बहुतेकदा सल्ला घेतात. अहवालाच्या प्रकाशित सारांशानुसार चाचणी केलेल्या मॉडेल्समध्ये ChatGPT, Gemini, Claude आणि Microsoft चे Copilot यांचा समावेश आहे.

सरासरी, मॉडेल्सने 57% वेळा चुका केल्या, शनि म्हणाला. कंपनीने निष्कर्ष "ग्राहक संरक्षण अयशस्वी होण्याच्या चुकांशी संबंधित" म्हणून तयार केले आणि त्यांचा असा युक्तिवाद करण्यासाठी केला की UK च्या सल्ल्यातील अंतर - जे लोक नियमन केलेल्या आर्थिक सल्ल्यामध्ये प्रवेश करू शकतात आणि जे करू शकत नाहीत - हे केवळ अनियंत्रित चॅटबॉट्सद्वारे बंद केले जाणार नाहीत.

अगदी सर्वोत्कृष्ट मॉडेल देखील वारंवार चुकतात

परिणाम एकसमान नव्हते, परंतु सर्वात मजबूत कलाकार देखील अनेकदा अयशस्वी झाले. एफटीच्या अहवालानुसार, सर्वोत्तम कामगिरी करणारे मॉडेल अँथ्रोपिकचे क्लॉड ओपस 5 रिजनिंग मोडमध्ये चालत होते — आणि तरीही 39% उत्तरांमध्ये चुका झाल्या.

हा तपशील अहवालाचा सर्वात परिणामकारक निष्कर्ष असू शकतो. रिझनिंग मोड्स, जे मॉडेल्सना उत्तर देण्यापूर्वी जाणूनबुजून करू देतात, हे भ्रम आणि त्रुटीसाठी उद्योगाचे अग्रगण्य उत्तर आहे आणि फ्रंटियर मॉडेल्स नियमितपणे वित्त आणि कायद्यातील व्यावसायिक परीक्षांवर मजबूत परिणाम पोस्ट करतात. व्यावहारिक आर्थिक प्रश्नांवरील 39% त्रुटी दर असे सुचवितो की परीक्षा-शैलीचे बेंचमार्क आणि वास्तविक-जगातील ग्राहक क्वेरी खूप भिन्न गोष्टी मोजतात.

निष्कर्षांनी देखील धक्का दिला. हॅकर न्यूजवरील टिप्पणीकर्त्यांनी कार्यपद्धती आणि मॉडेल निवडीवर प्रश्नचिन्ह उपस्थित केले, हे लक्षात घेतले की अहवालातील अनेक उदाहरण त्रुटी लहान फ्री-टियर मॉडेल्समधून आल्या आहेत. परंतु 57% सरासरी आणि 39% वर्गातील सर्वोत्कृष्ट आकृती शनि आणि FT कडून प्रकाशित दाव्यांप्रमाणे आहे आणि अहवालाची केंद्रीय चेतावणी - ग्राहकांनी चॅटबॉट आउटपुटला नियमन केलेला सल्ला मानू नये - विवादित नाही.

एक चेतावणी नियामकांनी यापूर्वी ऐकली आहे

पैशांच्या बाबतीत चॅटबॉट्सबद्दल वाढत्या अधिकृत अस्वस्थतेच्या दरम्यान हा अहवाल आला आहे. 2025 च्या उत्तरार्धात द गार्डियनने प्रकाशित केलेल्या व्यापकपणे कव्हर केलेल्या अलर्टमध्ये AI चॅटबॉट्सकडून चुकीचा आर्थिक सल्ला देणाऱ्या यूकेच्या ग्राहकांना आधीच चेतावणी देण्यात आली होती आणि युरोप आणि युनायटेड स्टेट्समधील आर्थिक नियामकांनी AI-व्युत्पन्न सल्ल्याला उदयोन्मुख ग्राहक-जोखीम क्षेत्र म्हणून ध्वजांकित केले आहे.

शनीची स्वतःची स्थिती अहवालाला एक विशिष्ट धार देते: कंपनी आर्थिक सल्ल्यासाठी AI साधने विकसित करते आणि तिने हे निष्कर्ष वित्त क्षेत्रात AI नाकारणे म्हणून नव्हे तर रेलिंग योग्य मिळविण्यासाठी एक केस म्हणून प्रकाशित केले. त्याचा युक्तिवाद असा आहे की खराब शासित चॅटबॉट्स आधीच डीफॉल्टनुसार सल्ला अंतर भरत आहेत आणि नियामकांना सामोरे जाण्याची निवड पर्यवेक्षित AI मार्गदर्शन आणि पर्यवेक्षित AI मार्गदर्शन दरम्यान आहे - AI आणि मानवी सल्ल्यांमध्ये नाही.

त्या वादात शनिचे योगदान हे धोरण डिझाइनबद्दलचा युक्तिवाद आहे: कंपनीचे म्हणणे आहे की मोठ्या भाषेच्या मॉडेल्सवर व्यावहारिक रेलिंग लावण्यासाठी ज्याला जास्त नियम म्हणतात त्यापासून बदल केल्याने लोकांचे अनियंत्रित AI मार्गदर्शनापासून संरक्षण करताना सल्ला अंतर जलद कमी होईल. दुसऱ्या शब्दांत, AI ला आर्थिक सल्ल्यापासून पूर्णपणे दूर ठेवण्याऐवजी, पर्यवेक्षित, प्रतिबंधित तैनाती तयार करा जे ग्राहकांना सुरक्षितपणे सेवा देऊ शकतात ज्यांच्यापर्यंत मानवी सल्लागार पोहोचणे खूप महाग आहेत.

ते फ्रेमिंग महत्त्वाचे आहे कारण सल्ला अंतर हे या जागेत असण्याचे उद्योगाचे सर्वात मजबूत औचित्य आहे. यूकेमध्ये, बहुतेक कुटुंबे उंबरठ्याच्या बाहेर पडतात ज्यावर विनियमित आर्थिक सल्ला आर्थिकदृष्ट्या व्यवहार्य मानला जातो, ज्याची लोकसंख्या आता पेन्शन आणि कर्जाबद्दल चॅटबॉट्सला विचारत आहे.

ग्राहकांनी काय दूर करावे

जोपर्यंत मॉडेल्स सुधारत नाहीत किंवा नियामक हस्तक्षेप करत नाहीत, तोपर्यंत संशोधनातील व्यावहारिक मार्गदर्शन सरळ आहे:

  • कर, निवृत्तीवेतन, कर्ज आणि बचत यावरील चॅटबॉट उत्तरांना संशोधनाचा प्रारंभ बिंदू म्हणून हाताळा, सल्ला म्हणून नाही.
  • कोणत्याही विशिष्ट आकृतीची पडताळणी करा — थ्रेशोल्ड, दर, भत्ते — त्यावर कारवाई करण्यापूर्वी अधिकृत स्रोताविरुद्ध.
  • विशेषत: फ्री-टियर मॉडेल्सबाबत सावधगिरी बाळगा, जे प्रयोगशाळेने प्रोत्साहन दिलेल्या फ्लॅगशिप आवृत्त्यांपेक्षा जुने किंवा लहान असू शकतात.
  • परिणामी निर्णयांसाठी, कायदेशीर उत्तरदायित्व संलग्न असलेले नियमन केलेला मानवी सल्लागार एकमेव चॅनेल राहतो.

AI उद्योगाला 2026 मध्ये वारंवार सामोरे जावे लागणारा एक विस्तृत प्रश्न हा अहवाल उपस्थित करतो: डेमो आणि बेंचमार्कमध्ये प्रभावित करणारी क्षमता डोमेनच्या मागणीचे नियमन करणाऱ्या विश्वासार्हता बारमध्ये अजूनही कमी पडू शकते. आर्थिक सल्ला हे फक्त पहिले क्षेत्र आहे जिथे ते अंतर इतके स्पष्टपणे मोजले गेले आहे.

AI च्या पुढे रहा

AI वित्त, संशोधन आणि नियमन कसे बदलत आहे याचा मागोवा घेत आहे? एआय बझ वायरवर अधिक AI बातम्या वाचा — स्वतंत्र AI कव्हरेज, दररोज.

---

एआयच्या पुढे राहा

नवीनतम AI बातम्या, विश्लेषण आणि यश मिळवा — सर्व एकाच ठिकाणी.

अधिक AI बातम्या वाचा →