फाइनेंशियल टाइम्स की सोमवार की रिपोर्ट के अनुसार, यूके फिनटेक सैटर्न की एक नई शोध रिपोर्ट के अनुसार, अग्रणी एआई चैटबॉट अक्सर वित्तीय सवालों के गलत जवाब देते हैं, जिसमें 18 सबसे लोकप्रिय एआई मॉडल का परीक्षण किया गया और औसत त्रुटि दर 57% पाई गई।

रिपोर्ट, जिसका शीर्षक "कृत्रिम प्राधिकरण" है, तब आती है जब लाखों उपभोक्ता पेंशन, कर, ऋण और बचत पर मार्गदर्शन के लिए तेजी से चैटबॉट्स की ओर रुख करते हैं - ऐसे प्रश्न जहां एक भी गलत उत्तर वास्तविक वित्तीय परिणाम दे सकता है। जैसे-जैसे सामान्य प्रयोजन सहायकों को विनियमित क्षेत्र में धकेला जाता है, इस तरह के अध्ययन उद्योग के उपभोक्ता वादों का आवर्ती तनाव परीक्षण बन रहे हैं, और हम नियामकों के जवाब के अनुसार नवीनतम एआई विकास पर नज़र रखेंगे।

परीक्षण कैसे काम किया

सैटर्न की डोमेन टीम ने पेंशन, कर, ऋण और बचत से संबंधित 121 प्रश्नों के माध्यम से सबसे व्यापक रूप से उपयोग किए जाने वाले 18 एआई मॉडल को रखा - मुख्य क्षेत्र जहां खुदरा उपभोक्ता अक्सर सलाह लेते हैं। रिपोर्ट के प्रकाशित सारांश के अनुसार, परीक्षण किए गए मॉडलों में चैटजीपीटी, जेमिनी, क्लाउड और माइक्रोसॉफ्ट के कोपायलट शामिल थे।

सैटर्न ने कहा, औसतन, मॉडलों ने 57% बार गलतियाँ कीं। कंपनी ने निष्कर्षों को "उपभोक्ता संरक्षण विफलता के लिए गलतियों के संबंध में" के रूप में तैयार किया और उनका उपयोग यह तर्क देने के लिए किया कि यूके की सलाह का अंतर - उन लोगों के बीच का अंतर जो विनियमित वित्तीय सलाह तक पहुंच सकते हैं और जो नहीं कर सकते हैं - अकेले अनियमित चैटबॉट द्वारा बंद नहीं किया जाएगा।

यहां तक कि सबसे अच्छे मॉडल से भी बार-बार गलती होती है

परिणाम एक समान नहीं थे, लेकिन सबसे मजबूत कलाकार भी अक्सर विफल रहे। एफटी की रिपोर्ट के अनुसार, सबसे अच्छा प्रदर्शन करने वाला मॉडल एंथ्रोपिक का क्लाउड ओपस 5 था जो रीज़निंग मोड में चल रहा था - और इसने अभी भी 39% उत्तरों में गलतियाँ कीं।

वह विवरण रिपोर्ट की सबसे परिणामी खोज साबित हो सकती है। रीज़निंग मोड, जो मॉडलों को उत्तर देने से पहले विचार-विमर्श करने देते हैं, मतिभ्रम और त्रुटि के लिए उद्योग के अग्रणी उत्तर हैं, और फ्रंटियर मॉडल नियमित रूप से वित्त और कानून में पेशेवर परीक्षाओं में मजबूत परिणाम पोस्ट करते हैं। व्यावहारिक वित्तीय प्रश्नों पर 39% त्रुटि दर से पता चलता है कि परीक्षा-शैली के बेंचमार्क और वास्तविक दुनिया के उपभोक्ता प्रश्न बहुत अलग चीजों को मापते हैं।

निष्कर्षों पर भी प्रतिक्रिया हुई। हैकर न्यूज़ पर टिप्पणीकारों ने कार्यप्रणाली और मॉडल चयन पर सवाल उठाया, यह देखते हुए कि रिपोर्ट की कई उदाहरण त्रुटियां छोटे फ्री-टियर मॉडल से आईं। लेकिन 57% औसत और 39% सर्वश्रेष्ठ श्रेणी का आंकड़ा सैटर्न और एफटी के प्रकाशित दावों के रूप में खड़ा है, और रिपोर्ट की केंद्रीय चेतावनी - कि उपभोक्ताओं को चैटबॉट आउटपुट को विनियमित सलाह के रूप में नहीं मानना ​​चाहिए - विवादित नहीं था।

एक चेतावनी नियामकों ने पहले भी सुनी है

यह रिपोर्ट धन संबंधी मामलों में चैटबॉट्स को लेकर बढ़ती आधिकारिक बेचैनी के बीच सामने आई है। 2025 के अंत में द गार्जियन द्वारा प्रकाशित व्यापक रूप से कवर किए गए अलर्ट में यूके के उपभोक्ताओं को गलत वित्तीय सलाह देने वाले एआई चैटबॉट्स के बारे में पहले ही चेतावनी दी गई थी, और यूरोप और संयुक्त राज्य भर के वित्तीय नियामकों ने तब से एआई-जनित सलाह को एक उभरते उपभोक्ता-जोखिम क्षेत्र के रूप में चिह्नित किया है।

सैटर्न की अपनी स्थिति रिपोर्ट को एक विशेष बढ़त देती है: कंपनी वित्तीय सलाह के लिए एआई उपकरण विकसित करती है, और इसने निष्कर्षों को वित्त में एआई की अस्वीकृति के रूप में नहीं बल्कि रेलिंग को सही करने के मामले के रूप में प्रकाशित किया है। इसका तर्क यह है कि खराब शासित चैटबॉट पहले से ही डिफ़ॉल्ट रूप से सलाह के अंतर को भर रहे हैं, और नियामकों के सामने विकल्प पर्यवेक्षित एआई मार्गदर्शन और अनपर्यवेक्षित एआई मार्गदर्शन के बीच है - एआई और मानव सलाह के बीच नहीं।

उस बहस में सैटर्न का योगदान नीति डिजाइन के बारे में एक तर्क है: कंपनी का कहना है कि बड़े भाषा मॉडल पर व्यावहारिक रेलिंग लगाने की दिशा में जिसे वह अत्यधिक विनियमन कहती है, उसमें बदलाव से लोगों को अनियमित एआई मार्गदर्शन से बचाने के साथ-साथ सलाह के अंतर को तेजी से कम किया जा सकेगा। दूसरे शब्दों में, एआई को पूरी तरह से वित्तीय सलाह से बाहर रखने के बजाय, पर्यवेक्षित, सीमित तैनाती का निर्माण करें जो उन ग्राहकों को सुरक्षित रूप से सेवा प्रदान कर सके जिन तक मानव सलाहकार पहुंचना बहुत महंगा है।

वह फ़्रेमिंग मायने रखती है क्योंकि सलाह का अंतर इस क्षेत्र में होने के लिए उद्योग का सबसे मजबूत औचित्य है। यूके में, अधिकांश घर उस सीमा से बाहर हैं जिस पर विनियमित वित्तीय सलाह को आर्थिक रूप से व्यवहार्य माना जाता है, ठीक यही आबादी अब चैटबॉट्स से पेंशन और ऋण के बारे में पूछ रही है।

उपभोक्ताओं को क्या लेना चाहिए

जब तक मॉडल में सुधार नहीं होता या नियामक हस्तक्षेप नहीं करते, अनुसंधान से व्यावहारिक मार्गदर्शन सीधा है:

  • कर, पेंशन, ऋण और बचत पर चैटबॉट के उत्तरों को अनुसंधान के लिए शुरुआती बिंदु के रूप में मानें, सलाह के रूप में नहीं।
  • किसी भी विशिष्ट आंकड़े - सीमा, दरें, भत्ते - पर कार्रवाई करने से पहले किसी आधिकारिक स्रोत से उसकी पुष्टि करें।
  • फ्री-टियर मॉडल से विशेष रूप से सावधान रहें, जो लैब द्वारा प्रचारित फ्लैगशिप संस्करणों से पुराने या छोटे हो सकते हैं।
  • परिणामी निर्णयों के लिए, एक विनियमित मानव सलाहकार कानूनी जवाबदेही से जुड़ा एकमात्र माध्यम बना हुआ है।

रिपोर्ट में जो व्यापक प्रश्न उठाया गया है वह यह है कि एआई उद्योग को 2026 में बार-बार सामना करना पड़ेगा: डेमो और बेंचमार्क में प्रभावित करने वाली क्षमता अभी भी डोमेन की मांग को विनियमित करने वाली विश्वसनीयता पट्टी से कम हो सकती है। वित्तीय सलाह पहला क्षेत्र है जहां उस अंतर को इतनी स्पष्टता से निर्धारित किया गया है।

एआई से आगे रहें

ट्रैकिंग कैसे AI वित्त, अनुसंधान और विनियमन को नया आकार दे रहा है? एआई बज़ वायर पर अधिक एआई समाचार पढ़ें - स्वतंत्र एआई कवरेज, हर दिन।

---

एआई से आगे रहें

नवीनतम एआई समाचार, विश्लेषण और सफलताएँ प्राप्त करें - सभी एक ही स्थान पर।

अधिक AI समाचार पढ़ें →