طبق گزارش تحقیقاتی جدید فین‌تک Saturn در بریتانیا که 18 مدل از محبوب‌ترین مدل‌های هوش مصنوعی را آزمایش کرده و میانگین ضریب خطای 57 درصدی را در روز دوشنبه گزارش داد، چت‌بات‌های پیشرو هوش مصنوعی اغلب به سؤالات مالی پاسخ‌های اشتباه می‌دهند.

این گزارش با عنوان «مقام مصنوعی» در حالی به دست می‌آید که میلیون‌ها مشتری به طور فزاینده‌ای برای راهنمایی در مورد حقوق بازنشستگی، مالیات، بدهی و پس‌انداز به چت‌بات‌ها روی می‌آورند – سوالاتی که یک پاسخ اشتباه می‌تواند پیامدهای مالی واقعی داشته باشد. از آنجایی که دستیاران همه منظوره به قلمروی تحت نظارت هدایت می شوند، مطالعاتی مانند این به یک تست استرس مکرر از وعده های مصرف کنندگان صنعت تبدیل می شود و ما به دنبال پاسخگویی تنظیم کننده ها، آخرین پیشرفت های هوش مصنوعی را دنبال خواهیم کرد.

تست چگونه کار کرد

تیم دامنه زحل 18 مدل از پرکاربردترین مدل‌های هوش مصنوعی را از طریق 121 سؤال شامل حقوق بازنشستگی، مالیات، بدهی و پس‌انداز - حوزه‌های اصلی که مصرف‌کنندگان خرده‌فروشی اغلب به دنبال مشاوره هستند، قرار دادند. بر اساس خلاصه منتشر شده این گزارش، مدل های آزمایش شده شامل ChatGPT، Gemini، Claude و Copilot مایکروسافت بودند.

زحل گفت که به طور متوسط، مدل ها در 57 درصد مواقع اشتباه می کردند. این شرکت یافته‌ها را به‌عنوان «اشتباه‌های مربوط به شکست حمایت از مصرف‌کننده» تعریف کرد و از آن‌ها برای این استدلال استفاده کرد که شکاف مشاوره بریتانیا - شکاف بین افرادی که می‌توانند به توصیه‌های مالی تنظیم‌شده دسترسی داشته باشند و کسانی که نمی‌توانند - تنها با چت‌بات‌های غیرقانونی بسته نمی‌شود.

حتی بهترین مدل اغلب اشتباه می کند

نتایج یکنواخت نبود، اما حتی قوی‌ترین بازیکن نیز اغلب شکست می‌خورد. طبق گزارش FT، بهترین مدل کلود اپوس 5 آنتروپیک بود که در حالت استدلال اجرا می شد - و همچنان در 39 درصد از پاسخ ها اشتباه می کرد.

این جزئیات ممکن است مهم ترین یافته گزارش باشد. حالت‌های استدلال، که به مدل‌ها اجازه می‌دهد قبل از پاسخ دادن، سنجیده شوند، پاسخ اصلی صنعت به توهم و خطا هستند، و مدل‌های مرزی معمولاً نتایج قوی را در آزمون‌های حرفه‌ای در امور مالی و حقوق ارسال می‌کنند. نرخ خطای 39 درصدی در سؤالات مالی عملی نشان می دهد که معیارهای سبک امتحانی و سؤالات مصرف کننده در دنیای واقعی چیزهای بسیار متفاوتی را اندازه گیری می کنند.

این یافته‌ها همچنین با مخالفت مواجه شدند. نظر دهندگان هکر نیوز روش شناسی و انتخاب مدل را زیر سوال بردند و خاطرنشان کردند که چندین نمونه از خطاهای گزارش از مدل های لایه آزاد کوچکتر ناشی شده است. اما میانگین 57 درصد و رقم 39 درصد بهترین در کلاس طبق ادعاهای منتشر شده از Saturn و FT است و هشدار مرکزی گزارش - مبنی بر اینکه مصرف کنندگان نباید خروجی چت بات را به عنوان توصیه تنظیم شده تلقی کنند - مورد مناقشه قرار نگرفت.

هشداری که تنظیم‌کننده‌ها قبلاً شنیده‌اند

این گزارش در بحبوحه نگرانی فزاینده رسمی در مورد چت بات ها در مسائل پولی منتشر می شود. در هشداری که گاردین در اواخر سال 2025 منتشر کرد، به مصرف‌کنندگان بریتانیایی درباره ارائه توصیه‌های مالی نادرست توسط ربات‌های چت هوش مصنوعی هشدار داده شده بود و تنظیم‌کننده‌های مالی در سراسر اروپا و ایالات متحده از آن زمان توصیه‌های تولید شده توسط هوش مصنوعی را به‌عنوان منطقه‌ای نوظهور در معرض خطر مصرف‌کننده معرفی کرده‌اند.

موقعیت خود زحل به گزارش مزیت خاصی می دهد: این شرکت ابزارهای هوش مصنوعی را برای مشاوره مالی توسعه می دهد و یافته ها را نه به عنوان رد هوش مصنوعی در امور مالی، بلکه به عنوان موردی برای درست کردن نرده های محافظ منتشر کرد. استدلال آن این است که چت بات‌های ضعیف در حال حاضر به طور پیش‌فرض شکاف مشاوره را پر می‌کنند، و انتخابی که تنظیم‌کننده‌ها با آن روبرو هستند، بین راهنمایی هوش مصنوعی نظارت‌شده و راهنمایی هوش مصنوعی بدون نظارت است – نه بین هوش مصنوعی و توصیه‌های انسانی.

سهم زحل در این بحث بحثی در مورد طراحی خط مشی است: این شرکت می گوید تغییر از آنچه مقررات بیش از حد می نامد به سمت قرار دادن نرده های محافظ عملی در مدل های زبان بزرگ، شکاف توصیه ها را سریعتر کاهش می دهد و در عین حال از مردم در برابر راهنمایی های غیرقانونی هوش مصنوعی محافظت می کند. به عبارت دیگر، به جای دور نگه داشتن هوش مصنوعی به طور کامل از توصیه های مالی، استقرارهای تحت نظارت و محدودی ایجاد کنید که می توانند با خیال راحت به مشتریانی خدمات دهند که دسترسی به مشاوران انسانی بسیار گران است.

این قاب بندی اهمیت دارد زیرا شکاف مشاوره قوی ترین توجیه صنعت برای حضور در این فضا است. در بریتانیا، اکثر خانوارها خارج از آستانه ای هستند که در آن مشاوره مالی تنظیم شده از نظر اقتصادی مقرون به صرفه در نظر گرفته می شود، که دقیقاً جمعیتی است که اکنون از چت بات ها درباره حقوق بازنشستگی و بدهی می پرسند.

آنچه مصرف کنندگان باید حذف کنند

تا زمانی که مدل‌ها بهبود یابند یا تنظیم‌کننده‌ها مداخله کنند، راهنمایی عملی از تحقیق ساده است:

  • پاسخ های چت بات در مورد مالیات، حقوق بازنشستگی، بدهی و پس انداز را به عنوان نقطه شروعی برای تحقیق در نظر بگیرید، نه به عنوان توصیه.
  • قبل از اقدام در مورد هر رقم خاص - آستانه، نرخ، کمک هزینه - در برابر یک منبع رسمی بررسی کنید.
  • به خصوص در مورد مدل‌های سطح آزاد که ممکن است قدیمی‌تر یا کوچک‌تر از نسخه‌های پرچم‌دار ارائه‌شده توسط آزمایشگاه باشند، محتاط باشید.
  • برای تصمیم‌گیری‌های بعدی، یک مشاور انسانی تنظیم‌شده تنها کانالی است که مسئولیت‌پذیری قانونی آن پیوست شده است.

سوال گسترده‌تری که این گزارش مطرح می‌کند این است که صنعت هوش مصنوعی در سال 2026 مکرراً با آن مواجه خواهد شد: قابلیتی که در نسخه‌های نمایشی و معیارها تحت تأثیر قرار می‌گیرد همچنان می‌تواند از نوار قابلیت اطمینانی که دامنه‌های تنظیم‌شده درخواست می‌کنند، کمتر باشد. مشاوره مالی به سادگی اولین عرصه ای است که در آن شکاف به این اندازه مشخص شده است.

از هوش مصنوعی جلوتر بمانید

ردیابی چگونه هوش مصنوعی در حال تغییر شکل امور مالی، تحقیقات و مقررات است؟ اطلاعات بیشتر اخبار هوش مصنوعی در AI Buzz Wire — پوشش مستقل هوش مصنوعی، هر روز.

---

از هوش مصنوعی جلوتر بمانید

آخرین اخبار، تحلیل ها و پیشرفت های هوش مصنوعی را دریافت کنید - همه در یک مکان.

بیشتر بخوانید اخبار هوش مصنوعی →