צ'טבוטים מובילים של AI נותנים תשובות שגויות לשאלות פיננסיות לעתים קרובות יותר מאשר לא, על פי דו"ח מחקר חדש של פינטק סאטורן הבריטי שבדק 18 מדגמי הבינה המלאכותית הפופולריים ביותר ומצא שיעור שגיאות ממוצע של 57%, כך דיווח ה-Financial Times ביום שני.
הדו"ח, שכותרתו "רשות מלאכותית", מגיע כאשר מיליוני צרכנים פונים יותר ויותר לצ'אטבוטים להכוונה בנושאי פנסיה, מסים, חובות וחיסכון - שאלות שבהן תשובה שגויה אחת יכולה לשאת השלכות כספיות של ממש. ככל שעוזרים למטרות כלליות נדחפים לטריטוריה מוסדרת, מחקרים כמו זה הופכים למבחן מאמץ חוזר על הבטחות הצרכנים של התעשייה, ואנו נמשיך לעקוב אחר התפתחויות הבינה המלאכותיות האחרונות ככל שהרגולטורים יגיבו.
איך המבחן עבד
צוות התחום של שבתאי העמיד 18 מדגמי הבינה המלאכותית הנפוצים ביותר דרך 121 שאלות המתפרשות על פנסיה, מס, חוב וחיסכון - תחומי הליבה שבהם צרכנים קמעונאיים מבקשים לרוב ייעוץ. הדגמים שנבדקו כללו את ChatGPT, ג'מיני, קלוד ו-Copilot של מיקרוסופט, לפי הסיכום שפורסם בדוח.
בממוצע, הדגמים עשו טעויות 57% מהמקרים, אמר שבתאי. החברה הגדירה את הממצאים ככאלה שמתפרשים על פני "נוגע לטעויות ועד לכשל בהגנה על הצרכן", והשתמשה בהם כדי לטעון כי פער הייעוץ של בריטניה - הפער בין אנשים שיכולים לגשת לייעוץ פיננסי מוסדר לאלו שאינם יכולים - לא ייסגר על ידי צ'אטבוטים לא מוסדרים בלבד.
אפילו הדוגמנית הטובה ביותר טעתה לעתים קרובות
התוצאות לא היו אחידות, אבל אפילו השחקן החזק ביותר נכשל לעתים קרובות. על פי הדיווח של FT, הדגם בעל הביצועים הטובים ביותר היה קלוד אופוס 5 של אנתרופי הפועל במצב חשיבה - והוא עדיין עשה טעויות ב-39% מהתשובות.
פרט זה עשוי להתגלות כממצא התוצאתי ביותר של הדו"ח. אופני הנמקה, המאפשרים לדוגמנים להתלבט לפני שהם עונים, הם התשובה המובילה בתעשייה להזיות ולטעויות, ומודלים חזיתיים מפרסמים באופן שגרתי תוצאות חזקות בבחינות מקצועיות במימון ומשפטים. שיעור שגיאות של 39% בשאלות פיננסיות מעשיות מצביע על כך שמדדים בסגנון הבחינה ושאילתות צרכנים בעולם האמיתי מודדים דברים שונים מאוד.
הממצאים גם גררו דחיפה. מגיבים ב-Hacker News הטילו ספק במתודולוגיה ובבחירת המודל, וציינו שכמה מהטעויות לדוגמה של הדו"ח הגיעו ממודלים קטנים יותר של שכבות חופשיות. אבל הממוצע של 57% והנתון של 39% מהטובים בכיתה עומדים כטענות שפורסמו מ-Saturn ו-FT, והאזהרה המרכזית של הדו"ח - שצרכנים לא צריכים להתייחס לתפוקת הצ'אטבוטים כאל עצה מוסדרת - לא הייתה שנויה במחלוקת.
אזהרה הרגולטורים שמעו בעבר
הדו"ח נוחת על רקע אי נוחות רשמית גוברת לגבי צ'טבוטים בענייני כסף. צרכנים בבריטניה כבר הוזהרו מפני צ'אטבוטים של בינה מלאכותית שנותנים עצות פיננסיות לא מדויקות בהתראה נרחבת שפורסם על ידי ה"גרדיאן" בסוף 2025, ורגולטורים פיננסיים ברחבי אירופה וארה"ב סימנו מאז ייעוץ שנוצר על ידי בינה מלאכותית כאזור מתפתח של סיכון צרכנים.
עמדתו של שבתאי עצמו מעניקה לדוח יתרון מסוים: החברה מפתחת כלי בינה מלאכותית לייעוץ פיננסי, והיא פרסמה את הממצאים לא כפסילה של בינה מלאכותית בפיננסים אלא כמקרה לביצוע נכון של מעקות הבטיחות. הטענה שלה היא שצ'אטבוטים המנוהלים בצורה גרועה כבר ממלאים את פער העצות כברירת מחדל, ושהבחירה העומדת בפני הרגולטורים היא בין הנחיית בינה מלאכותית מפוקחת להנחיית בינה מלאכותית לא מפוקחת - לא בין AI לייעוץ אנושי.
תרומתו של שבתאי לדיון הזה היא טיעון לגבי עיצוב מדיניות: החברה אומרת שמעבר ממה שהיא מכנה רגולציה מוגזמת לכיוון הצבת מעקות בטיחות מעשיים על מודלים של שפות גדולות יצמצם את פער העצות מהר יותר תוך הגנה על אנשים מפני הנחיית בינה מלאכותית לא מוסדרת. במילים אחרות, במקום להרחיק את הבינה המלאכותית מייעוץ פיננסי לחלוטין, בנה פריסות מפוקחות ומוגבלות שיכולות לשרת בבטחה לקוחות שאליהם יקר מדי להגיע ליועצים אנושיים.
המסגור הזה חשוב כי פער העצות הוא ההצדקה החזקה ביותר של התעשייה להיות במרחב הזה בכלל. בבריטניה, רוב משקי הבית נופלים מחוץ לסף שבו ייעוץ פיננסי מוסדר נחשב כדאי כלכלית, וזו בדיוק האוכלוסייה ששואלת כעת צ'אטבוטים על פנסיה וחובות.
מה הצרכנים צריכים לקחת
עד שהמודלים ישתפרו או הרגולטורים יתערבו, ההדרכה המעשית מהמחקר היא פשוטה:
- התייחס לתשובות צ'טבוט בנושאי מס, פנסיה, חובות וחיסכון כנקודת מוצא למחקר, לא כייעוץ.
- אמת כל נתון ספציפי - ספים, תעריפים, קצבאות - מול מקור רשמי לפני שתפעל על פיו.
- היזהר במיוחד עם דגמי שכבה חופשית, שעשויים להיות ישנים או קטנים יותר מגרסאות הדגל שמעבדה מקדמת.
- עבור החלטות תוצאתיות, יועץ אנושי מוסדר נשאר הערוץ היחיד עם אחריות משפטית צמודה.
השאלה הרחבה יותר שהדו"ח מעלה היא שאלה שתעשיית הבינה המלאכותית תעמוד בפניה שוב ושוב בשנת 2026: יכולת שמרשימה בהדגמות ובנצ'מרקים יכולה עדיין לא להגיע לרף האמינות שדומיינים מוסדרים דורשים. ייעוץ פיננסי הוא פשוט הזירה הראשונה שבה הפער הזה הוכמת בצורה ברורה.
הישאר לפני AI
עוקב אחר איך בינה מלאכותית מעצבת מחדש את הכספים, המחקר והרגולציה? קרא עוד חדשות בינה מלאכותית על AI Buzz Wire - סיקור AI עצמאי, כל יום.
---
הישאר לפני AIקבל את החדשות, הניתוחים ופריצות הדרך האחרונות של AI - הכל במקום אחד.
קרא עוד חדשות AI →
