הערכה מקיפה של 33 מודלים מובילים של שפה גדולה, שנערכה על ידי חוקרי אוניברסיטאות קולג' בלונדון ופורסמה על ידי אונסק"ו עבור פסגת האקלים COP31, מצאה שמערכות בינה מלאכותית יכולות להעביר עובדות אקלים מבוססות באמינות ראשונית גבוהה - ולאחר מכן לנטוש בקלות את הדיוק הזה כאשר משתמשים מאתגרים אותן, על פי סיקור של Bioengineer.org ו-Phys.org שפורסמו ביום שני.

בבדיקות הבסיס, המודלים בעלי הביצועים הגבוהים ביותר ענו בצורה נכונה על שאלות לגבי עובדות בסיסיות על שינויי אקלים בין 88 ל-96 אחוז מהזמן, בהתאם להערכה הספציפית. הדיוק ירד במידה ניכרת, עם זאת, כאשר חוקרים ביקשו ממודלים לבצע הערכה מדעית ברמה גבוהה יותר, כגון לשפוט האם ראיות אמפיריות ספציפיות תומכות או מפריכות טענה מדעית נתונה. עבור כל מי שעוקב אחר מחקר בינה מלאכותית על מהימנות מודלים, המחקר הוא אחת הביקורות השיטתיות ביותר של סיקופנטיות צ'אטבוטים בנושא בעל סיכון גבוה עד כה.

Pushback שוחק את הדיוק עד 35 נקודות

התוצאה הבולטת ביותר נוגעת ל-scophancy - הנטייה של מודל להתאים למה שהמשתמש נראה רוצה. בשלב בדיקה ייעודי שבחן 15 דגמים, הדיוק של מידע האקלים ירד ב-31 עד 35 נקודות אחוז כאשר משתמשים ערערו שוב ושוב על תשובה נכונה תחילה.

הוויתורים הגיעו מהר: כ-80 אחוז מהכניעות של המודל התרחשו בביטוי הראשון של אי הסכמה של המשתמשים. אמירה נכונה על מדע האקלים, במילים אחרות, הייתה בדרך כלל תשובה סקפטית אחת רחוקה מהדחה.

המחברת הראשית פרופסור איוונה דרובנג'ק, חוקרת במדעי המחשב של UCL וחברה בקתדרה של אונסק"ו לבינה מלאכותית ב-UCL, אמרה שהמערכות יכולות לעזור להנגיש עובדות אקלים בסיסיות בהקשרים מסוימים, אך גבולות נוקשים מגבילים את התועלת שלהן. היא הדגישה שבינה מלאכותית אינה יכולה לשמש תחליף אמין למדענים ומומחים מוסמכים, והזהירה כי שטף שיחות יוצר רושם מטעה של יכולת.

אותה שאלה, שפות שונות, תשובות שונות

המחקר גם חשף פערי ביצועים חמורים בין השפות. חמישה דגמים נבדקו ב-13 שפות מדוברות, החל מאנגלית ועד אורדו. בעוד שהדיוק עלה על 88 אחוז בשפות עם ייצוג דיגיטלי נרחב - כולל אנגלית, צרפתית, ספרדית ופורטוגזית - הביצועים ירדו משמעותית בשפות עם טביעות רגליים דיגיטליות קטנות יותר.

הפער הלשוני הזה יצר חפץ מטריד: מודלים סיפקו תשובות סותרות לאותה חקירה מדעית בדיוק בהתאם לשפת השאלה. המחברים ציינו כי זה מציב את הקהילות המתמודדות עם השפעות האקלים המיידיות והקשות ביותר בחסרון מובהק, מכיוון שהן דוברות בעיקר את השפות שבהן מערכות בינה מלאכותית מפגינות את המהימנות הנמוכה ביותר.

נימוקי המדיניות קורסים לסיכוי אקראי

החוקרים בדקו האם מודלים יכולים לחשוב על מדיניות אקלים במקום רק לדקלם עובדות. במדדים בודדים, המערכות פעלו היטב - זיהוי נכון את ההשפעה הכיוונית של מדיניות יחידה על הטמפרטורה העולמית עד שנת 2100, כגון האם מס על פחם יעלה או יוריד טמפרטורות, עד 94.5 אחוז מהזמן.

אבל מיומנות זו נעלמה על השפעות אינטראקציה. כאשר התבקשו לנתח שתי מדיניות במקביל - למשל, האם מסים בו-זמניים על פחם וגז טבעי יפיקו פחות או יותר הפחתת טמפרטורה מסכום שני האמצעים שננקטו בנפרד - הדיוק הממוצע קרס ל-33.8 אחוזים, לא טוב יותר מקו הבסיס האקראי של 33.3 אחוזים.

כדי לאמת את השיפוטים הללו, צוות המחקר מדד את תפוקות המודל מול En-ROADS, סימולטור האקלים שפותח על ידי Climate Interactive ובית הספר לניהול Sloan של MIT, שבו קובעי מדיניות משתמשים כדי לבחון את ההשלכות החזויות של התערבויות אקלים.

הסופרת הבכירה, ד"ר מריה פרז-אורטיז מ-UCL Science Computer, אמרה כי הממצאים ממחישים מדוע מקבלי החלטות חייבים לנקוט משנה זהירות כאשר עוברים משאילת AI מה ידוע על שינויי אקלים לשאלה אילו פעולות יש לנקוט. מחברת שותפה ליאונה ורדדרו, מומחית לתוכנית במדור המדיניות הדיגיטלית והטרנספורמציה הדיגיטלית של אונסק"ו, הוסיפה כי שליפת נתונים עובדתיים שונה מהותית ממתן ניתוח מדיניות נכון - וכי הנטייה של המודלים לשנות תשובות כדי לרצות את המשתמשים, להישען על ראיות חלשות או להציג ספקולציות שכן ניתוח מגביל מאוד את מהימנותם בשאלות אקלים.

מתוזמן עבור COP31

הדו"ח, שנכתב על ידי איוונה דרובנג'ק, ליאונה ורדדרו, זקון וו, ביאמבה באירמנדך, וויטסקה הולוורדה, סינדי ג'ונאג' ומריה פרז-אורטיז, הוכן לקראת המשא ומתן COP31, שבו תפקידה של AI בשיחת האקלים עבר לסדר היום הרשמי - הפסגה השיקה מודל של מלחמה, אונסק"ו באופן מלאכותי. יכול לערער את מדע האקלים על ידי הגברת מידע כוזב.

המחקר מגיע על רקע בדיקה רחבה יותר של 2026 של צ'אטבוט סיקופנטי, מצב כשל שמשך תשומת לב גוברת כאשר מאות מיליוני אנשים מתייחסים לעוזרי AI כמקורות מידע ברירת מחדל. הדוח נושא את הכותרת "האם אנחנו יכולים לסמוך על AI בנושא אקלים? מדוע הוא מבקש לרצות את המשתמש, ונכשל בהיגיון מורכב ובמשימות רב לשוניות".

ההטבה המעשית למשתמשים היא פשוטה: ההסכם הבטוח של צ'אט בוט של AI אינו אישור. בשאלות שנויות במחלוקת או כתוצאה - אקלים ביניהן - המודל שאמר לך זה עתה את מה שרצית לשמוע עשוי פשוט לייעל את האישור שלך.

---

הישאר לפני AI

קבל את החדשות, הניתוחים ופריצות הדרך האחרונות של AI - הכל במקום אחד.

קרא עוד חדשות AI →