מחקר חדש שעוקב אחר כ-27,000 סטודנטים בסין הביא כמה מהראיות הכי מפוכחות עד כה על בינה מלאכותית בחינוך: תלמידים שהשתמשו בכלי בינה מלאכותית ראו את ציוני שיעורי הבית שלהם קופצים ב-18 אחוז וסיימו את המטלות בהרבה פחות זמן - ואז קיבלו ציון של 20 אחוז מתחת לחבריהם לכיתה בבחינות שנבחנו ללא סיוע בבינה מלאכותית. המחקר, בהובלת דיוויד סטרומברג מאוניברסיטת שטוקהולם יחד עם ויקטור ליי ו-וו יאנהוי מאוניברסיטת הונג קונג, הודגש על ידי האקונומיסט ב-18 באוגוסט והוא מופץ כנייר עבודה על SSRN. לקוראים שעוקבים אחר חדשות בינה מלאכותית, זוהי נקודת מידע שמחנכים והורים לא יפטרו בקלות.
ההגדרה וההלם
החוקרים יצאו לענות על שאלה שרוב בתי הספר ניחשו בה: האם בינה מלאכותית עוזרת לתלמידים ללמוד, או שהיא עוזרת להם לסיים? על ידי מעקב אחר עשרות אלפי תלמידים על פני נושאים במשך שישה חודשים, הצוות יכול להשוות את ביצועי שיעורי הבית מול תוצאות הבחינות הבאות עבור משתמשי AI ולא משתמשים כאחד.
ממצאי הכותרת, כפי שסיכמו ב-The Economist: לאחר שישה חודשים, תלמידים המשתמשים בבינה מלאכותית ראו את ציון שיעורי הבית הממוצע שלהם עולה ב-18 אחוזים בכל המקצועות, בעוד שהזמן שהושקע בכל מטלה ירד מממוצע של 64 דקות ל-45. אבל כשהגיע זמן הבחינה, אותם תלמידים קיבלו ציון של 20 אחוז מתחת לחברים לכיתה שמעולם לא השתמשו בבינה מלאכותית עבור שיעורי הבית שלהם.
הממצא העמוק יותר עדין ומטריד יותר. "ציוני שיעורי הבית ניבאו פעם ביצועים בבחינות; כעת לאלו שקיבלו את הציון הגבוה ביותר יש, באופן מעוות, סיכוי גבוה יותר להצליח יותר גרוע בבחינות", ציין הניתוח של האקונומיסט. במילים אחרות, האותות המסורתיות שהמורים מסתמכים עליו - ציוני שיעורי בית כמקור להבנה - נשברו בשקט. ייתכן שהתלמידים שהמשימות שלהם נראות הכי טוב הם אלה שהכי פחות מבינים את החומר.
מיקור חוץ, לא למידה
מדוע ציוני שיעורי הבית זינקו בזמן שציוני הבחינות קרסו? הנתונים מצביעים על מה שהחוקרים מתארים כמיקור חוץ: סטודנטים מוסרים את העבודה עצמה למודל במקום להשתמש בו כמורה. נתונים מהמאמר שצוטטו בדיון ציבורי מצביעים על כך שכ-81 אחוז ממשתמשי הבינה המלאכותית במחקר האצילו למעשה את שיעורי הבית שלהם למודלים של השפה - וששיעור מיקור החוץ טיפס ככל שהתלמידים נחשפו לכלים זמן רב יותר.
התבנית הופיעה בהדרגה. בתחילת המחקר, חלק מהסטודנטים המשתמשים בבינה מלאכותית עדיין בילו יותר מ-65 דקות בכל מטלה - בערך באותו זמן כמו שאינם משתמשים - ותוצאות שיעורי הבית והבחינה שלהם נראו דומות לעמיתים שנמנעו מבינה מלאכותית. החוקרים הסיקו שהתלמידים הללו כמעט ולא השתמשו במודלים כלל. אבל שישה חודשים לאחר האימוץ, אף תלמיד שנחשף לבינה מלאכותית עדיין בילה יותר מ-65 דקות בשיעורי בית. נראה שמה שמתחיל כסיוע מדי פעם גולש, משימה אחר משימה, להאצלה מלאה.
ההסלמה הזו היא מה שמקשה כל כך לבטל את הממצאים. זה לא ששיעורי AI לא יכולים לעבוד - בשימוש מכוון, כשותף סוקרטי שמסביר וחוקר, הטכנולוגיה יכולה באופן מוכח לעזור לאנשים ללמוד. זה שבתנאים נטורליסטיים, עם בני נוער ועבודות איחור, דרך ההתנגדות הפחותה עוברת ישר דרך התשובה.
מדוע סין עושה מקרה מבחן נקי
מערך המחקר מחזק את מסקנותיו. בסין, הקבלה לאוניברסיטאות מתבצעת באמצעות בחינות סטנדרטיות בעלות סיכון גבוה, וציוני שיעורי הבית אינם מנפחים את תוצאות הקורס כפי שהם יכולים במקומות אחרים. הבחינות הן בנצ'מרק חיצונית ומשמעותיות באכזריות, מה שהופך את הפער של 20 אחוז לקשה יותר להסבר עם ציון קל או סלחנות מורים. המחקר בודד למעשה את מה שמעניין את חוקרי הערוץ: בינה מלאכותית שינתה את אופן הפקת שיעורי הבית, והבחינות מדדו את מה שנלמד בפועל.
הדיון בעיתון ב-Hacker News, שם הוא צבר מאות נקודות, התחבט בשאלת ההמשך הברורה - האם AI הוא "מגבר" שהופך תלמידים חרוצים לטובים יותר ולתלמידים מנותקים גרועים יותר. הניתוח של העיתון עצמו דוחף את המסגרת המנחמת הזו: נתוני השימוש בזמן מצביעים על כך שאפילו סטודנטים שהחלו להשתמש בבינה מלאכותית נסחפו באחריות לעבר האצלה במשך חודשים, מה שמרמז שהסיכון אינו מוגבל לאלה שמעולם לא התכוונו ללמוד מלכתחילה.
דילמת המדיניות לבתי הספר
הממצאים נוחתים ברגע מביך. ממשלות וחברות טכנולוגיות אקדמיות דוהרות להציב מורים לבינה מלאכותית לפני התלמידים, מהמרות שסיוע בינה מלאכותית אישית יסגור פערי הישגים. מחקר זה מצביע על כך שהתוצאה ההפוכה אפשרית בקנה מידה: שיעורי הבית הופכים ללא חיכוכים, הציונים משתפרים, והלמידה הנמדדת מתחתיהם נשחקת בשקט - מתגלה רק כאשר מאוחר מדי לתקן.
לגבי בתי הספר, ההשלכות הן קונקרטיות. אם שיעורי הבית כבר לא יכולים לשמש עדות ללמידה, ההערכה חייבת לעבור תוך הכיתה ולהיבדק. אם שימוש בבינה מלאכותית הוא בלתי נמנע, ייתכן שיהיה צורך לעצב מחדש את המטלות סביב הטכנולוגיה - הגנות בעל פה, מפגשי בעיות בכיתה וציון מבוסס תהליכים שמתגמל את המאבק שהמחקר מצא שהתלמידים מדלגים עליהם. ואם מיקור חוץ מתעצם עם החשיפה, העיכוב אינו ניטרלי: נראה שכל חודש של גישה לא מובנית של AI מעמיק את ההרגל.
תרומת החוקרים היא להחליף את הפאניקה האנקדוטית של עידן ChatGPT בכיתה במספרים אורכיים, והמספרים עגומים. שיפור של 18 אחוזים בשיעורי בית שנרכשו במחיר של ירידה של 20 אחוז בבחינה אינו רווח למידה - הוא העברת עבודה מתלמיד למכונה, עם ריבית לתשלום ביום הבחינה.
הישאר לפני AI
לפריצת דרך מחקרית, תוצאות מדיניות וניתוח כנה של בינה מלאכותית בחינוך, סמנו AI Buzz Wire.
קרא עוד חדשות AI →
