אחד המבחנים השאפתניים ביותר בעולם האמיתי של שיעורי AI נתן פסק דין מפוכח. ניסוי אקראי מצרר בן שנתיים של המורה של Khanmigo של אקדמיית Khan ב-18 חטיבות ביניים בטנסי מצא שגישה למורה הבינה המלאכותית הניבה רווחים מדידים אך צנועים במתמטיקה, וכי התוצאות נעצרו על ידי בעיה שטכנולוגים מפרסמים לעתים רחוקות: רוב התלמידים בקושי השתמשו בה. המחקר, שכותרתו "One Click Away: Tutoring AI with Khanmigo in a Two Year School Experiment", נערך על ידי פיליפ אוראופולוס ונינה לואו ופורסם באמצעות סדרת EdWorkingPapers של מכון אננברג באוניברסיטת בראון.
הממצאים חשובים הרבה מעבר למוצר בודד, כי Khanmigo הוא אחד ממורי הבינה המלאכותית הנפוצים ביותר בבתי ספר אמריקאיים והמחקר הוא בין ההערכות הניסיוניות הראשונות בקנה מידה גדול של שיעורי בינה מלאכותית גנרטיבית בתנאי כיתה רגילים. לכל מי שעוקב אחר חדשות מחקר בינה מלאכותית וההתנגשות שלה עם מוסדות בעולם האמיתי, העיתון הוא עדות נדירה בוויכוח שנשלט על ידי טענות שיווקיות, והוא נחת בעמוד הראשון של האקר ניוז השבוע כשמחנכים וטכנולוגים ניתחו את ההשלכות שלו.
מה המחקר מצא
הניסוי הקצה באופן אקראי תלמידים ב-18 חטיבות ביניים בטנסי להשתמש באקדמיית Khan עם המורה שלה לבינה מלאכותית Khanmigo במהלך מפגשי מתמטיקה מתקנת יומיים קיימים. באופן מכריע, המורה הוגדר להדריך במקום לתת תשובות, המשקף את הפדגוגיה המוצהרת של אקדמיית חאן. הניסוי נמשך שנתיים לימודים, מה שהפך אותו לאחד מניסויי השטח הארוכים ביותר בשיעורי AI עד כה.
תוצאות הכותרת: הקצאה לתנאי שיעורי הבינה המלאכותית העלתה את ההישגים במתמטיקה ב-1.3 דרגות אחוזון לאומיות לקדנציה, שהכותבים מחשבים כ-0.06 עד 0.08 סטיות תקן במהלך שנת לימודים. ההשפעה המשתמעת של שנה שלמה של השתתפות פעילה מגיעה ל-0.14 סטיות תקן. אלו הם רווחים אמיתיים שניתן לזהות סטטיסטית, ועבור התערבות תוכנה בעלות נמוכה הם מכובדים.
אבל ההשוואה שמבטלת את ההייפ היא כזו: הרווחים דומים לאלה מהתרגול באקדמיית חאן ללא סיוע בינה מלאכותית. נראה שסטודנטים שהשתמשו בכלי התרגול הקיימים של הפלטפורמה, ללא מורה בינה מלאכותית צמודה, הצליחו בערך כמו סטודנטים שהייתה להם גישה לחנמיגו.
בעיית המעורבות בנתונים
החלק החושפני ביותר של העיתון הוא התיאור המשפטי של השימוש שלו. על פני השטח, האימוץ נראה חזק: 96 אחוז מהסטודנטים ניסו את Khanmigo לפחות פעם אחת. מתחת, האירוסין קורס. התלמיד החציוני שלח הודעה למורה רק כשליש מהימים שבהם תרגלו מתמטיקה, ורק ב-17 אחוזים מהתרגולים שבהם טעו. כשהתלמידים שלחו הודעה למורה, המחברים גילו שההודעות היו לרוב תשובות חשופות או לחיצות על הנחיות מוצעות, ולא דיאלוג מתמטי מהותי.
במילים אחרות, המורה הוגדר להדריך סטודנטים באופן סוקרטי באמצעות טעויות, אך התלמידים נמנעו לחלוטין משיחת האימון. המחברים מסכמים כי נראה שהאילוץ המחייב הוא מעורבות: מימוש ההבטחה של שיעורי AI יחייב לגרום לסטודנטים להשתמש בו, לא רק לתת להם גישה.
למה זה חשוב לבתי ספר שקונים בינה מלאכותית
מחוזות ברחבי ארצות הברית נמצאים בלחץ לאמץ כלי בינה מלאכותית, והדרכה היא מקרה הדגל לשימוש כמעט בכל פיץ'. בינה מלאכותית גנרטיבית קודמה כטכנולוגיה שיכולה סוף סוף לספק את מה שחוקרי חינוך מכנים חלום שתי סיגמא: מורה אישי לכל תלמיד. המסגור הדו-סיגמא של Bloom מגיע ממחקר ישן יותר על שיעורי עזר אנושיים, וזו בדיוק ההבטחה שמדריכי AI משווקים נגדה.
מחקר זה מצביע על כך שצוואר הבקבוק אינו איכות הדגם או הגישה. לכל תלמיד בקבוצת הטיפול היה מורה LLM מתקדם בלחיצה אחת, ללא עלות, בתוך הבלוק היומי שלו במתמטיקה. המגבלה הייתה האם מתבגרים יקיימו מרצון דיאלוג חונכות, יום אחר יום, בשיעור מתקן. שיעורי עזר אנושיים פועלים בחלקו משום שאדם שם לב מתי אתה מתנתק. תוכנה, עד כה, לא משכפלת את המשיכה הזו בצורה מהימנה.
אזהרות שכדאי לזכור
המאמר הוא EdWorkingPaper, המופץ דרך מכון אננברג של אוניברסיטת בראון, ועל הקוראים להתייחס אליו כאל מחקר עבודה ולא כממצאים שנבדקו עמיתים. המחקר מכסה מתמטיקה מתקנת בחטיבת הביניים במדינה אחת, כך שהכללה למקצועות אחרים, לרמות כיתה או למודלים של יישום היא ספקולטיבית. המסגרת של המחברים עצמם נמדדת: הם מדווחים על מה שקרה כאשר מורה בינה מלאכותית זמין באופן נרחב הוצמד למפגשי תרגול קיימים, ולא על מה שעלול לקרות תחת תוכניות לימודים שונות או תמריצים חזקים יותר לעסוק.
ראוי לציין גם את מה שהמחקר לא אומר. הוא לא מוצא ששיעורי AI חסרי תועלת; השפעה של 0.14 סטיית תקן משנה שלמה של השתתפות פעילה תהיה בעלת משמעות אם ניתן היה לקיים מעורבות. הממצא קרוב יותר לכך: הטכנולוגיה עבדה כמו גם כלי התרגול שאינם בינה מלאכותית שעליהן הוצמדה, מכיוון שתלמידים לא השתמשו ב-AI בצורה שונה מהלחצנים שהם כבר התעלמו מהם.
הטייק אווי
מגזר טכנולוגיות החינוך השקיע שנתיים בהבטחה שמורי AI גנרטיביים ישנו את הכיתות. ניסוי זה, אחד הראשונים שעוקב אחרי סטודנטים אמיתיים במשך שנתיים תמימות, מצביע על כך שהטרנספורמציה נגרמת על ידי בעיה עתיקה: לגרום לילדים לרצות לעשות את העבודה. עבור מנהיגי בתי ספר, הלקח הוא לדרוש נתוני מעורבות, לא רק ספירת רישיונות, מספקי בינה מלאכותית. עבור תעשיית הבינה המלאכותית, זוהי תזכורת לכך שהבעיות הקשות ביותר בפריסת בינה מלאכותית הן רק לעתים רחוקות לגבי המודל.
התעדכן במחקר בינה מלאכותית
ניסויי שטח כמו זה חתכו את מחזור ההייפ מהר יותר מכל אמת מידה. לסיקור רציף של מחקר בינה מלאכותית עם השלכות מהעולם האמיתי, עקוב אחר חדשות בינה מלאכותית ב-aibuzzwire.news.
קרא עוד חדשות AI →
