השקעת עשר דקות בלבד בהסתמכות על כלי בינה מלאכותית פוגעת באופן משמעותי ביכולתו של אדם להתמקד במשימות קשות ולהתמיד בהן, על פי מחקר שנערך בביקורת עמיתים שהוצג השבוע בכנס למודלים של שפה (COLM).
המאמר, שכותרתו "סיוע בינה מלאכותית מפחיתה התמדה ופוגע בביצועים עצמאיים", נכתב בשיתוף הסופר והחוקר בריאן כריסטיאן, עמית מחקר במרכז UC Berkeley for Human-Compatible AI, יחד עם חוקרים מאוניברסיטת קרנגי מלון, המכון הטכנולוגי של מסצ'וסטס, אוניברסיטת אוקספורד ו-UCLA. טיוטה מוקדמת יותר של העבודה הופצה באביב, אבל הגרסה המעודכנת, שנבדקה עמיתים, הוצגה בכנס השבוע, ומשרד המחקר של UC Berkeley פרסם סיכום מפורט ב-9 באוקטובר. For more context on this story, see our ongoing AI industry coverage.
מה החוקרים מצאו
כדי למדוד באיזו מהירות המיקוד וההתמדה של אנשים ירדו, הצוות הפעיל סדרה של ניסויים מבוקרים אקראיים עם 1,222 משתתפים שגויסו באינטרנט.
בניסוי הראשון, 354 משתתפים התבקשו לפתור 15 בעיות בסיסיות בשברים. קבוצה אחת עבדה ללא עזרה, בעוד שלקבוצה שנייה הייתה ChatGPT פתוחה בצד והיא הייתה חופשית להשתמש בה לסיוע - או אפילו לבקש תשובות ישרות. הקבוצה עם גישת AI התחילה בצורה מדויקת יותר. ואז, לאחר 12 בעיות, החוקרים לקחו את הכלי. כמעט מיד, הדיוק בקבוצה זו קרס.
הדפוס חזר על עצמו עם קבוצה שנייה וגדולה יותר של 667 משתתפים. כאשר הסיוע בבינה מלאכותית הופסק, משתמשי הבינה המלאכותית קיבלו תשובות שגויות או ויתרו לחלוטין, בעוד הקבוצה שעבדה ללא עזרה דבקה במשימה וסיימה בהצלחה רבה יותר.
ניסוי שלישי עם 201 משתתפים החליף את בעיות המתמטיקה בבקשת הבנת הנקרא SAT. התוצאה הידהדה את הניסויים הקודמים: כשהכלי נעלם, כך גם התמדה ודיוק.
"כמעט לא יכולת לבקש סיפור ברור יותר", אמר כריסטיאן בהערות שפרסם UC ברקלי.
ה'עלות האנושית' של תשובות מיידיות
החוקרים טוענים שהבעיה אינה בינה מלאכותית עצמה, אלא סוג העזרה שהיא כברירת מחדל. כאשר מערכת מייצרת תשובות תוך שניות, המשתמשים מתרגלים למהירות הזו, וכל דבר איטי יותר מתחיל להרגיש לא יעיל. הסתמכות על הכלי מסירה גם את מה שהצוות מכנה "מאבק פרודוקטיבי" - המעורבות המאומצת שעוזרת לאנשים לגלות את החוזקות והאינטרסים שלהם.
"בנינו את המערכות האלה כדי להיות מועילות, אבל האם הן עוזרות לנו באופן שבעצם עוזר לנו?" אמר כריסטיאן. "הראינו, למרבה האירוניה, שלעתים קרובות הם עוזרים לנו בדרכים שאינן מועילות".
כריסטיאן, שספרו "בעיית היישור" משנת 2020 נחשב לאחת מהעבודות הנגישות המובילות בנושא בטיחות בינה מלאכותית, אמר שהממצא מספק ראיות לאינטואיציה שאנשים רבים מחזיקים. "זה ממצא בולט, אבל במובן מסוים הוא מספק תחמושת לסיפור שרבים מאיתנו מרגישים במעיים", אמר. "גם אני חווה את זה".
למה זה חשוב מעבר לשברים
המחקר נוחת על רקע הדאגה הגוברת לגבי פריקה קוגניטיבית בחינוך. חברות בינה מלאכותית של Frontier עצמן הכירו כי הורדת משימות לצ'אטבוטים יכולה להפחית את ההבנה הבסיסית של המשתמש בנושא, על פי הדו"ח של ברקלי. כריסטיאן מציע תיקון אפשרי: ברירת המחדל של תגובות בינה מלאכותית עשויות להיות מלמדות יותר - להתנהג כמו מורה שמנחה ולא כמענה שמחליף.
"אנחנו צריכים לעבוד לקראת עתיד שבו יכולות אנושיות מוגברות, ככל האפשר, במקום מודחקות", אמר.
דאגתו משתרעת על מחקר מקצועי. נוצרים דואגים שהסתמכות יתר על כלי בינה מלאכותית במדע עלולה לשחוק בדיוק את ההרגלים שעושים מדען טוב: להישאר קרוב לנתונים, לשקוע בחומר ולעבוד בצמוד לצוות. קבוצת מחקר של עשרה שמייצרת את הרעיונות מאחורי פריצת דרך, הוא ציין, עשויה להתכווץ לשניים או שלושה חוקרים וצ'אט בוט.
"זה לא סיפור על שברים ובעיות SAT", אמר כריסטיאן. "זה משהו שקורה לידע האנושי ולמומחיות האנושית מלמעלה למטה ומתלמידי בית ספר יסודי עד למומחים המובילים בעולם".
מחקר שנכנס למיינסטרים
הממצאים המוקדמים זכו לסיקור מ-WIRED ו-Psychology Today כאשר הטיוטה המוקדמת הופיעה באביב, והניו יורק טיימס פרסם כתבה על המאמר ומחקר דומה בשבוע שעבר, על פי UC Berkeley. המצגת שנבדקה על ידי עמיתים ב-COLM - אחד המקומות העיקריים בתחום לחקר מודלים של שפות - מעניקה כעת לתוצאה חותמת רשמית.
עבור מחנכים ומעסיקים, המסר הוא לא נוח אך קונקרטי: אפילו חשיפה קצרה לתשובות AI מיידיות משנה באופן מדיד את האופן שבו אנשים מתנהגים כאשר התשובות אינן זמינות עוד. ולחברות בינה מלאכותית, המחקר מוסיף ללחץ גובר לתכנן מערכות שמלמדות בתדירות שבה הן פותרות.
כריסטיאן, מצידו, מחזיק מחברת על שולחנו וכותב בה מדי יום. התרגול, הוא אמר לברקלי, שומר אותו מקורקע - ומונע מהיתרון המלומד שלו להתעמעם.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
