ג'ון שולמן, המייסד השותף של OpenAI המשמש כעת כמדען ראשי בחברת Thinking Machines, אמר שהוא מצפה לשיפור עצמי רקורסיבי - מערכות בינה מלאכותית שמאיצות את הפיתוח שלהן - בעוד כשלוש עד ארבע שנים, ציר זמן שמציב אותו בין החזאים האגרסיביים יותר בתחום. שולמן נתן את ההערכה במהלך פרק שולחן עגול של הפודקאסט Dwarkesh שפורסם ביום שישי, שבו שלושה חוקרי מעבדות חזית התלבטו בגלוי עד כמה התעשייה למעשה קרובה לתקרה שלה.
השיחה הציעה הצצה נדירה ללא שמירה על האופן שבו חוקרים קרובים לגבול חושבים על התקדמות, כשהם הגיעו בתוך שבוע רועש שראה את מנכ"ל Nvidia, Jensen Huang, הכריז ש"AGI הגיעה" וקבוצה של 25 מדליות שדות מזהירה כי רדיפה של בינה מלאכותית פוגעת במתמטיקה. עבור קוראים העוקבים אחר הפיתוחים האחרונים של AI, הפרק הוא משקל נגד שימושי: אלו הם אנשים שבונים את המערכות, והם לא מסכימים אחד עם השני בצורה חריפה.
מי היה ליד השולחן
המארח דוורקש פאטל אמר שהוא הרכיב את הפאנל מכיוון שהאורחים עובדים במה שהוא כינה "מעבדות וחברות קצת פתוחות", כלומר הם יכולים לדבר בכתב. הצטרפו לשולמן ברן מילדג', סמנכ"לית הטכנולוגיה ב-Zyphra, סטארט-אפ שמפתח מודלים של קוד פתוח, וצ'רלי אוניל, ראש הדרכה למודלים ב-Baseten.
התעודות של שולמן נותנות לשיחת ציר הזמן שלו משקל מיוחד. הוא ייסד את OpenAI והוביל את הלמידה החיזוקית ממחקר משוב אנושי שהפיק את הטכניקות מאחורי ChatGPT, לפני שעזב למכונות חשיבה, שם הוא משמש כעת כמדען ראשי.
התיק נגד הייחודיות, פלדה
פאטל פתח בשאלה נוקבת: אם 2036 תגיע ללא מיליארדי מערכות סופר אינטליגנטיות שישנו את העולם, מה הייתה הסיבה הטכנית? מילידג' הציעה את המקרה החזק ביותר לספקנות, ותיארה את מה שהוא כינה דפוס בסגנון הפרדוקס כמעט של Moravec שבו דוגמניות מנצחות את כל המדדים שחוקרים הציבו מולם, אך ההשפעה בעולם האמיתי מאכזבת.
"יש עדיין איזשהו פער מתמשך בין סימים למציאות שחוסם איכשהו הכל", אמרה מילידג', שתיארה עולם שבו בינה מלאכותית הופכת להיות "טובה מאוד בכל מה שאנשים מכניסים למדד" מבלי להכליל יותר. הוא הוסיף כי הוא רואה בתוצאה זו לא סבירה, והצביע על ראיות לכך שלמידת חיזוק כבר מכללה בפועל.
שולמן הסכים במידה רבה שההתקדמות אינה אוטומטית. לבני אדם יש יתרונות אמיתיים על פני הדגמים של היום, הוא אמר, וכל מהדורת דגם חדשה תופסת את הפער באזורים מסוימים, בעוד שהיא נשארת צווארי בקבוק באחרים - הדפוס שהגדיר את מספר מחזורי המוצר האחרונים.
צירי זמן של שריפה מהירה: שנתיים, שלוש עד ארבע, חמש עד עשר
כאשר פאטל לחץ על מספרים, הפאנל התפצל. כשנשאל מתי בינה מלאכותית עשויה לספק העלאת פרודוקטיביות פי עשרה עבור עובד צווארון לבן מוכשר, שולמן סירב תחילה לתת נתון בודד, ואז אמר "הייתי אומר שנתיים". מילדג' אמר שהוא יכול "למעשה לראות את זה", בטענה שהרווח כבר עולה על פי 10 עבור קטגוריות מסוימות של עבודה. אוניל היה השמרני ביותר, ענה "5 עד 10" שנים.
לאחר מכן דחף פאטל הלאה, ואיפיין את התרחיש כ"בעצם רק ASI." תגובתו של שולמן: "הייתי אומר 3-4 שנים", והוסיף כי אוטומציה של מחקר AI עצמו הוא "לא אחד הדברים הקשים ביותר עבור AI, כי זה כרוך בהרבה" עבודה שהטכניקות הנוכחיות כבר יכולות לגשת אליה. חילופי הדברים היו ראויים לציון במידת הדחיקה שגררה ההערכה מהחוקרים האחרים.
כיצד יוכשרו חוקרים אוטומטיים בפועל
חלק ניכר מהפרק עסק במכניקה של התרחיש ששולמן תמחר. כשנשאל כיצד יאמנו מערכות בינה מלאכותית המסוגלות לבצע אוטומציה של מחקר בינה מלאכותית, שולמן תיאר "שילוב כלשהו של למידה ממשוב אנושי לקליטת טעמם של החוקרים, ופשוט יצירת סביבות תרגול רבות הכוללות מחקר רב-שלבי".
התשובה הזו מתקשרת לאן הולך הכסף של התעשייה. העסקה של גוגל שהושלמה לאחרונה עבור Mechanize, סטארט-אפ שבונה סביבות עבודה מדומה לסוכני הדרכה, משקפת בדיוק את ההימור הזה שמגרשי אימונים טובים יותר - לא רק דגמים גדולים יותר - יובילו את הסבב הבא של רווחי יכולות. שולמן גם סימן קושי מרכזי: קשה לציין פונקציות תגמול הבנויות על נתונים טבעיים, ואותות שטחיים כמו האם משתמש קיבל עריכת קוד יכולים להטעות את האימון.
זיקוק מול ריכוזיות
אחת התחזיות הקונקרטיות ביותר של שולמן נגעה למבנה התעשייה. "אני חושב שזיקוק הוא הדבר העיקרי שנלחם נגד הכוח הריכוזי", הוא אמר, וטען שניתן להעביר יכולות שנלמדות באמצעות למידת תגבור למודלים קטנים יותר בקלות יחסית, תוך הפצת יכולות צמודות לגבול מעבר לחברות הבודדות שיכולות להרשות לעצמן ריצות הכשרה בחזית.
בשאלה מה נשאר לבני אדם, שולמן היה קטגורי. "הייתי אומר שהתפקיד האחרון לבני אדם, או התפקיד של בני האדם שיימשך הכי הרבה זמן, הוא הגדרת המטרה וההחלטה מה אנחנו בעצם רוצים", אמר. כשפאטל סיכם "התיאום הוא התפקיד האחרון", הסכים שולמן: "התיאום הוא סוג של התשובה", תוך שהוא מציין שהוא מתפרק להבנת המטרה הנכונה ולאחר מכן בעצם השגתה.
איפה הפרק משתלב בדיון על ציר הזמן
כותרת המשנה של הפרק - "אנחנו לא מתקרבים לתקרה" - לוכדת את הטנור הכללי שלו: חוקרים שרואים מסלול גדול קדימה, גם כשהם חולקים על עד כמה השביל יהיה מהמורות. הדיון השתרע בין מה מניע את ההתקדמות של המעבדות הסיניות, האם למידה של חיזוק באופק ארוך יכולה לעורר אינטליגנציה כללית, ומדוע RL התחילה לעבוד טוב כמוה.
הוויכוח הציבורי על לוחות הזמנים התגבר החודש מכל עבר. הכרזת "AGI הגיעה" של הואנג גררה ספקנות מצד אנליסטים שקראו אותו כמקרה עסקי ולא כטענה מדעית, בעוד מנכ"ל OpenAI, סם אלטמן, אמר לצוות העובדים שהחברה פתוחה להאט את הפיתוח המתקדם ככל שחששות הבטיחות גוברות, לפי בלומברג. החלון של שלוש עד ארבע שנים של שולמן לשיפור עצמי רקורסיבי נמצא איפשהו בין שיווק להקפאה - אומדן עובד של מישהו עם רקורד בבניית הטכניקות המניעות כעת את התחום.
השאלה אם הוא צודק תלויה בשאלות שהפאנל רק הקיף: האם למידת חיזוק ממשיכה להכליל מעבר לסביבות האימון שלה, והאם הפער בין ביצועי המדד לערך הכלכלי האמיתי ממשיך להיסגר.
הישאר לפני AI
חוקרי חזית מתלבטים בפומבי על גבולות הבינה המלאכותית - עקבו אחר הסיפור תוך כדי התפתחותו.
קרא עוד חדשות AI ב-AI Buzz Wire
