קבוצת ה-AI Frontiers של Microsoft Research - היחידה המונה כ-50 אנשים מאחורי מסגרת התזמורת של סוכני AutoGen וסוכן השימוש במחשב Fara - הגיעה לקיצה, על פי חשבון גלוי בגוף ראשון שפרסם השבוע חוקר למידת מכונה ג'ון לנגפורד, שארגן את הקבוצה בתוך MSR ב-2023. לנגפורד כותב שהצוות נקלט במחקר הארגון מחדש של מיקרוסופט בתחילת ספטמבר, ולא השאיר את האג'נדה מחדש של מיקרוסופט. הפוסט פגע בעצבים: הוא הגיע לראש Hacker News עם יותר מ-300 נקודות בתוך שעות, והוא מציע את אחד מתיאורי הפנים המפורטים ביותר עד כה על האופן שבו המעבר של התעשייה ממחקר להרחבה מתרחש בתוך מעבדה גדולה. אנו עוקבים אחר הנשורת בסיקור החדשות העסקיות של AI שלנו.
מה נבנו גבולות AI
לנגפורד מתחקה אחר מוצאה של הקבוצה לחודשים שלאחר שחרורו של ChatGPT, כאשר הגיע למסקנה שמחקר AI משמעותי בתוך מיקרוסופט זקוק ליותר מבנה מהמודל המסורתי של MSR. "כמות התמיכה והמיקוד שהפעילו קבוצות מחקר אחרות הייתה גדולה מספיק, שאפילו עם רעיון חכם שאדם אחד רודף אחריו, סביר להניח שהוא יגיע מאוחר ולא משכנע", הוא כותב, ומסביר כי חוקר סולו לא יכול היה להרכיב קווי בסיס חזקים מספיק כדי להוכיח שרעיון שווה להמשיך.
אז לנגפורד ועמיתים דומים ארגנו AI Frontiers כתת-ארגון של כ-50 אנשים, בכוונה לא מלמעלה למטה ולא מלמטה למעלה אלא "איפשהו באמצע המבולגן". הפלט הגלוי ביותר של הקבוצה יושם: AutoGen, מסגרת הקוד הפתוח הנפוצה של מיקרוסופט לתזמור מספר סוכני AI, ו-Fara, סוכן לשימוש במחשב. לדברי לנגפורד, "חלק גדול מהעבודה של AIF היה להבין איך לגרום לסוכנים לעבוד".
המחקר הבסיסי של הקבוצה היה פחות גלוי. נציג מניו יורק רדף אחרי מה שלנגפורד מתאר כיכולות ליבה חדשות: מטרת "Next Latent" המאפשרת לדגמים לבצע אקסטרפולציה, אופטימיזציה בשם Dion3 שמשפרת את Muon, ו"שנאי רוחב פס מלא" שנועד להפוך מודלים לחזקים יותר באמצעות רקורסיה.
הקבוצה גם ניסתה לשתף תשתית עם שאר קבוצת המחקר של מיקרוסופט, תוך שמירה על מונורפואה פתוחה לכל חוקרי MSR. המאגר הזה כלל בסיס קוד אימון מקדים בקנה מידה קצה שלנגפורד הציג בוועידת COLM בחודש שעבר - פרט שהוא מכנה מינורי, אבל אחד שהוא משתמש בו כדי להדגיש כמה מאמץ נדרש לבנות צינור אימון מודל עובד, וציין ששלושה צוותים פנימיים אחרים ניסו את אותו הדבר ללא בסיס משותף.
הארגון של ספטמבר
בתחילת ספטמבר, מיקרוסופט קיפלה את AI Frontiers לתוך Microsoft AI, חטיבת המוצרים הגדולה בהרבה שמרכזת את מאמצי ה-AI הצרכני והארגוני של החברה. על הנייר, מודה לנגפורד, המהלך היה הגיוני: שילוב של שני ארגוני בינה מלאכותית מרכז מאמץ, ולכל אחד מהם היו נקודות חוזק שחסרו לשני.
בפועל, הוא כותב, המיזוג מבוסס על פילוסופיה. "פילוסופיית הליבה שם היא קנה מידה, ובאופן אגרסיבי לא מחקר", אומר לנגפורד על ההנהגה לשעבר של Inflection של Microsoft AI - התייחסות לצוות שהצטרף למיקרוסופט מהסטארט-אפ Inflection AI, שמעצב כעת את כיוון החטיבה בהנהגתה. המסגור שלו לגבי הכלכלה המתקבלת היא בוטה: מודלים גדולים יותר מייצרים תחזיות טובות יותר, ו"החזרות לקנה מידה הן הרבה יותר צפויות מאשר החזרות למחקר", כך שארגון ראשון בקנה מידה מתרכז ברכישה וזיקוק של נתונים ולא בשיטות חדשות.
המיקוד הזה, לטענתו, הוא "די רחוק" מהעבודה הבסיסית שעשתה AI Frontiers - ומעבר לחוסר ההתאמה הפילוסופית, הוא אומר שהקבלה הייתה פושרת במקרה הטוב. "היו הרבה ראיות לכך שהם פשוט לא באמת רצו אותנו", כותב לנגפורד, ומכנה את המצב "קשה למצוא את עצמך בו". הוא לא חוסך בהשקפתו שלו על הפשרה, ומתאר את גישת ההרחבה בלבד כמכוונת שגויה, אם כי הטיעון המלא מתרחב מעבר לנקודה שהוא מעלה במפורש בפוסט.
מחקר לעומת קנה מידה, מעבר למיקרוסופט
המאמר נוחת על רקע ויכוח רחב יותר בתעשייה על האם מעבדות חזית יכולות לקיים ארגוני מחקר אמיתיים לצד לוחות זמנים של מוצרים. מיקרוסופט כמעט ולא לבדה באיחוד מחקר בינה מלאכותית תחת מנהיגות ממוקדת מוצר, אבל החשבון של לנגפורד הוא ספציפי בצורה יוצאת דופן לגבי המכניקה: קבוצה קטנה ופרודוקטיבית שקיבלה לא מנדט ולא קבלת פנים לאחר ארגון מחדש של החברה, כשהתרומות שלה לתשתית נקלטות בשקט.
הדיון ב-Hacker News, שם הפוסט גרר מאות הערות, התרכז בעיקר במתח הזה - בין אם נתיחות כמו זו מתארות התבגרות בלתי נמנעת של מחקר AI ארגוני, או טעות אסטרטגית שבה מעבדות מחליפות יתרונות מתודולוגיים עמידים עבור רווחי קנה מידה צפויים. מגיבים גם סימנו את האירוניה ש-AutoGen, אחד מפרויקטי החתימה של AI Frontiers, עזר להגדיר את קטגוריית תזמורת הסוכנים השולטת כעת במפות הדרכים של AI בינה מלאכותית.
עבור מיקרוסופט, הפרק הוא הערת שוליים בעלת מוניטין עם השלכות מעשיות. החברה שמה את אסטרטגיית הבינה המלאכותית שלה על קצב המשלוח של Microsoft AI, ולנגפורד לא טוען שהארגון הממוזג יבנה מוצרים גרועים יותר. הדאגה שלו צרה ומחודדת יותר: שהצינור לרעיונות חדשים - האנשים, התשתית, הסובלנות לגישות לא מוכחות - הוא בדיוק מה שהחטיבה הראשונה בקנה מידה הכי פחות שימוש, עד ליום שבו היא תזדקק לאחד.
לא הפוסט של לנגפורד ולא הארגון מחדש שהוא מתאר משנים את מה שהמשתמשים רואים היום, אבל הם כן מבהירים איך מיקרוסופט ממיינת כעת את הימורי הבינה המלאכותית שלה. מחקר שניתן להפוך לקנה מידה נמצא ב; מחקר שעשוי לשנות את משמעות קנה המידה הוא, במקרה הטוב, על תנאי. כפי שלנגפורד מנסח זאת בכותרת הפוסט, זהו הסוף של AI Frontiers - ונקודת נתונים בוויכוח לגבי מה נועד מחקר AI ארגוני.
הישאר לפני AI
העסק של AI נכתב מחדש בזמן אמת, וההחלטות המתקבלות בתוך מעבדות כמו מיקרוסופט מעצבות את הכלים שכולם יורשים. עקוב אחר כל התפתחות בסיקור חדשות AI.
קרא עוד חדשות AI →
