ה-GPT-6 Astra של OpenAI אולי נאבקת בבעיות אמון המשתמשים בחזית הקידוד, אבל במדד רובוטיקה חדש היא מפרסמת מספרים שחוקרים מדברים על קפיצת מדרגה איכותית. ב-StationeryBench, מבחן שנבנה סביב חפצי שולחן רגילים, אסטרה השלימה במלואה 7 מתוך 100 משימות בעוד שה-MolmoAct2 של Ai2, הדגם מולו עמדה, השלימה אפס.
המדד, המתואר על ידי The Decoder, מציב את שני הדגמים זה מול זה על פני חמש משימות של אובייקט שולחן - פתיחת מכסה של סמן, שפיכת מהדקי נייר או העברת סרגל בין שתי זרועות רובוט. שני הדגמים שלטו באותם רובוטים YAM דו-זרועיים לאורך 200 ניסויים, תכנון בקרה שנועד לבודד את יכולת המודל מהבדלי החומרה. כל התוצאות, הסרטונים והקוד פורסמו ב-GitHub. לסיקור מחקר נוסף כמו זה, בדוק את מרכז החדשות של AI שלנו.
'שינוי צעד', לפי חוקרים
יואב ארצי, חוקר בינה מלאכותית ב-Cornell ו-Google DeepMind, כינה את הביצועים של אסטרה "שינוי צעד בחשיבה מרחבית" - סוג של תוצאות בנצ'מרק של שפה שמרוויחות רק לעתים רחוקות. במדד שעדיין לא פורסם בשם REMAP, אסטרה מגיעה לדיוק קרוב לרמה האנושית, אם כי ארצי ציין כי "אפילו אסטרה לא מגיעה למה שבני אדם עושים בתרחישים אחרים".
ציון ההתקדמות החציוני של אסטרה הגיע ל-46 מתוך 100, בהשוואה ל-12 עבור MolmoAct2 - פער שחשוב יותר ממה שמספרי השלמת הכותרות מרמזים. משימות רובוטיקה מדורגות לפי התקדמות חלקית כמו גם הצלחה מלאה, ושלישייה של הציון החציוני של יריבה מצביע על כך שהמודל מתקדם בעקביות דרך רצפי מניפולציה במקום להצליח במזל בקומץ ניסויים.
מדוע חשיבה מרחבית חשובה פתאום
התוצאה מרמזת על האופן שבו אסטרה אומנה. ארצי חושד ש-OpenAI אימן את המודל על כמויות גדולות של נתונים תלת-ממדיים, כמו סצנות בלנדר, שיתאימו לעוצמתו המיוחדת של הדגם במשימות תלת-ממד. אם הקריאה הזו נכונה, זה מצביע על כך שסביבות תלת מימד סינתטיות - זולות ובטוחות יותר מאיסוף נתונים בעולם האמיתי - הופכות לנתיב בר-קיימא לכשירות בעולם הפיזי, אחד מצווארי הבקבוק הארוכים ביותר ברובוטיקה.
העיצוב של המדד גם אומר משהו על לאן צועדת הערכת רובוטיקה. המשימות של StationeryBench הן שגרתיות בכוונה - פתיחת מכסה סמן, שפיכת מהדקי נייר, מסירת סרגל - כי מניפולציה יומיומית, לא הישגים קולנועיים, היא מה שמפריד בין הדגמות מעבדה למכונות שימושיות. דירוג שני הדגמים על אותה חומרת YAM כפולה לאורך 200 ניסויים, ופרסום כל סרטון, הוא הגדרה שקופה בצורה יוצאת דופן לתביעת יכולת הכרוכה בספינת הדגל של מעבדת גבול.
MolmoAct2, מודל ההשוואה של מכון אלן לבינה מלאכותית (Ai2), השלמת אף אחת מהמשימות אינה סוג של נתון משלו: הוא מצביע על כך שהפער בין דגמי גבול למטרות כלליות למודלים של רובוטיקה ייעודיים אינו עוד רק נסגר אלא מתהפך, לפחות במניפולציה כבדה בהיגיון.
זה גם מתאים לשאיפות המוצהרות של OpenAI: לחברה יש תוכניות ארוכות טווח לבנות רובוטים לצרכן משלה, על פי דיווח שצוטט על ידי The Decoder. מודל שפת גבול שיכול לחשוב על חפצים, ידיים ומסלולים הוא חצי התוכנה של המגרש הזה. חצי החומרה נותר לא פתור, אבל אמות מידה כמו StationeryBench הן איך הסיפור הזה נמדד.
הקשר: דוגמנית עם שבוע מסובך
התוצאה נוחתת במחזור חדשות מוזר עבור OpenAI. אותו מודל שנמצא במרכז השוואת ביצועים זה בילה את השבוע מול תלונות משתמשים על כך שהוא הפך למטומטם יותר מאז ההשקה - תלונות ש-OpenAI עקבה אחרי שלושה פגמים בעלי שם, מכישורים שגויים ועד לניסוי בהקשר לא התנהגותי, לפני איפוס מגבלות השימוש ב-Codex. מודל שנכשל בייצור תוך פרסום תוצאות של שינוי שלבים במעבדה הוא פרט של תעשיית הבינה המלאכותית הנוכחית: היכולת והאמינות מתקדמים בשעונים שונים.
זה גם נוחת בתוך ויכוח בטיחות שההנהגה של OpenAI עצמה הצטרפה אליו. המדען הראשי של החברה הזהיר שאף מעבדה לא פתרה את השליטה במערכות אוטונומיות יותר ויותר, ומנכ"ל אנתרופיק קרא לתעשייה להאט לחלוטין את התפתחות הגבולות. אמות מידה המציגות מודלים המבצעים מניפולציות בעולם הפיזי - גם אם העולם הוא רק שולחן מכוסה בנייר מכתבים - הם בדיוק סוג התוצאה ששני המנהלים מצטטים כשהם טוענים שקצב ההתקדמות עובר את הפיקוח.
השורה התחתונה
שבע משימות שהושלמו במלואן מתוך 100 לא ישימו רובוט על השולחן שלך מחר. אבל מעבר מאפס של יריבה לשבע, עם ציון התקדמות חציוני גבוה פי שלושה, הוא סוג של אי המשכיות שצייר מחדש טבלאות יכולות בהבנת השפה לפני שנתיים. השאלה הפתוחה היא האם אותו מודל יכול לספק את היכולת הזו בצורה מהימנה, מחוץ לרף, במחיר שמפתחים מוכנים לשלם.
הישאר לפני AI
אמות מידה, פריצות דרך והמירוץ לעבר מכונות הפועלות - באו אחריו כל יום.
קרא עוד חדשות AI →
