טבלאות מנהיגות בינה מלאכותית מספרות סיפור מפורט להפליא על האופן שבו מודלים כותבים קוד, פותרים בעיות מתמטיות ועונים על בחינות ברמת תואר שני. מה שהם כמעט אף פעם לא אומרים לך זה כמה טוב דוגמניות מבצעות את העבודה שרוב האמריקאים באמת משלמים עליהן.
פרויקט מחקר חדש משוק הכישרונות בינה מלאכותית מרקור שם מספר על הפער הזה. על פי מפת הבנצ'מרק של החברה, שפורסמה השבוע, בערך 90% משעות העבודה האמריקאיות מושקעות במשימות עם מעט או ללא כיסוי ממדדי AI קיימים. For more context on this story, see our ongoing AI news.
"זה מקשה מאוד לדעת עד כמה דגמי AI טובים בעבודה שהאמריקאים באמת עושים", כותבת החברה בממצאיה.
סופרים את המדדים שמפספסים
כדי לבנות את המפה, מרקור ערכה אינדקס של 29 אמות מידה שנבחרו לאיכות ורלוונטיות כלכלית, ולאחר מכן מיפה את ההנחיות שלהם מול מסד הנתונים התעסוקתי של ממשלת ארה"ב O*NET - הטקסונומיה הסטנדרטית של 923 מקצועות ו-18,797 משימות נפרדות המרכיבות את כוח העבודה האמריקאי.
מספרי הסיקור בולטים. רק ל-208 מתוך 923 מקצועות O*NET יש בכלל כיסוי בנצ'מרק, ורק 924 מתוך 18,797 משימות תעסוקתיות מיוצגות על פני כל המדד.
המתודולוגיה, שתועדה באתר הפרויקט, נשענת על בינה מלאכותית עצמה: בעקבות מחקר עדכני, שופט LLM מתייג כל הנחיה בנצ'מרק במשימות ה-ONET שהיא מתאימה להן, כאשר התיוג מאומת כנגד תוויות מומחים אנושיות בתת-קבוצת ה-APEX של מרקור עצמה. משימה נחשבת כמכוסה רק אם השופט ממפה אותה לפחות לחמש הנחיות ממדד 29 המדדים. כדי לתרגם את הכיסוי למונחים כלכליים, מרקור שילבה את ההערכות שלה עם אומדנים שנגזרו מ-LLM שפורסמו לאחרונה של נתח זמן העבודה של כל משימת ONET.
כיסוי עוקב אחר הכסף
הפערים אינם מחולקים באופן אקראי. הניתוח של מרקור מצביע על כך שקהילת הבינה המלאכותית הבחינה תחילה בשווקי העבודה הגדולים ביותר - המקצועות עם סך חשבונות השכר הגדולים ביותר, המחושבים על פי אומדני השכר והתעסוקה של הלשכה לסטטיסטיקה.
הפירוט בין העבודה למשפחה מראה עד כמה תשומת הלב לא אחידה. מקצועות המחשב והמתמטיקה, המגרש הביתי של יצירת הבנצ'מרק, הם המקצועות הטובים ביותר ב-29 מתוך 36 עיסוקים. פעולות עסקיות ופיננסיות עוקבות אחרי 33 מתוך 48. אבל לתמיכה משרדית ומנהלית - משפחה המעסיקה מיליונים - יש רק 21 מתוך 51 עיסוקים מכוסים, ותפקידי ניהול 21 מתוך 56.
גם במקצועות המכוסים ביותר, העומק הוא דק. כאשר מרקור ניסתה ניקוד משוקלל של ONET עבור ארבעה מקצועות עתירי מדד - בנקאות השקעות, משפטים, חשבונאות והנדסת תוכנה - היא גילתה שלפחות משליש ממשימות ONET הרלוונטיות לאותן משרות יש מספיק כיסוי בנצ'מרק כדי להיכלל בציון משוקלל.
מדוע הנקודות העיוורות חשובות
הממצא נוחת ברגע שבו ציוני אמת מידה מניעים החלטות אמיתיות. ארגונים בוחרים רמות מודל על סמך הערכות; לוחות שומעים על התקדמות מודל גבול מבחינת קפיצות בנצ'מרק; קובעי המדיניות מציינים מסלולי יכולת בעת שקלול הרגולציה. אם 90% משעות העבודה יושבות מחוץ למה שמדדים מודדים, כל ההחלטות הללו נשענות על מדגם מוטה לכיוון המשרד, הטכני והאקדמי.
ישנן סיבות מבניות לכך שמדדים מתקבצים היכן שהם מתקבצים. משימות הנדסת תוכנה זולות לציון, זולות לדירוג אוטומטי וקלות לעיצוב מחברי השוואת ביצועים - שכותבים בעיקר תוכנה. הערכת אופן המיטה של עוזר רפואי, שיקול דעת של רכז לוגיסטי תחת אילוצים משתנים, או תהליך אבחון של חשמלאי קשה יותר לסטנדרטיזציה, קשה יותר לאימות מרחוק, ובמקרים רבים בלתי אפשרי לבדיקה ללא נוכחות פיזית.
ל-Mercor, שעסק הליבה שלה משדך בין מומחי תחום לבין מעבדות בינה מלאכותית לעבודות הדרכה והערכה, יש אינטרס מסחרי ברור להצביע על כך שכיסוי ההערכה דל - החברה מוכרת גישה בדיוק למומחים שיכולים לסגור את הפער הזה. אבל בעיית המדידה הבסיסית היא אמיתית ומוכרת יותר ויותר בכל התחום, והחברה פרסמה את המתודולוגיה שלה ואת רשימת המדדים המלאה לבדיקה.
החברה טוענת כי מפת ה-Benchmark שלה היא צעד ראשון לקראת משאב המתעדכן באופן רציף להבנת יכולות בינה מלאכותית בכל הכלכלה, והיא פועלת לקראת ציוני מודל משוקלל של O*NET המשקללים כל משימה תעסוקתית באופן שווה במקום לתת למשימות תכופות לשלוט בממוצע.
עשור המדידה
מה שיקרה אחר כך תלוי אם בוני המדדים עוקבים אחר המפה הכלכלית. נתוני מרקור מצביעים על המקום שבו חסר הכיסוי - ובאופן מרומז, היכן אמות מידה חדשות ישאו את ערך המידע הרב ביותר. מקצועות עם תעסוקה גדולה, חשבונות שכר גבוהים וכיסוי אפס בנצ'מרק הם, למעשה, טריטוריית הערכה פתוחה.
לעת עתה, ההנחה המעשית עבור כל מי שצורך חדשות AI Leaderboard היא אזהרה: פרופיל הבנצ'מרק של דגם מתאר את נקודות החוזק שלו בנתח הכלכלה שמדדים מכסים במקרה. 90% הנותרים משעות העבודה - עבודת המנהל, הטיפול, השירות בשטח, ניהול הקומה - נותרו שטח בלתי מדוד ברובו, והטענות על שינוי בינה מלאכותית נשענות כיום יותר על אנקדוטה מאשר ראיות.
כפי שמגדיר זאת המסגרת של החברה עצמה, המדדים הלכו והתרבו בשנים האחרונות, אך הכיסוי של עבודה בעלת ערך כלכלי נותר מוגבל. המפה הופכת את המגבלה הזו לגלויה, אריח אחר אריח, עיסוק אחר עיסוק.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
