חברת Benchmark Artificial Analysis השיקה את גרסה 5 של מדד האינטליגנציה שלה, וקוראת לה השדרוג הגדול ביותר לדירוג הדגמים המרוכבים שלה מאז הופעת הבכורה של v4 בינואר. השינוי בכותרת: לראשונה, 60 אחוז מהמדד מבוסס על הערכות עם ערכות מבחנים פרטיות או תשובות ממושכות - תגובה ישירה לבעיות הזיהום בנצ'מרק ששחקו את האמון בטבלאות התוצאות הציבוריות.

המהפך מגיע עם פסק דין ברור בראש. קלוד אופוס 5.5 (מקסימום) מוביל את מדד v5 ב-58, לפני GPT-6 Astra (מקסימום) ב-57 ו-GPT-6.1 Sol (מקסימום) ב-55. Anthropic ו-OpenAI מחזיקות יחד בחמשת המיקומים הראשונים, כאשר ה-Gemini 4 Argon של גוגל (גבוה) הבא ב-50. For more context on this story, see our ongoing more AI stories.

מה השתנה בגרסה 5

אינדקס v5 מאורגן בארבע קטגוריות במשקל שווה - ידע עבודה, קידוד, מדע וכללי - כל אחת שווה 25 אחוז. שני אמות מידה חדשות לגמרי, ושלושה קיבלו שדרוגים גדולים:

  • FrontierCode 2.0 (חדש). אמת המידה הפרטית של Cognition של 132 משימות קידוד בעולם האמיתי במאגרי קוד פתוח, מדורגת לפי האם מתחזק מאגר אכן ימזג את השינוי של הסוכן. המשימות נשארות פרטיות כדי למנוע זיהום, וניתוח מלאכותי מריץ כל משימה שלוש פעמים ברתמת ה-Stirrup שלו.
  • Terminal-Bench-Science (חדש). שבעים משימות מחקר מדעי אגנטיות המבוצעות בסביבה טרמינלית, שבה משימה עוברת רק אם כל אחת מהבדיקות שלה עוברות.
  • HLE-Diamond (משודרג). גרסה מעודנת בת 1,000 שאלות של הבחינה האחרונה של האנושות מהמרכז לבטיחות AI ו-Scale AI, מחולקת באופן שווה בין שאלות הנמקה לידע, ומחליפה את ה-HLE המקורי.
  • AA-Omniscience v1.1 (משודרג). מערך נתונים של ידע והזיות נקי עם שאלות רוויות וציבוריות שהוסרו.
  • משנה קשה של CritPt v2 (משודרג). תת-קבוצה פרטית של 40 שאלות של רף הפיסיקה ברמת המחקר, שתוקנה על ידי מחבריו ומופעלת עם ביצוע קוד.

נעלם מהאינדקס: GDPval-AA v2.1, SciCode ו-AA-LCR v1.1. ניתוח מלאכותי השיק גם מדד התקדמות נלווה v1, העוקב אחר יכולת המודל לאורך זמן בקנה מידה רציף יחיד.

קלוד אופוס 5.5 לוקח את ההובלה הכללית

קלוד אופוס 5.5 (מקסימום) מוביל שלוש מתוך תשע ההערכות האישיות: FrontierCode 2.0 ב-46 אחוזים, HLE-Diamond ב-68 אחוזים ו-AA-Omniscience v1.1 ב-48. אף דגם אחד לא מוביל הכל - חמישה דגמים אחרים נמצאים בראש ששת המדדים הנותרים.

GPT-6 Astra (מקסימום) מובילה את Terminal-Bench-Science ב-63 אחוז ואת תת-הקבוצה הקשה של CritPt v2 ב-72 אחוז, מה שמאשר את החוזק של OpenAI בעבודה מדעית ארוכת טווח. קלוד סונטה 5.5 מוביל את תיק AA ב-1812 Elo, ה-K3.1 Pro של Kimi מוביל את Terminal-Bench 4.0 ב-67 אחוזים, Gemini 4 Argon מוביל את AutomationBench-AA ב-78 אחוזים, ו-Muse Wonder Full מובילה את GDP.pdf ב-33 אחוזים.

תוצאות HLE-Diamond מכילות פרט מובהק: המודלים המובילים מציינים הרבה יותר טוב בהיגיון מאשר בידע. קלוד אופוס 5.5 ו-GPT-6 אסטרה הגיעו שניהם ב-78 אחוזים בשאלות הנמקה, אך ירדו ל-58 ו-50 אחוזים בהתאמה בידע - עדות לכך שאפילו מערכות גבול עדיין הוזו או חסרות עובדות לעתים קרובות יותר ממה שמציע ציוני ההיגיון שלהן.

פער המשקל הפתוח משולש

הממצא המפוכח ביותר עבור המערכת האקולוגית של המשקולות הפתוחות: הפער בין הדגם הפתוח הטוב ביותר לבין המוביל הכללי גדל פי שלושה, והתרחב מ-3 נקודות ב-v4.3 ל-12 נקודות ב-v5.

ה-K3.1 Pro של Kimi הוא דגם המשקולות הפתוחות המובילות עם 46 - אך המשקולות שלו עדיין לא פורסמו. בין הדגמים עם משקלים משוחררים, ה-V4.1 Flash 1017 (מקסימום) של DeepSeek וה-GLM-5.3 (מקסימום) של Z.ai מובילים ב-32, 26 נקודות שלמות מאחורי קלוד אופוס 5.5 ומטה קלוד הייקו 5.5 (מקסימום) ב-36.

הפער הוא הרחב ביותר במדדים הסוכן הקשים ביותר. ב-HLE-Diamond, Kimi K3.1 Pro משיג 37 אחוזים מול 68 אחוזים של אופוס 5.5; ב-Terminal-Bench-Science, 34 אחוזים מול 63 אחוזים של GPT-6 Astra. רוב דגמי המשקולות הפתוחות מציינים מתחת ל-10 אחוזים במדד המדע.

המחיר למשימה משתנה פי 13

העלות נשארת משתנה מכריע. מבין עשרת הדגמים בעלי הניקוד הגבוה ביותר, GPT-6.1 Terra (מקסימום) הוא הזול ביותר במחיר של 0.96 דולר לכל משימת אינדקס מודיעין, בעוד שקלוד פייבל 5.1 (מקסימום) הוא היקר ביותר במחיר של 13.04 דולר - פריסה של יותר מפי 13.

סיפור היעילות הוא ללא ספק התוצאה המעשית ביותר של v5: GPT-6.1 Sol (מקסימום) ניקוד בטווח של 4 נקודות מקלוד אופוס 5.5 תוך עלות של בערך שמינית למשימה, ב-$1.27 לעומת 10.04$ של Opus. GPT-6 Astra (מקסימום) יושב ביניהם ב-$6.24.

למה חשובים מדדים פרטיים

המעבר לעבר מערכי הערכה פרטיים משקף בעיה ענפה: מדדים ציבוריים דולפים לנתוני אימון ורוויים, מה שהופך את הישגי ה-Leaderboard לבלתי אפשרי לסמוך עליהם. עם FrontierCode 2.0, משימות מדורגות לפי האם מתחזק ימזג את השינוי - עם כל כשל בבדיקת חסימה ניקוד אפס - ורשימת המשימות נשארת פרטית.

זה הופך את v5 לאחד מהאמות מידה הקשות יותר למשחק, ולפסק הדין שלה יש משקל: הגבול מובל על ידי Anthropic ו-OpenAI, הגדרות המאמץ חשובות יותר מתמיד, ולמודלים בעלי משקל פתוח יש קרקע רצינית להתאושש במשימות הסוגנטיות שמגדירות יותר ויותר עבודת AI בעולם האמיתי.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →