אמת מידה המבקשת ממודלים של שפות גדולות לכתוב בוטים תחרותיים של StarCraft בשעה אחת סיפקה את התוצאות המפורטות ביותר שלו עד כה, ופסק הדין מפוצל: ה-GPT-6 Astra של OpenAI שולט בתחום ה-AI, אבל הבוטים החזקים ביותר שנכתבו על ידי אדם עדיין ניצחו את הדגם הטוב ביותר ב-93% מהמקרים.

StarSkirmish Bench v0.2, שפורסם ב-15 באוקטובר על ידי המפתח Kai McPheeters, מעריך כמה חזק בוט StarCraft: Brood War יכול לייצר כל LLM בהינתן שעה אחת של זמן שעון קיר. כל דגם כותב בוט Protoss ב-C++, שלאחר מכן משוחק נגד בוטים שנכתבו על ידי דגמים יריבים ונגד מתחרים מבוססים שנכתבו על ידי אדם. הבדיקה נועדה לחקור חשיבה ארוכת טווח וקידוד סוכן, מכיוון שמודלים חייבים לשלב לקחים ממשחקי אימון כדי לשפר את היצירות שלהם. For more context on this story, see our ongoing AI news.

כיצד פועל המדד

הכללים פשוטים בכוונה. שעה אחת, שפה אחת, מרוץ אחד. הציון של כל דגם הוא שיעור הזכייה הממוצע על פני חמש ריצות מול סגל של בוטים תחרותיים שנכתבו על ידי אדם ורובוטי הדגמה. גרסה 0.2 הוסיפה טוויסט: כל דגם דגל פועל בתוך רתמת קידוד ה-CLI של המעבדה הפרטית שלו, בודק את המחסנית המלאה במקום לולאת API מופשטת.

ישנה אסימטריה אחת, אותה מציין מחבר הבנצ'מרק מראש: Gemini 4 Argon פועל ב"גבוה" - מאמץ החשיבה הגבוה ביותר שעומד לרשותו - בעוד שכל דגם אחר פועל במקסימום.

GPT-6 Astra מוביל, GPT-6.1 Sol מנצח על ערך

התוצאות הציבו את GPT-6 Astra בראש טבלת ההישגים, שהכתיבה מתארת כצעד ברור לפני GPT-6.1 Sol במקום השני. השוליים חשובים עבור צופים בהשוואה: ברוב חבילות הקידוד הסוכן, דגמי הדגל מתקבצים בכמה נקודות אחד מהשני, כך שלוח הישגים שמפריד את התחום לשכבות נפרדות עושה יותר עבודת אבחון מעשירייה צפופה. Gemini 4 Argon, Claude Opus 5.5 ו- Claude Fable 5.1 קשורים פונקציונלית מאחורי שני דגמי OpenAI, כולם ניקוד בין 37 ל-39. Muse Wonder Full של Meta הגיע למקום השביעי.

ניתוח העלויות עשוי להיות הממצא הבולט יותר. מתוכנן מול עלות ה-API הממוצעת של ריצה של שעה אחת, GPT-6.1 Sol נוחת לבדו ברביע האטרקטיבי ביותר: מקום שני בקצת יותר מעשירית מהעלות של GPT-6 Astra לריצה. עבור צוותים השוקלים את ביצועי הסוכן מול התקציב, הפער בין שני דגמי OpenAI הוא הכותרת המעשית.

בוטים אנושיים נשארים הרחק קדימה

מול הבוטים החזקים ביותר שנכתבו על ידי אדם - Stardust, PurpleWave ובננה-בריין - GPT-6 Astra זוכה רק ב-7% מהמשחקים שלה. מחבר המדד מציין שמגבלת ההיגיון של שעה אחת היא גורם, ושתנאי הטורניר עבור בוטים אמיתיים שנכתבו על ידי אדם קשים משמעותית משלוש המפות של שני שחקנים המשמשות בהערכה.

ובכל זאת, הפער הוא תיקון שימושי לנרטיבים של דומיננטיות AI קרובה בתוכנה: במשימה עם תנאי ניצחון ברורים, אסטרטגיה עמוקה ואופקי תכנון ארוכים, עשרות שנים של הנדסה קהילתית עדיין עומדים הרבה מעל למה ששעה של קידוד מודל חזיתי יכולה לייצר.

StarCraft שימש כבר זמן רב כר הוכחה לבינה מלאכותית משחקת, בדיוק בגלל שהיא מתנגדת לכוח גס. אסטרטגיה בזמן אמת דורשת ניהול בו-זמני של כלכלה, סקאוטינג ולחימה תחת מידע חלקי, וקהילת Brood War מקיימת טורנירי בוטים תחרותיים במשך שנים. המערכת האקולוגית המצטברת הזו היא מה שהופך את קו הבסיס האנושי של המדד למשמעותי - Stardust, PurpleWave ו-BananaBrain אינן יריבים מזדמנים אלא תוכניות מעודנות, מוקשות בטורנירים.

ספינות דגל חדשות היכנסו למאבק

גרסה 0.2 שימשה גם כלוח תוצאות מוקדם לדגמים שיצאו לאחרונה. ה-Gemini 4 Argon של גוגל החליף את ה-Gemini 3.8 Flash של v0.1 והגיע למקום השלישי בהופעת הבכורה, בעוד ש-Muse Wonder Full של Meta נכנס ל-Muse Spark 1.3 וסיים במקום השביעי. GPT-6 אסטרה וקלוד אופוס 5.5 עברו מהסיקור של הגרסה הקודמת.

המדד מתעד מעקב אחר סוכן עבור כל ריצה, ומתעד איך כל דגם בילה את השעה שלו - מערך נתונים שהופך את ה-leaderboard למחקר התנהגותי של האופן שבו מודלים של מעבדות שונות מתקצבים זמן בין תכנון, קידוד ו-playtesting. בין אם מודל מטעין החלטות ארכיטקטורה מראש או חוזר במהירות דרך טיוטות באגי הוא בדיוק סוג הפרטים של התהליך שהציונים המצטברים מסתירים, ושם נוטים לצוץ ההבדלים בין המעבדות המעניינים ביותר.

למה זה חשוב

מדדי הקוד הסוכן רוויים במהירות, עם דגמי דגל שמתקבצים ליד החלק העליון של חבילות הנדסת תוכנה רבות. StarSkirmish מציעה אלטרנטיבה: סביבה שבה התקרה נקבעת על ידי מומחים אנושיים, ההתקדמות נמדדת בשיעורי זכייה ולא באחוזים של רזולוציית כרטיסים, ותקציב הזמן של שעה משקף אילוצים בעולם האמיתי על עבודה סוכנית.

התוצאות תפסו את המפתחים. הפוסט של Show HN גרר יותר מ-200 הצבעות בעד, עם מגיבים שנחפרו בעקבות הסוכנים ובעלילת העלות-תועלת. דיוני הבנצ'מרק ב-Hacker News נוטים להתפצל בין התלבטויות מתודולוגיות ליכולות חמות; זה משך את שניהם, עם אסימטריית ההיגיון-מאמץ וגודל המדגם של חמש ריצות בין אפשרויות העיצוב הנבחנות ביותר. ככל שרמות מאמץ ההיגיון עולות והרתמות משתפרות, מחבר המדד מתכנן המשך איטרציות - ולעת עתה, קהילת הבוטים האנושית StarCraft שומרת על ההובלה הנוח שלה.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →