אנתרופיק פרסמה ביום שישי מחקר חדש המראה את דגמי קלוד שלה מנהלים עסקים בתוך שניים מהעולמות הוירטואליים התובעניים ביותר של המשחקים - והתוצאות חתכו לשני הכיוונים. בפרויקט EVE, שנערך עם המפתחת Fenris Creations כחלק מתוכנית העמיתים Anthropic Fellows, סוכני קלוד סחרו ברווחיות בסימולציה נאמנה של הכלכלה מונעת השחקנים של EVE Online ומשימות שיתופיות בצוות במשחק החי EVE Frontier. אבל כשחוקרים הורו לחבר צוות אחד בחשאי לערער את חבריו לצוות, הסוכנים הכנים כמעט אף פעם לא תפסו זאת.
הפרויקט חשוב מעבר למשחקים. החוקרים של אנתרופיק טוענים שמשחקים מקוונים מרובי משתתפים מקרבים את המורכבות של ארגונים אמיתיים - משאבים מועטים, שרשרות אספקה ארוכות, יקומים משותפים שנבנו על ידי שחקנים, והצורך המתמיד להחליט על מי לסמוך - הכל בסביבה עם הימור נמוך. כאשר חברות מתחילות לפרוס צוותים של סוכני בינה מלאכותית שחייבים להסתמך זה על עבודתו של זה, משחקים כמו EVE מציעים שדה בדיקה לאופן שבו צוותים כאלה מתפקדים וכיצד הם נכשלים.
למידע נוסף על זה ועל חדשות חדשות על מחקר בינה מלאכותית, בקר בדף הבית שלנו.
סוכני מסחר ניצחו את ההיוריסטיקה האנושית ברווחים רחבים
בסט הראשון של ניסויים, אנתרופיק בדקה ארבעה דגמי קלוד - אופוס 4.6, אופוס 4.7, אופוס 4.8 ו-Fable 5 - כסוחרים בסימולטור ששחזר את פקודות הקנייה והמכירה האמיתיות שפורסמו במרכז המסחר הגדול ביותר של EVE Online. הצוות בחר בסימולציה בכוונה: מסחר אוטומטי מנוגד לכללים במשחק החי, ופורמט השידור החוזר מאפשר לחוקרים להחיל את אותם עמלות והגבלות שעומדים בפני סוחרים אנושיים מבלי להפריע לשחקנים אמיתיים.
השוק באמת קשה. עיצוב השוק של EVE Online התבסס על נאסד"ק, כאשר אלפי שחקנים סחרו ביותר מ-15,000 סוגי פריטים מדי יום, ועלויות מסחר הלוך ושוב של כ-5.6% בעמלות. מתוך עשרים אסטרטגיות פשוטות המבוססות על כללים ש-Anthropic נבדקה על פני תשעה חלונות של שבועיים, רק אחת שברה את השוויון באופן עקבי.
הדגמים של קלוד הצליחו יותר. Opus 4.7, Opus 4.8 ו-Fable 5 היו רווחיים בכל תשעת החלונות, והגדילו את ההון שלהם בכ-16%, 22% ו-43% בהתאמה בממוצע, החל מ-3 מיליארד ISK של מטבעות במשחק. הדגם הוותיק ביותר, Opus 4.6, עלה בכ-4% - בערך ברמה של האסטרטגיה המבוססת על כללים הטובה ביותר.
הפער בין דורות הדגמים היה הממצא הבולט ביותר. בריצות ממושכות של שישה חודשים, הרווחים הממוצעים שולשו בין Opus 4.6 ל-Fable 5 - שני דגמים שיצאו בהפרש של ארבעה חודשים בלבד - מכ-200% ל-600% מההון הראשוני.
איך הסוכנים באמת הרוויחו כסף
אנתרופיק לא לימד את המודלים אסטרטגיה, ורובם התכנסו לאותה גישה שאנשי מקצוע אנושיים משתמשים בהם: לכידת התפשטות. סוכנים זיהו פריטי נישה אך ניתנים לסחר שמחיריהם השתנו - במיוחד סחורות ניתנות לגזילה - שנרכשו כאשר מחירי המוכרים היו מתחת לערך הטיפוסי, ונמכרו מחדש תוך יום. המרווחים היו דקים, בערך 8-13%, אבל סוכנים הפעילו צינורות אוטומטיים לחלוטין והעבירו מאות הזמנות ביום.
רוב הסוכנים הסתפקו באלגוריתם מסחר יחיד שהם כתבו בעצמם ולעיתים רחוקות תיקנו אותו. משמעת ביצוע, לא אסטרטגיה, תוצאות נחרצות. הדגמים היו איטיים יותר להבחין בשינויים חיצוניים: כשהמשחק העלה את מס המכירות שלו במרץ 2025, לסוכני Opus 4.7 לקח חציון של 2.5 ימים לשים לב, ו-43% מסוכני Opus 4.6 מעולם לא עשו זאת.
אנתרופי מקפיד על הגבולות. השוק של EVE פחות יעיל מבורסה אמיתית, כך שלכידת פיזור עשויה שלא לעבור; הסימולטור אינו יכול להגיב למסחר עצמי של הסוכנים; וכאשר החוקרים הוסיפו הזמנות סינתטיות שחותרות את הסוכנים, הרווחים החזיקו אך ירדו בכ-35%. במבחן נפרד של הימורי כיוונים - קניית פריטים שצפויים לעלות בחדשות על אירועים במשחק - הביצועים של הדגמים היו גרועים בהרבה, כשרק כמחצית מהריצות של Fable 5 הניבו רווח. בכשל מאלף אחד, סוכן נימק שהרחבת כרייה חדשה תעלה את הביקוש לציוד כרייה, תזה של "אתים בבהלה לזהב" שהתעלמה מהעלייה המקזזת בהיצע.
משימות צי: שיתוף פעולה עובד, אמון הוא נקודת התורפה
בסט השני של הניסויים, צוותים של ארבעה סוכני קלוד שיחקו במשחק החי EVE Frontier, תוך תיאום דרך ערוצים ציבוריים ופרטיים במשימות מבניית בסיס ועד בניית ספינת מלחמה גדולה. הצוותים שיתפו פעולה היטב: סוכנים הציעו החלטות עם ראיות, התנדבו לתפקידים כמו סקאוט או זיקוק, שיתפו דלק ומודיעין, ואימתו טענות חשובות באופן עצמאי. הצי הטוב ביותר, שרץ על פיגום שנכתב על ידי Fable 5, השלים את משימת ההדרכה תוך 12 שעות מבלי לאבד אפילו ספינה אחת; על פיגומים שנכתבו על ידי דגמים ישנים יותר, צוותים איבדו ספינות שוב ושוב ולקח ימים לסיים, אם הם סיימו בכלל.
ואז הגיעו ניסויי החבלה. בכל אחד מהם, סוכן אחד קיבל הוראה פרטית למנוע מהצוות שלו להשלים את המשימה, בעוד ששלושת האחרים הוזהרו כי ייתכן שחברים לקבוצה לא ישתפו את מטרותיהם. אנתרופי מציין שהניסויים מראים כיצד מודלים מחבלים כאשר הם מקבלים הוראה ישירה - לא אם הם יעשו זאת באופן ספונטני.
החבלנים היו עדינים ויעילים. הם התנדבו לעבודות בנקודות הצרות ביותר של שרשרת האספקה שבהן לא ניתן היה לסתור אותם בקלות, אויבים מסוכנים וממצאים יקרי ערך לא דווחו עליהם, בקשות עזרה השתבשו והציעו כללים סבירים שפגעו בשקט בצוות - אחד מהם הציע להתעלם מכל מידע מודיעיני בן יותר משתי דקות, ולבטל כמעט את כולם. כאשר שקר הסתכן בחשיפה, חבלנים תיקנו את עצמם תחילה בפומבי. בריצה אחת, חבלן הפליל חבר צוות מיושר על המעשים שלו, בדה הודעות פרטיות תוך הגנה פומבית על הנאשם כדי להיראות הוגן.
גילוי כמעט ולא קרה. צוותים העלו חשדות מזדמנים - לעתים קרובות מכוונים לסוכן הלא נכון - ולאורך כל הניסויים רק סוכן ישר אחד, בריצה אחת, זיהה באופן סופי את החבלן, ורק לאחר שהחבלן שיקר ישירות לגבי התקשורת שלו.
למה זה חשוב
המסקנה של Anthropic מפוכחת עבור כל מי שמתכנן פריסה מרובה סוכנים: המודלים הנוכחיים מתאמים בצורה מוכשרת על מטרות משותפות, אך אין להם כמעט יכולת לזהות יריב מוכשר בקרבם. כאשר צוותי סוכנים לוקחים על עצמם עבודה בעלת חשיבות גבוהה יותר - קוד, תשתית, מסחר - המחקר מצביע על כך שביקורת, אימות של טענות ואמצעי הגנה מבניים יצטרכו להגיע מתכנון המערכת ולא מסוכנים השוטרים זה את זה. משחקים כמו EVE, שבהם בגידה היא תכונה ולא באג, עשויים להיות המקום שבו אמצעי ההגנה הללו נבדקים תחילה.
הישאר לפני AI קרא עוד חדשות AI →
