צוות ה-Qwen של עליבאבא מושך השבוע תשומת לב חדשה ל-QwenGyre, מסגרת למידת חיזוק שנועדה להכשיר סוכני AI במשימות הפועלות במשך שעות בכל פעם. המערכת תוארה במאמר שכותרתו "QwenGyre: An Elastic Reinforcement Learning Framework for Training xLong-Horizon Agents", שנכתב על ידי שלושה עשר חוקרי Qwen ופורסם ב-arXiv בסוף ספטמבר, עם סיקור מפורט בהמשך בעיתונות הבינה המלאכותית ב-12 וב-13 באוקטובר.
המסגרת מכוונת לקטגוריה של עומסי עבודה שהצוות מכנה משימות "xLong-horizon", שבהן ביצוע בודד משתרע על פני שעות, כולל מאות אינטראקציות בין המודל לסביבתו, וצורך קרוב למיליון אסימונים בכל השקה. סוכני קידוד שעובדים דרך מאגר שלם, או עוזרים שמבצעים פעולות מרובות שלבים מטעם המשתמש, הם דוגמאות אופייניות. אימון מודלים לעשות זאת היטב עם למידת חיזוק מקוון הייתה אחת מבעיות התשתית הקשות יותר בתחום - והיא בראש סדר העדיפויות הטבעי של הצוות מאחורי מודלים של סוכנים בעלי משקל פתוח בשימוש נרחב של Qwen. לקוראים שעוקבים אחר חדשות בינה מלאכותית על תשתית אימון, QwenGyre הוא הצצה לאופן שבו אחד מצוותי המודל הפתוח הגדולים פיתח מחדש את צינור ה-RL שלו סביב עומסי עבודה סוכנים.
שני צווארי בקבוק ב-Long-Horizon RL
המאמר מזהה שתי בעיות בסיסיות ביישום למידת חיזוק מקוון למשימות סוכן ארוכות במיוחד.
הראשון הוא סרק של GPU. מכיוון שההטמעות משתנות מאוד בזמן הביצוע - ריצת סוכן אחת עשויה להסתיים תוך דקות בעוד שאחרת מסתובבת במשך שעות - צד האימונים של הצינור מחכה כל הזמן למתרוצצים. התוצאה, על פי המחברים, היא זמן סרק מסיבי על פני ציי GPU יקרים, שהם העלות הגדולה ביותר בכל ריצת אימון RL.
השני הוא יתירות מסלול. משימות סוכן ארוכות אינן מתקיימות בקו ישר. הם מסתעפים: סוכן מנסה גישה אחת, חוזר אחורה, מנסה אחרת, וההסתעפות מתרבה ככל שהמשימות מתארכות ומורכבות יותר. חלק גדול מההיסטוריה המסועפת הזו מיותר, והכשרה על כל זה מבזבזת מחשוב ומערערת את היציבות בלמידה. המחברים מתארים יתירות זו כיעילות אימון משתקת בקנה מידה.
איך QwenGyre פונה אליהם
QwenGyre היא מסגרת מקצה לקצה עבור RL מקוון ארוך אופק הבנויה סביב שני מנגנוני ליבה.
הראשון הוא הקצאה מחדש של GPU אלסטי. המסגרת מעבירה את ה-GPUs בין צד ההפצה (בו סוכנים רצים ומייצרים ניסיון) לבין צד ההדרכה (שם המודל מתעדכן) מבלי להפריע לביצועים חיים. בהגדרות קונבנציונליות, הפיצול בין משאבי ההטמעה וההדרכה קבוע, כך שצד אחד מתבטל בזמן שהשני פועל. הפיכת הגבול לאלסטי פירושה ששלב כבד של פריסה יכול לשאול חומרת אימון, ולהיפך, ככל שעומס העבודה משתנה.
השני הוא מעבד מסלול המאלף את בעיית ההסתעפות. הוא משחזר היסטוריות מסתעפות כך שקידומות משותפות אינן מטופלות כאל נתונים לא קשורים, משיגה התקדמות חלקית בניסיונות לא שלמים - חשובה כאשר רוב ההשקה הארוכות מסתיימות בכישלון - ומבטלת כפילויות של נתיבים מיותרים לעלויות הכשרה מוגבלות.
הכלכלה כאן פשוטה. בלימוד חיזוק עבור דגמים גדולים, מחשוב הוא ההוצאה הדומיננטית, וחלוקת ההשקה-הדרכה קובעת כמה מצי GPU באמת מרוויח את החזקתו בכל רגע נתון. מסגרת ששומרת על GPUs בעבודה שימושית במקום במצב סרק מכפילה ביעילות את התפוקה של אותה חומרה. עבור אימון סוכנים לטווח ארוך - כאשר העיתון מתאר סרק כ"מאסיבי" - ההבדל בין פיצול סטטי לפיצול אלסטי יכול להחליט אם תוכנית אימון היא מעשית בכלל.
למה זה חשוב למערכת האקולוגית של הסוכן
מוצרי סוכנים עברו מהדגמות לפריסות, וטכניקות האימון שמאחוריהם דוהרות לעמוד בקצב. סוכן קידוד שמשלים כרטיס אמיתי, או עוזר שמנהל זרימת עבודה מרובה שלבים, עשוי להזדקק למאות אינטראקציות לפני שהוא מגיע לתוצאה שאדם יקבל - ואותות תגמול עבור התוצאות הללו דלילים וקשים להגדרה. למידת חיזוק מקוון נותרה הגישה הדומיננטית לחידוד התנהגות הסוכנים, מה שהופך את התפוקה של צינור RL למגבלה ישירה על כמה מהר מעבדה יכולה לשפר את הסוכנים שלה.
לכן מסגרות כמו QwenGyre חשובות מעבר לעליבאבא. אם RL לאופק ארוך הופך לזול באופן דרמטי לכל נקודת יכולת שהושגה, יותר צוותים יכולים להרשות לעצמם להכשיר סוכנים במשימות הארוכות והמבולגנות הדומות לעבודה אמיתית, ולא בפרקים סינתטיים קצרים שזולים להפעלה אך חלשים כפרוקסי. הצוותים שיפתרו את בעיית התפוקה יוכלו לחזור על יכולת סוכן הרבה יותר מהר מכולם.
התוצאות המדווחות
התוצאה הבולטת ביותר בעיתון מגיעה מהתרחבות של QwenGyre לדגם הדגל של Qwen, Qwen 3.8 2.4T, עם השקות של 700,000 אסימונים. אימון עם המסגרת הניב רווח מוחלט של 6.0 אחוזים ב-NL2RepoBench - אמת מידה לתרגום בקשות שפה טבעית לשינויי קוד ברמת המאגר - והעלה את המודל מ-52.5 אחוז ל-58.5 אחוז ב-48 שלבים RL בלבד.
לגבי יעילות, הצוות מדווח ש-QwenGyre מספקת מהירות של עד פי 1.85 על פני קו בסיס של RL משותף ופי 1.78 על פני הגדרה אסינכרונית, על פני הערכות המשתרעות על פני תחומי אימון מגוונים. אלו מספרים משמעותיים בתחום שבו רווחי התפוקה נמדדים בדרך כלל באחוזים חד ספרתיים.
אזהרות וזמינות
כמו בכל תוצאה שפורסמה במעבדה, המספרים מדווחים על ידי צוות Qwen ועדיין לא שוחזרו באופן עצמאי. שאלה מעשית אחת לחוקרים מבחוץ היא גישה: בעוד שסיקור מסוים תיאר את QwenGyre כקוד פתוח, שחרור קוד ציבורי ברור לא הופיע בזמן כתיבת שורות אלו, כך שאימות עצמאי של ההאצות המדווחות עדיין אינו אפשרי. AI Buzz Wire יתעדכן ככל שפרטים נוספים יהיו זמינים.
למרות זאת, העיתון הוא איתות שימושי לאן מועדות הכשרת הסוכנים. ככל שסוכנים לוקחים על עצמם משימות ארוכות ובעלות ערך רב יותר, התשתית הנדרשת להכשרתם חורגת בחדות מצינור ה-RL של עידן הצ'אט - והפער בין השניים רק יגדל.
---
הישאר לפני AIקבל את החדשות, הניתוחים ופריצות הדרך האחרונות של AI - הכל במקום אחד.
קרא עוד חדשות AI →
