מעבדת הבינה המלאכותית הסינית Z.ai פרסמה תיאור טכני מפורט כיצד היא הגדירה את דגמי ה-GLM לעבודה תוך שיפור המערכות המשרתות אותם, ומתארת "סוכן אינפרא" שמוצא ומתקן צווארי בקבוק בביצועים בתשתית ההסקה של החברה עם התערבות אנושית מוגבלת.
הפוסט בבלוג, שכותרתו "Toward Self-Recursive Improvement: How GLM Built Its Own Inference Infrastructure", עלה לאתר החברה ביום רביעי והפך במהרה לאחד מסיפורי הטכנולוגיה הנדונים ביותר ב-Hacker News, שם הוא שאב יותר מ-200 נקודות מקהילת המפתחים. For more context on this story, see our ongoing breaking AI news.
"כשאנחנו מפתחים את GLM, המודל מציג לפעמים יכולות שמפתיעות אותנו, ואף מטרידות אותנו", כתבה החברה בשורות הפתיחה של הפוסט.
ממחקר אבטחת סייבר למערכות אופטימיזציה עצמית
העבודה מתחילה באוקטובר 2025, כאשר Z.ai החל לחקור כיצד לחזק את יכולות אבטחת הסייבר של GLM. הנימוק, אומרת החברה, היה פשוט: אבטחת סייבר היא הרחבה טבעית של קידוד, ומודלים שיכולים לנווט בבסיסי קוד גדולים יכולים בסופו של דבר לנווט בקוד המערכות ברמה נמוכה שרוב המהנדסים נמנעים ממנו.
הבסיס הזה התפתח למשהו שאפתני יותר. במקום להשתמש במודלים רק כדי לכתוב קוד, Z.ai יצא לענות על שאלה של הנדסת מערכות: האם סוכן בינה מלאכותית יכול לקחת אחריות על הביצועים של ערימת מסקנות ייצור, שכבת תיאום התוכנה והחומרה שהופכת משקלי מודל לתגובות מהירות וזולות?
התשובה של החברה כללה ניסוח מחדש של הבעיה. מדדים מקצה לקצה לבדם, נטען בפוסט, אינם יכולים להנחות סוכן אופטימיזציה. דוח שהזמן לקוד הראשון גדל ב-30 אחוז או שתפוקת הפלט ירדה ב-20 אחוז אומר לסוכן שמשהו החמיר, אבל לא איזו שכבה אחראית, למה ההשערה שלו נכשלה או מה לבדוק אחר כך.
"כיצד אנו הופכים תוצאות דלילות מקצה לקצה למשוב הנדסי דק וניתן לייחס, שמנחה ישירות את הפעולה הבאה?" שואלת החברה בפוסט, ומתארת את השאלה כמפתח לכל המאמץ.
שלושה כללים למשוב הניתן לקריאה לסוכן
התשובה של ז.אי היא דיסציפלינת משוב הבנויה על שלושה מאפיינים. ראשית, המשוב חייב להיות מספיק מקומי, קשור לפרמטרים ספציפיים של הפעלת מנוע, שינויי קוד, גרעינים, תנאי קלט, שרשורים, מרווחי ביצוע או נתיבי קוד, כך שהסוכן יכול לצמצם את היקף כל בעיה. שנית, זה חייב להיות זול ובזמן להשגה: שאלה שניתן לענות עליה באמצעות בדיקת ליבה או מיקרו-benchmark מקומי לא צריכה לדרוש פריסת שירות מלאה. שלישית, האימות צריך להתאים להשערה הנוכחית, כאשר כל ניסוי נועד לענות על שאלה ספציפית במקום לעקוב אחר רצף קבוע.
החברה אומרת שלולאת המשוב הצפופה הזו היא מה שמאפשר לסוכן אינפרא להתנהג פחות כמו השלמה אוטומטית למהנדסים ויותר כמו עמית שיכול להריץ ניסויים בן לילה.
שלושה מקרים מקרים, ממספרים ועד באג
הפוסט עובר על שלושה פרקים קונקרטיים מהאופטימיזציה של ערימת ההגשה של החברה עבור GLM-5.3-Flash, דגם המשקל הפתוח Z.ai ששוחרר תחת רישיון MIT באוגוסט.
הראשון כרוך בנכונות. מכיוון שאופטימיזציות של הסקת מסקנות משנות את האופן שבו חישובים מקבילים, הסוכן היה צריך לוודא שגרעינים מייצרים את אותן תוצאות בתנאים מחולקים ובלתי מחולקים. במקרה אחד, הצוות שילב שלוש פעולות TF32 Tensor Core כדי לייצר תוצאה בעלת דיוק גבוה יותר, תוך הפחתת שגיאות מספריות מצטברות תוך שמירה על רוב יתרון הביצועים של Tensor Core. בדיקה השוואתית בין אסטרטגיות חלוקה חשפו את הפערים שהניעו את התיקון.
השני הוא סיפור ניפוי מערכות שירגיש מוכר לכל מהנדס ביצועים. קריטריוני הקבלה דרשו שהוספת העברת מטמון KV לנתיב ההגשה לא אמורה לפגוע בביצועי המילוי המוקדם ביותר מ-5 אחוזים בעומסי עבודה זהים. הסוכן מצא שהפער עלה על 20 אחוזים בחלק מהתרחישים, מה שצמצם את החקירה להתנהגות המקבילה של העברה של KV עצמה. בבחינת לוחות זמנים לביצוע, הסוכן זיהה חריגה: בתרחישי הבעיה, ביצוע העברה של KV בצד Python מעולם לא חפף עם מרווחי השילוח והשילוב של ספריית התקשורת DeepEP. התיקון היה לשחרר את נעילת המתורגמן הגלובלית של Python במהלך מרווחי הביצוע הרלוונטיים של C++, מה שמאפשר לחוט ההעברה המשרת את Mooncake, חנות המטמון של KV, להתקדם במקביל לחישוב. פער הביצועים נפל לאחר מכן בתוך סף הקבלה.
הפרק השלישי מציג כוונון ליבה איטרטיבי. הצגת ReplaySSM, טכניקה המחליפה מחשוב עבור זיכרון, הגדילה בתחילה את זמן הביצוע של ליבת פענוח KDA. לאחר מכן, אופטימיזציית החלוקה של הסוכן הפחיתה את זמן הביצוע של הקרנל ב-9.6 אחוזים. לאחר קבלת משוב על כך שהחישוב נותר צוואר הבקבוק העיקרי, הסוכן גילה את המימוש המקורי מרופד לאורך מימד ה-V, מה שגרם לנורמליזציה זהה של FP32 ולחישובי שער זהים לחזור על עצמם ללא צורך.
הערימה מאחורי GLM-5.3-Flash
האופטימיזציות יושבות על גבי ארכיטקטורת הגשה אגרסיבית ש-Z.ai מתאר בפוסט: מקביליות טנזור תוך-צומת עבור קשב ליניארי וראש מודל השפה, סחר מחשוב ReplaySSM-עבור זיכרון, קוונטיזציה של W8A8, כימת מטמון ברמת דיוק מעורבת באמצעות INT8, FP8 ו-BF16 פורמטים של Split ו-Layer-Split, ארכיטקטורה מפורקת שמפעילה את שלבי ההגשה על משאבים נפרדים.
החברה ממסגרת את הצטברות הטכניקות הללו, שהתגלו ואושרו בעיקר על ידי הסוכן עצמו, כצעד לקראת שיפור עצמי רקורסיבי: מערכות בינה מלאכותית המשפרות את התשתית שהופכת אותן למהירה וזולה יותר להפעלה, מה שבתורו הופך את הסיבוב הבא של שיפור מונע על ידי סוכן סביר יותר.
למה זה חשוב
עלות היסק היא אחת הכלכלה המכריעות של תעשיית הבינה המלאכותית. מעבדות שיכולות לשרת מודלים ברמה גבוהה בעלות נמוכה יותר לכל אסימון יכולות לתמחר בצורה אגרסיבית, לסבסד סוכנים שמבצעים אלפי שיחות לכל משימה ולממן ריצות הכשרה נוספות משירות הכנסות. Z.ai הייתה אגרסיבית במיוחד בכל שלוש החזיתות, והגילויים הפיננסיים הביניים של החברה בתחילת השנה הראו שההכנסות גדלו בחדות גם כשההפסדים הצטמצמו.
הפוסט הוא גם איתות לאן צועדת ההנדסה בצד המעבדה. חלוקת העבודה המסורתית, עם מהנדסי ביצועים אנושיים שמכוונים גרעינים ומתזמנים בזמן שמודלים מטפלים בבקשות משתמשים, מוחלפת ב-Z.ai בלולאה שבה המודל מציע שינויים, ניסויים זולים מאמתים אותם, ומשוב צפוף מכוון את הניסיון הבא.
יש לקרוא את הטענות בדבר שיפור עצמי אוטונומי מלא בזהירות. הפוסט עצמו מבהיר שמהנדסי אנוש הגדירו את תרחישי הבדיקה, קבעו את קריטריוני הקבלה ובנו את סביבות המשוב בהן פועל הסוכן. מה שהחברה מתארת הוא אוטומציה של לולאת אופטימיזציה מאובזרת היטב, לא מערכת לא מפוקחת שמעצבת את עצמה מחדש.
למרות זאת, הכיוון ברור. אם הכלכלה של בינה מלאכותית בשנים הקרובות תוכרע על ידי מי יכול לשרת את המודיעין הזול ביותר, המעבדות שמלמדות את המודלים שלהן לייעל את התשתית שלהן עשויות לקבוע את הקצב, וזאי רוצה שהתעשייה תדע שהיא מתכוונת להיות אחת מהן.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
