Thinking Machines Lab, חברת המחקר שהוקמה על ידי מנהלת הטכנולוגיה הראשית לשעבר של OpenAI Mira Murati, פרסמה הסבר טכני מפורט כיצד היא מאמנת מודלים של שפות גדולות כמעט לחלוטין בדיוק של 4 סיביות - טכניקה שלדבריה פותחת חיסכון משמעותי במהירות ובזיכרון בחומרה החדשה ביותר של מרכז הנתונים של Nvidia.
הפוסט בבלוג, שכותרתו "מקצה לקצה 4-Bit Training" ופורסם באתר החברה ב-13 בנובמבר, עובר על ההחלפות המספריות מאחורי אימונים ברמת דיוק נמוכה ומתאר כיצד הצוות ניהל אותם תוך כדי אימון מודל Inkling 2 Small. לקוראים שעוקבים אחר ההתפתחויות האחרונות בינה מלאכותית, הפוסט מציע מבט ציבורי נדיר על ההחלטות ההנדסיות שקובעות כמה באמת עולה ריצת אימון בקנה מידה גבול.
מדוע פחות ביטים פירושו אימון מהיר יותר
אימון מודל שפה גדול כרוך בחישוב ואחסון של כמויות אדירות של מספרים. שימוש בפחות ביטים עבור כל ערך מפחית את השימוש בזיכרון ומאפשר למעבדי GPU לבצע אריתמטיקה מהר יותר. העלות היא דיוק: פחות ביטים פירושם פחות מספרים שניתן לייצוג, ולכן יש לעגל ערכים בצורה אגרסיבית יותר.
החברה ממחישה את הבעיה בדוגמה פשוטה. אם פורמט יכול לייצג רק את המספרים 3 ו-4, אחסון 3.2 דורש עיגול ל-3, תוך הצגת שגיאת קוונטיזציה של 0.2. שגיאת עיגול בודדת היא טריוויאלית, אך במהלך האימון שגיאות אלו מצטברות על פני שכבות ושלבי אופטימיזציה, והן עלולות להפריע לתהליך הלמידה עצמו.
"זהו האתגר המרכזי של אימון ברמת דיוק נמוכה: איך נוכל להפיק תועלת מאריתמטיקה מהירה יותר מבלי להכניס שגיאות שמפריעות ללמידה?" כתבה החברה בפוסט.
שלושה פורמטים, ריצת אימון אחת
במקום להתחייב לרמת דיוק אחת, Thinking Machines משתמשת בשלושה פורמטים מספריים בשלבי אימון שונים: BF16, MXFP8 ו-NVFP4. לכל פורמט יש דיוק קבוע, אבל המהירות שלו תלויה בחומרה שמפעילה אותו.
החברה מתאמנת על פלטפורמת Grace Blackwell Ultra של Nvidia, ה-GB300, שתוכננה במיוחד כדי להאיץ את הכפל המטריצות ב-NVFP4. לפי הפוסט, NVFP4 מאחסן ערכים עם פי 3.6 פחות ביטים מ-BF16 תוך שהוא פועל עד פי 6 מהר יותר במערכות GB300. במונחים של תפוקה גולמית, החברה מציגה ביצועי GB300 בכ-15 PFLOPS ב-NVFP4, 5 PFLOPS ב-MXFP8 ו-2.5 PFLOPS ב-BF16.
הקאץ' הוא שהדחיסה האגרסיבית של NVFP4 מציגה הרבה יותר שגיאות קוונטיזציה מאשר הפורמטים הרחבים יותר. טעות זו מקובלת בשלבים מסוימים של ההכשרה ואינה מקובלת באחרים, וזו הסיבה שהחברה מתייחסת לכל שלב בנפרד.
שלבים שונים, כללים שונים
הפוסט בבלוג מחלק את האימון לארבעה שלבים - המעבר קדימה ואחורה של אימון מקדים, דגימת לימוד החיזוק ומאמן RL - ומקצה לכל אחד איזון שונה של עדיפויות בין מזעור שגיאות, מזעור הטיה, הגדלת מהירות והפחתת השימוש בזיכרון.
המהירות היא החשובה ביותר בשלבים בנפח גבוה: אימון מקדים, שעובר על טריליוני אסימונים, ודגימת RL, שיוצרת כמויות גדולות של השקות. מסירות לאחור, לעומת זאת, הן מקרה מיוחד. הפוסט מסביר כי עובר ממוצע לאחור על פני אסימונים רבים באצווה, מה שמדלל את ההשפעה של שגיאות עיגול מפוזרות באקראי - אך הן רגישות מאוד להטיית קוונטיזציה, הסחף השיטתי המתרחש כאשר ערכים מתעגלים באופן עקבי בכיוון אחד. שלא כמו רעש אקראי, הטיה זו יכולה להתערב על פני שכבות, דגימות ושלבי אימון.
החברה אומרת שהיא ניהלה את הפשרות הללו תוך כדי הכשרה של Inkling 2 Small, דגם תערובת המומחים בעל המשקל הפתוח שהוציאה מוקדם יותר החודש תחת רישיון Apache 2.0. הפוסט לא טוען שכל חלק של הריצה רץ ב-4 ביטים; במקום זאת, הוא מתאר אסטרטגיה מקצה לקצה שבה הדיוק של כל רכיב נבחר בכוונה ולא עובר בירושה כברירת מחדל.
למה חשוב אימון ברמת דיוק נמוכה
הכלכלה כאן פשוטה. מחשוב הוא העלות הדומיננטית בפיתוח דגמי חזית, וספקי החומרה מיהרו להוסיף האצה ברמת דיוק נמוכה לכל דור חדש של שבבים. Nvidia מיקמה את תמיכת NVFP4 בפלטפורמת Blackwell Ultra שלה כמאפיין כותרת, ומאיצים מתחרים מ-AMD, גוגל ואחרים מפרסמים פורמטים משלהם בעלי דיוק מופחת.
אם מעבדות מחקר יכולות לדחוף בבטחה יותר מצינור ההדרכה לאריתמטיקה של 4 סיביות, אותו תקציב חומרה יקנה יותר ניסויים, יותר אסימונים או דגמים גדולים יותר. זהו יתרון משמעותי בשוק שבו הגישה למאיצים מתקדמים היא מועטה ויקרה. זה גם מתערב עם הדחיפה הרחבה יותר של התעשייה לעבר טכניקות יעילות כמו הסקה מודעת לכיוונט ופענוח ספקולטיבי, ששניהם מוציאים יותר יכולת מהחומרה הקבועה.
הפוסט מהווה גם איתות לאן צועדת קהילת המחקר. אימון ברמת דיוק נמוכה נתפס זמן רב כמסוכן מדי עבור כל דבר מעבר להסקת מסקנות, מכיוון ששגיאות עיגול היו משחיתות את הלמידה. ניתוח זהיר שלב אחר שלב - כמו זה שמכונות חשיבה פרסמו - הוא כיצד ההנחה הזו נבדקת, ובמידת האפשר, מתבטלת.
מפוסט בלוג למשקולות פתוחות
מה שהופך את החשיפה לבולטת הוא שהיא אינה תיאורטית בלבד. החברה קשרה את הטכניקה ישירות לדגם שהיא באמת שלחה. Inkling 2 Small שוחרר עם משקולות להורדה בתחילת נובמבר, והפוסט החדש מסביר את האסטרטגיה המספרית מאחורי האימונים שלו. מתרגלים שמורידים את המודל מקבלים, למעשה, חפץ עובד של המתודולוגיה בעלת הדיוק הנמוך שהחברה מתארת.
Thinking Machines הייתה פתוחה בצורה יוצאת דופן עבור מעבדה בקנה מידה גבול, ופרסמה פוסטים טכניים בבלוג לצד מהדורות הדגמים שלה. השקיפות הזו מעניקה לחוקרים מבחוץ משהו נדיר: תיאור מתועד שניתן לשחזור של האופן שבו ריצת אימון מודרנית מתמודדת עם המציאות המספרית המבולגנת של אריתמטיקה בעלת דיוק מעורב.
עבור התעשייה הרחבה יותר, המסר הוא שהכשרה של 4 סיביות עברה מסקרנות מחקרית לטכניקת ייצור. ככל שמעבדות נוספות יאמצו אסטרטגיות דומות, הפער בין ביצועי שיא החומרה התיאורטיים לתפוקת האימון המומשת יצטמצם - והעלות של מודלים בעלי יכולת אימון תמשיך לרדת.
הישאר לפני AI
הטכניקות שמאחורי דגמי הגבול מתפתחות מדי שבוע. עקוב אחר AI Buzz Wire לדיווח ברור ומקורי על המחקר שמעצב את התחום.
קרא עוד חדשות AI →
