העלות הצומחת ביותר בבינה מלאכותית אולי לא היא שבבים - זה יכול להיות החשמל שמזין אותם. ב-12 באוקטובר הודיעה אוניברסיטת מישיגן כי NVIDIA, חברת מחשוב הבינה המלאכותית הדומיננטית בעולם, בוחנת כיצד להוסיף שני כלים לחיסכון באנרגיה של U-M ל-Megatron-LM, פלטפורמת הקוד הפתוח הנפוצה של NVIDIA לאימון מודלים של שפות גדולות. לפי האוניברסיטה, התוכנה יכולה לחתוך את האנרגיה הדרושה לאימון AI עד 50% - מבלי להשפיע על מהירות האימון או ביצועי המודל.
החדשות חשובות הרבה מעבר לשיא הפרסום של מעבדה אחת. Megatron-LM אינו בסיס קוד מחקר נישה: חברות יכולות להשתמש בו ישירות או כבסיס לפלטפורמות הדרכה פרטיות ומותאמות אישית משלהן, והיא הפלטפורמה המשמשת להכשרת דגמי הדגל של NVIDIA Nemotron, שמשתמשים יכולים להוריד לחומרה שלהם. אם כלי ה-U-M יגיעו ל-Megatron-LM, שיפורי יעילות שפותחו במעבדה אקדמית יתפשטו לחלק גדול מהריצות האימון של AI בעולם. לסיקור מתמשך של מירוץ התשתיות מאחורי AI, עקוב אחר ההתפתחויות האחרונות ב-AI בדף הבית שלנו.
מה שקראוס ופרסאוס עושים למעשה
שני הכלים תוקפים מקורות שונים של פסולת בהכשרה מבוזרת, ואת ערימת החיסכון שלהם.
Perseus: ניהול מהירות המעבד
פרסאוס מתייחס למחשוב שהוזן יתר על המידה. בריצת אימון גדולה, לא כל מעבד עושה עבודה מועילה בכל רגע, ובכל זאת כולם שואבים חשמל. על ידי ניהול מהירות המעבד כך שתתאים לעבודה בפועל הזמינה בכל נקודה באימון, Perseus מקצץ את האנרגיה הדרושה לאימון AI עד 30%, לפי U-M.
Kareus: תזמון חכם יותר עבור מחשוב ותקשורת
קאריוס מתמקד בבעיה עדינה יותר. הכשרת מודלים מודרניים דורשת תיאום בין מאות עד אלפי מעבדים, והעבודה מתפצלת בין מחשוב ותקשורת שבב לשבב. Kareus מפחיתה את אנרגיית האימון ב-15% עד 30% נוספים על ידי מציאת התזמון וחלוקת המשאבים היעילים ביותר בין משימות האימון והתקשורת הללו - תזמון כל אחת מהן כך שאף אחת מהן לא תישב בטלה ומחכה לאחרת.
ביחד, אומרים באוניברסיטה, הכלים יכולים לחסוך כמחצית מהאנרגיה המשמשת לאימון AI תוך אספקת אותה מהירות אימון וביצועי מודל סופיים. Kareus היא גם תוצאה שנבדקה עמיתים: הכלי הוצג ב-USENIX Symposium on Operating Systems Design and Implementation (OSDI) ביולי, אחד המקומות המובילים לחקר מערכות.
מדוע העניין של NVIDIA הוא הסיפור האמיתי
מחקר יעילות אקדמי עומד בדרך כלל בפני דרך ארוכה לייצור. זה עשוי להיות שונה, בגלל המקום שבו הוא נחת. דוקטורנט, Ruofan Wu, בילה בקיץ האחרון ב-NVIDIA בשילוב תוכנת U-M לתוך Megatron-LM כחלק מהתמחות - כלומר הכלים אינם הצעה אלא קוד עבודה בתוך מחסנית ההדרכה של NVIDIA, כעת בהערכה רשמית.
"AI הופך להיות מוגבל בכוח ככל שהמודלים נעשים גדולים יותר ויותר אנשים רוצים לאמן דגמים, אבל אנחנו יכולים להשיג את אותה מהירות אימון וביצועים תוך שימוש בפחות אנרגיה", אמר וו, דוקטורנט למדעי המחשב והנדסה ב-U-M, בהודעת האוניברסיטה. "יש הרבה הזדמנויות לייעל את השימוש באנרגיה של AI ברמת התוכנה והחומרה, ואחד החלקים הכי מתגמלים בהתמחות היה ההזדמנות להביא רעיונות מהמחקר שלי על מערכות ייצור", הוסיפה.
המילה הזו - מוגבלת כוח - היא מילת המפתח החדשה של התעשייה. צוות המחקר של U-M, הכולל גם את הדוקטורנטים ג'ף מא וג'ה-וון צ'ונג יחד עם פרופסור חבר מושארף צ'ודהורי, עובד עם NVIDIA על האינטגרציה. המסגור של הצוות הוא פשוט: המטרה היא לאפשר לבינה מלאכותית לעשות עבודה שימושית יותר בפחות אנרגיה ועלות על ידי מציאת הדרך היעילה ביותר לתאם אימונים בין מאות עד אלפי מעבדים.
אנרגיה היא כעת מגבלה ממדרגה ראשונה
קנה המידה של אימון גבולות הוא מה שהופך אחוזי חיסכון למספרים אסטרטגיים. Meta אמרה השבוע שדגמי Muse Wonder החדשים שלה הוכשרו ב-Prometheus, שאותו היא מתארת כמרכז נתונים בקנה מידה של ג'יגה וואט. כאשר מסע הדרכה בודד מתנהל בקנה מידה זה, הפחתת אנרגיה ברמת האחוזים אינה שגיאת עיגול; זה ההבדל בין התאמת ריצת אימון בתוך תקציב כוח או לא.
הכלכלה עוקבת אחר הפיזיקה. אנרגיה הפכה לאחד ממשאבי השער להרחבת AI. תוכנה שמפחיתה לחצי את חשבון החשמל של ריצת הדרכה - תוך שימוש בחומרה קיימת - משנה את החשבון עבור כל חברה המאמנת את המודלים שלה, ובמיוחד עבור שחקנים קטנים יותר שעלויות האנרגיה הן המגבלה המחייבת עבורם.
זה גם מסגר מחדש את הדיון הסביבתי סביב AI. חלק גדול מהדיון הציבורי התמקד באנרגיית הסקת מסקנות - הכוח הנצרך מכל שאילתת צ'טבוט. אבל האימון הוא המקום שבו מתרכזים בלוקי האנרגיה הבודדים הגדולים ביותר, וגישת תוכנה בביקורת עמיתים, ספק-אגנוסטית, שמצמצמת אותה בעד חצי מציעה משהו נדיר יותר ממפת דרכים של חומרה: שיפורי יעילות שיכולים להגיע עם מהדורת הקוד הפתוח הבאה ולא בבניית מרכז הנתונים הבא.
מה קורה אחר כך
האוניברסיטה אומרת ש-NVIDIA בוחנת כיצד להוסיף את התוכנה לפלטפורמת ההדרכה שלה בקוד פתוח. אם היא תשלח ב-Megatron-LM, האימוץ יכול להתפשט במהירות בהתחשב במידת השימוש הרחבה של המסגרת בתעשייה ובאקדמיה. תוכנית המחקר הרחבה יותר של צוות U-M ממשיכה לחפש חיסכון באנרגיה בכל ערימת התוכנה והחומרה - אג'נדה שנראתה נישתית לפני כמה שנים וכעת נראית כמו מרכז המשחק.
