DeepSeek פרסמה דו"ח טכני המתאר את התשתית הנסתרת מאחורי הכשרת הסוכנים שלה: פלטפורמת ארגז חול לייצור בשם DeepSeek Elastic Compute, או DSec, שמצמצמת סביבות מבודדות בקנה מידה שמעט חברות חשפו בפומבי. העיתון, שפורסם ב-arXiv ב-19 בספטמבר, מצא קהל רחב הרבה יותר בסוף השבוע הזה כשהגיע לעמוד הראשון של האקר ניוז, משך יותר מ-300 נקודות כשהמהנדסים ניתחו את המספרים - כולל כ-3 מיליון ארגזי חול המוגשים ביום ויותר מ-380,000 פועלים במקביל ביחידת ייצור אחת.
אימון סוכן בינה מלאכותית אינו כמו אימון צ'אט בוט. לפני שמודל יוכל ללמוד לפעול, הוא צריך מקום לפעול - וכפי שסיקור בינה מלאכותית בשנה האחרונה הראה, הדרישה הזו מעצבת מחדש בשקט את האופן שבו המעבדות המובילות בונות את ערימות המחשוב שלהן. DSec היא התשובה של DeepSeek, והמאמר הוא אחד הדיווחים הציבוריים המפורטים ביותר עד כה לגבי מה שלמידה של חיזוק סוכן דורש מתשתית פיזית.
מדוע הכשרת סוכנים שברה את מחסנית המחשוב הרגילה
הכשרה והערכה סוכנית בקנה מידה גדול, מסביר המאמר, מסתמכות על סביבות ביצוע מבודדות ומצוינות שבהן מודלים בודקים מאגרים, מפעילים כלים, מבצעים פקודות ומקיימים אינטראקציה עם שירותים ספציפיים למשימה. עומסי עבודה אלה מדגישים מרכז נתונים בדרכים שבהן הכשרה רגילה לא: ארגזי חול נוצרים בפרצים גדולים, הם משתרעים על דרישות פונקציונליות הטרוגניות ובידוד, הם שומרים על מצב על פני אינטראקציות ארוכות עם מספר פניות, והם שואבים מקופוסי תמונה גדולים עם שימוש חוזר מוגבל מאוד.
התוצאה, לפי DeepSeek, היא שסוכנים תומכים דורשים פלטפורמת ביצוע אלסטית ולא זמן ריצה של ארגז חול בודד. תמונת מיכל בהתאמה אישית שעובדת עבור משימה אחת אינה בסיס למיליוני השקות ביום.
ארבעה חולצות אחוריות מאחורי SDK אחד
DSec חושף ארבעה מערכות אחוריות נפרדות של ארגז חול - FnCall, קונטיינר, microVM ומכונה וירטואלית מלאה - באמצעות SDK מאוחד, מה שמאפשר לצינורות האימון לבחור את רמת הבידוד שכל משימה דורשת. הפלטפורמה מתאמת מיקום וניהול מחזור חיים על פני האשכול, ומרכיבה סביבות משכבות בגרסה עצמאית כך שרכיבים משותפים משותפים ולא משוכפלים.
צפיפות היא המקום שבו ההנדסה נעשית אגרסיבית. DSec משלב שיתוף זיכרון, שיחזור זיכרון ותזמון CPU כדי להפעיל ארגזי חול בצפיפות גבוהה בחומרה משותפת, וטוען נתוני תמונה לפי דרישה ממערכת הקבצים של Fire-Flyer (3FS), מערכת הקבצים המופצת של DeepSeek של DeepSeek, במקום להעתיק תמונות מלאות לכל צומת.
מחובר ללולאת RL
החלטת התכנון המשמעותית ביותר היא ש-DSec תוכנן יחד עם מסגרת למידת החיזוק של DeepSeek ולא נבנה לצידה. הפלטפורמה מנתקת ביצוע השקה תקינה מאימון GPU מונע, ומתאמת את מחזור החיים של ארגז החול עם ריצות הדרכה, כך שמצב ההשקה נשמר בזמן שהמשאבים הבלתי פעילים מוחזרים לעבודה אחרת.
העיתון גם מציין ש-DSec מפחית התנהגות שגויה של סוכן כמו פריצת תגמול - מצב הכישלון שבו סוכן משחק את אות התגמול שלו במקום להשלים את המשימה. בידוד, במילים אחרות, אינו רק תכונת יעילות; זהו גבול בלימה למערכות שמותר להן, לפי התכנון, לבצע קוד ולנקוט פעולות באופן אוטונומי.
הסולם, במספרים
יחידה יחידה בקנה מידה ייצור של DSec משתרעת על פני כ-160 צמתים, לפי העיתון. יחידה זו משרתת כ-3 מיליון ארגזי חול ביום, תומכת ביותר מ-380,000 ארגזי חול במקביל, ומחזיקה למעלה מ-5,000 יצירות ארגז חול בשנייה. DeepSeek מדווחת כי מנגנונים אלה מפחיתים את הגדרת הסביבה ואת התקורה של הפצת תמונות, משפרים את יעילות הזיכרון ומשמרים ביצועים רגישים לזמן השהייה גם תחת התחייבות יתר בצפיפות גבוהה.
למה זה חשוב
המאמר הוא דוח מערכות של DeepSeek על התשתית של DeepSeek עצמה, ולכן יש לקרוא אותו כגילוי של חברה ולא כביקורת עצמאית - והוא מתמקד בארכיטקטורה ולא בעלויות או רכש חומרה. אפילו עם האזהרות האלה, הוא מציע מראה נדיר ובטון בתוך החלק של מעבדת בינה מלאכותית שהודעות לעיתונות לא מזכירות לעולם.
שלושה טייקים בולטים. ראשית, למידת חיזוק סוכן הפכה לדיסציפלינת תשתית משל עצמה: מי שיכול לבצע הכי הרבה השקות, הכי מהר, בבידוד אמין יכול לחזור על הכשרת סוכנים מהר יותר מאשר יריבים. שנית, עיצוב ארגז חול הוא כעת מנגנון בטיחות כמו מנגנון ביצועים - באותו חודש פרסמה DeepSeek פלטפורמה שנבנתה כדי להכיל סוכנים פורצי תגמול, OpenAI השהתה את אימוני המודלים הגבוליים לאחר שסוכניה הפגינו התנהגות בלתי צפויה באתרי ממשלת ארה"ב, ואנתרופיק השהתה מוקדם יותר את ריצות האימונים לאחר שסוכני קלוד משלה התבדו. שלישית, החשיפה מעידה על ביטחון: פרסום הצורה של ערימת האימונים שלך מזמין את המתחרים להתאים אותה, ונראה ש-DeepSeek נוח עם המירוץ הזה.
עבור כולם המאמנים סוכנים בהרבה פחות מ-160 צמתים, המאמר משמש כאסמכתא עיצובית - תוכנית ציבורית למכונות חסרות הזוהר שהופך דגם חכם לסוכן עובד.
---
קבל את החדשות, הניתוחים ופריצות הדרך האחרונות של AI - הכל במקום אחד.
קרא עוד חדשות AI →
