Cerebras פרסמה פירוט הנדסי מפורט של האופן שבו היא פורסת דגמי בינה מלאכותית של טריליון פרמטרים על החומרה שלה בקנה מידה רקיק - מבט ציבורי נדיר על הצנרת מאחורי הסקה מהירה במיוחד עבור דגמים שהמשקל שלהם בלבד דורש טרה-בייט של זיכרון.
הפוסט, שנכתב על ידי שרה צ'יאנג ופורסם בבלוג Cerebras ב-22 באוקטובר 2026, משך תשומת לב מחודשת בסוף השבוע לאחר שהגיע לעמוד הראשון של האקר ניוז. השאלה המרכזית שלו פשוטה: רקיקת Cerebras WSE-3T בודדת כוללת 44 ג'יגה-בייט של זיכרון על-שבב, אבל דגמי גבול של טריליון פרמטרים צריכים טרה-בייט רק כדי לאחסן את המשקל שלהם. איך מגשרים על הפער הזה? For more context on this story, see our ongoing AI industry coverage.
מדוע דגמי טריליון פרמטרים שוברים חומרה רגילה
התשובה מתחילה עם אמת לא נוחה עבור מאיצים קונבנציונליים: בדיוק מלא, דגם עם שלושה טריליון פרמטרים לא יכול להיכנס לזיכרון של אף שבב בודד בשוק. אשכולות GPU פותרים זאת על ידי פיצול מודלים על פני מכשירים רבים ומשלוח כל הזמן משקלים והפעלה על גבי חיבורים מהירים - חלק גדול מהסיבה לכך שהמסק על דגמי ענק הוא יקר ואיטי.
Cerebras נוקט בגישה אחרת. השבבים בקנה מידה של רקיקי מכילים כמויות עצומות של SRAM על-שבב - 44 ג'יגה-בייט לפריסת WSE-3T - מה שאומר שהמטרה של החברה היא לשמור על המשקולות בתוך השבב, שבו הגישה לזיכרון מהירה באופן דרמטי מכל קישור מחוץ לשבב.
החברה טוענת שהארכיטקטורה הזו מאפשרת לה להריץ מודלים מרובי טריליון פרמטרים במהירות של 1,000 עד 2,000+ אסימונים לשנייה.
Kimi K3 כדוגמה העובדת
כדי להפוך את ההסבר לקונקרטי, Cerebras עובר על פריסת Kimi K3, מודל קוד פתוח עם בערך 3 טריליון פרמטרים. המודל משתמש בארכיטקטורה היברידית: 69 שכבות קשב ליניאריות ו-24 שכבות צפופות.
בהתבסס על תוצאות השוואת ביצועים, הבלוג אומר כי Kimi K3 משיגה 88.3% ב-Terminal-Bench 2.1 - ממש אחרי 88.8% של GPT-5.6 Sol - ו-91.2% ב-BrowseComp, לפני 90.4% של GPT-5.6 Sol. המספרים האלה, טוען Cerebras, מראים קידוד ברמת הגבול ויכולת איוונטית במודל של משקל פתוח, מה שהופך אותו ליעד הדגמה טוב.
הדוגמה העובדת מניחה גודל בקשה ממוצע של 256,000 אסימונים, קוונטיזציה של משקל של 4 סיביות (בהתאמה למימוש Hugging Face) ומטמון KV של 8 סיביות.
חיתוך דגם 3T לחתיכות של 44 GB
החשבון הוא החלק המאיר ביותר בפוסט. ב-4 ביטים לכל פרמטר, 3 טריליון הפרמטרים של Kimi K3 מסתכמים בערך ב-1.5 TB של משקלים גולמיים. בחלוקה ל-93 השכבות של הדגם, כל שכבה צריכה כ-16 גיגה-בייט.
זה מתאים היטב ל-44 GB הזמינים בכל רקיק, אבל שני סוגי השכבות מתחלקים בצורה שונה:
- שכבות צפופות זקוקות למקום למטמון KV, מכיוון שתשומת הלב המלאה מאחסנת מפתחות וערכים לכל אסימון בכל בקשה פעילה. Cerebras מניח שכבה אחת צפופה לכל רקיק, ומשאיר את ה-SRAM הנותר עבור המטמון הזה.
- שכבות קשב ליניאריות שומרות רק על מצב קטן ובגודל קבוע לכל בקשה ללא קשר לאורך ההקשר, כך שאין צורך במטמון KV. זה משאיר מקום לשתי שכבות ליניאריות לכל רקיק.
עם 69 שכבות ליניאריות ו-24 שכבות צפופות, הדגם ממפה ל-35 פרוסות לשכבות ליניאריות בתוספת 24 פרוסות לשכבות צפופות - 59 פרוסות בסך הכל עבור עותק בודד של Kimi K3.
משקולות לעולם אינן זזות - רק הפעלה עשויה לפעול
הרעיון המרכזי השני הוא מה שסרברס עושה - ולא שולח בין 59 הפרוסים האלה. החברה מבצעת מודלים כצנרת: לאחר שהמהדר ממפה שכבות על אזורי פרוסות, זמן הריצה משרטט את הנתיב שעוברים אסימונים מוואפר לופל.
באופן מכריע, מכיוון שכל שכבה מתאימה כולה על רקיק אחד (או שניים, עבור שכבות ליניאריות), משקולות הדגם לעולם לא יצטרכו לזוז. שכבות אינן מפוצלות על פני פרוסות. רק הפעלות עוברות בין רקיק אחד למשנהו, מועברות על גבי RDMA ב-Ethernet רגיל עם זמן קפיצה של בערך 2 מיקרו-שניות.
נקודת העיצוב הזו מסבירה הרבה על טענות הביצועים של Cerebras. בפריסות GPU, העברת משקלים או מצב ריסוק בין מכשירים הם לעתים קרובות צוואר הבקבוק; בחומרה של Cerebras, החיבור תמיד נושא רק את טנסור ההפעלה הקטנים בהרבה.
למה זה חשוב לשוק ההסקות
הפוסט הוא בחלקו הסבר הנדסי ובחלקו טיעון: ש-SRAM בקנה מידה רקיק הוא דרך אמינה לשרת את הדגמים העצומים שהולכים וגדלים שהתעשייה שולחת. כאשר מהדורות עם משקל פתוח כמו Kimi K3 מתקרבות לשלושה טריליון פרמטרים, קיר הזיכרון הופך לאילוץ המגדיר של כלכלת היסק, ולגישות ששומרות על משקולות נייחות יש יתרון מבני ביחס למהירות לכל אסימון.
זה גם מדגיש עד כמה תלוי בכימות. הפריסה כולה תלויה במשקלים של 4 סיביות ומטמון KV של 8 סיביות - טכניקות שחותכות את טביעות הזיכרון בכ-75% או יותר בהשוואה לקווי בסיס של 16 סיביות תוך שמירה על ביצועי המדד. בלעדיהם, אפילו 59 פרוסות לא יספיקו.
גם הפשרות אמיתיות. מערכת 59-wafer היא מכונה גדולה ומיוחדת, וגישת הצינור מניחה שניתן לקבץ בקשות על פני המערכת ביעילות. הבלוג של Cerebras מתייחס במקביל כאחד מהנושאים המרכזיים שלו, ומציין שהארכיטקטורה נועדה לטפל במספר גבוה של בקשות בו זמנית.
לעת עתה, הפוסט עומד כאחד ההסברים הציבוריים הברורים ביותר של מה שנדרש בפועל כדי לשרת מודל פתוח בקנה מידה גבול במהירויות אסימונים של ארבע ספרות - וסימן לכך שהשיחה על חומרת הסקת מסקנות עוברת משבבים למערכות פרוסות שלמות.
מקור: בלוג Cerebras, "כיצד אנו פורסים מודלים של טריליון פרמטרים ב-Cerebras" (22 באוקטובר 2026).---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
