גוגל הרחיבה את מערך ה-TPU מהדור השמיני שלה עם שתי מערכות מיוחדות חדשות: TPU 8i Max, המשלבת שני שבבי הסקת מסקנות בחבילה אחת לעומסי עבודה סוכן ארוכי הקשר, ו-TPU 8tx, שנבנתה להסקה סודית ומבודדת חומרה המכוונת לארגונים וממשלות בפיקוח. Tom's Hardware דיווחה על התוספות ביום חמישי.

המהלך משלים משפחה שגוגל החלה באפריל עם ה-TPU 8t, שנועד לאימון בינה מלאכותית בקנה מידה גדול, וה-TPU 8i, שנבנה לעבודות הסקת מסקנות למטרות כלליות כמו דגימה, הגשה והיגיון. עם הגרסאות החדשות, מערך הדור השמיני מכסה כעת הכשרה, הסקה סטנדרטית, הסקה מאובטחת והסקת מסקנות סוכנית ברוחב פס מרבי - מטריצה ​​של אפשרויות המשקפת באופן שונה ארגונים משתמשים כעת בחומרת AI. חדשות השבב הזה הן חלק מהסיקור הפיתוחים האחרונים של AI שלנו ברחבי שוק החומרה של AI.

מה הצ'יפס החדשים עושים

TPU 8i Max שם שני שבבי 8i בחבילה אחת, מכפיל את רוחב הפס המחשוב, ה-SRAM ורוחב הפס של הזיכרון של ה-8i המקורי. העיצוב מכוון לעבודה סוכנת ארוכת-הקשר - תרחישים שבהם סוכני בינה מלאכותית נושאים הקשרי עבודה גדולים מאוד על פני משימות מרובות שלבים.

Tom's Hardware מסגרה את הכפלת רוחב הפס כדרך לעקוף את מה שגוגל מכנה חומת הזיכרון, צוואר הבקבוק של רוחב הפס שהופך חריף "כאשר עשרות סוכני AI עובדים יחד על פני בסיס קוד תוכנה שלם". חלונות הקשר גדולים יותר - עם דגמים גדולים יותר שמתמקדים בסביבות מיליון אסימונים - פירושם מטמוני KV גדולים יותר, המוחזקים בחלקם ב-SRAM, וכל אסימון חדש שנוצר חייב לקרוא את המטמון בחזרה מהזיכרון. הכפלת רוחב הפס של HBM בחבילה בודדת תוקפת בדיוק את צוואר הבקבוק הזה, והפרסום ציין שזה מסלול שונה מהגישה של Nvidia לשיוך סוג שבב שני לפענוח עם שכבת אחסון להקשר.

TPU 8tx, בינתיים, בנוי על אותו סיליקון כמו ה-8t מונחה הכשרה שהוכרז בעבר, אך מוגדר עבור מחשוב סודי: הסקה מבודדת חומרה עבור ארגונים וממשלות בפיקוח שזקוקים להוכחה שהנתונים והמודלים שלהם מוגנים במהלך העיבוד. המערכת מחליפה את מעבדי ה-Axion המארח מבוססי Arm המשמשים את ה-8t וה-8i למעבד AMD EPYC מהדור החמישי ומאמצת את רשת Boardfly של גוגל.

יש לציין שגוגל עדיין לא שיתפה מפרטים מפורטים, מחירים או תאריכי משלוח עבור אף אחת מהמערכות החדשות, כך שלקונים יש כרגע עיבודים ומיצוב ולא מוצרים שניתן להזמין.

עיבודים שגוגל פרסמה לצד ההכרזה מציגים לוח TPU 8tx הנושא ארבעה שבבים, לצד ארבעה לוחות TPU 8i Max, כל אחד נושא שני שבבים בחבילה אחת - המחשה פיזית של כמה רחוקה התרחקה משפחת הדור השמיני מדגם המאיץ עם שבב אחד שמתאים לכולם של הדורות הקודמים.

TPU Sync: שכבת התוכנה לזיכרון הסוכן

לצד הסיליקון, גוגל נשענת על תוכנה כדי לפתור את בעיית זיכרון הסוכן. TPU Sync היא "שכבת מצב-מודל לאשכולות TPU" בקוד פתוח, המשלבת אוטומטית מטמוני KV מסיביים מהשבב תוך אלפיות שניות, ומעבירה אותם למטה לארח DRAM ובניסוי, לאחסון משותף.

לפי גוגל, זה יכול לקצץ את זמן העברת קבצי המטמון של KV ביותר מ-90%, עם רווחים מקבילים ב-time-to-token - העיכוב שמשתמש חווה לפני שמערכת AI מתחילה להגיב. עבור עומסי עבודה פעילים, שבהם הפעלה בודדת עשויה לכלול עשרות קריאות מודל עוקבות שכל אחת מהן צריכה גישה לאותו הקשר מצטבר, ניהול המטמון הופך חשוב לא פחות מחשוב גולמי.

למה זה חשוב לשוק חומרת הבינה המלאכותית

TPUs הפכו לעסק צומח במהירות עבור גוגל, אשר תובעת כמעט 100 לקוחות עבור השבבים - כולל Meta, שהאימוץ של Google TPUs במרכזי הנתונים שלה סימן את אחת הפריצות התחרותיות המשמעותיות ביותר לטריטוריה של Nvidia. הגישה המודולרית יותר שגוגל נוקטת עם משפחת הדור השמיני, אומרת החברה, מאפשרת לה לספק מערכות מיוחדות "בתוך חודשים ולא שנים", ומסייעת לצמיחת הלקוח.

העיתוי של ההודעה בולט. הרחבת השבבים של גוגל נחתה באותו יום שבו הודיעה Nvidia כי המנכ"ל Jensen Huang התפטר, כאשר סמנכ"לית הכספים קולט קרס מונתה למנכ"לית הזמנית - שיבוש מנהיגות יוצא דופן בחברה שמעבדי ה-GPU שלה שולטים בשוק שבו מכשירי ה-TPU של גוגל מסתובבים. שני האירועים אינם קשורים בסיבתם, אך יחד הם מדגישים עד כמה תחרותי ועד כמה תנודתי הפך שוק תשתיות הבינה המלאכותית.

עבור ארגונים שמעריכים תשתית בינה מלאכותית, התוספות מאותתות על כך שמבחר האפשרויות הולך ומתרחב: סיליקון מותאם לאימון, הסקה כללית, הסקה מאובטחת לנתונים מוסדרים וחבילות רוחב פס מקסימלי עבור ציי סוכנים הופכות לקטגוריות מוצרים נפרדות ולא מאיצים חד-פעמיים. כאשר גוגל מפרסמת פרטי תמחור וזמינות, השאלה המעשית עבור הקונים תהיה האם רוחב הפס הכפול של ה-8i Max מתורגם לתפוקה מספקת עבור ציים סוכנים כדי להצדיק פרמיה על פני פריסות 8i סטנדרטיות.

למודולריות יש גם היגיון בצד ההיצע. במקום לחכות שנים לעיצוב של הדור הבא שיעבור דרך ערימת החומרה המלאה, גוגל יכולה לשלב מחדש סיליקון קיים - כפי שעשתה על ידי העברת סיליקון 8t לחבילה מאובטחת עם מעבד מארח שונה - כדי להגיע לפלחי נישה מהר יותר, תוך שמירה על ערימת תוכנה משותפת בכל הגרסאות. המהירות הזו היא בעצמה נשק תחרותי בשוק שבו דרישות הלקוחות משתנות מדי רבעון.

---

הישאר לפני AI

קבל את החדשות, הניתוחים ופריצות הדרך האחרונות של AI - הכל במקום אחד.

קרא עוד חדשות AI →