קוואלקום השיקה את Cloud AI 100 Ultra, מאיץ הסקת מסקנות במרכז הנתונים המספק עד 870 TOPS של ביצועי INT8 ו-288 TFLOPS של מחשוב FP16 תוך שהוא שואב רק 150 וואט - חלק ממעטפת ההספק של ה-GPUs השולטים כיום בהסקת AI מחוללת.
הכרטיס, המופיע בדף המוצר הרשמי של מרכז הנתונים של קוואלקום ומפורט בסיקור ההשקה, מיועד במיוחד לעומסי עבודה של בינה מלאכותית ומודל שפות גדולות. היא ממצבת את ענקית השבבים הניידים כמאתגרת ישירה בשוק ההסקות, שבו הביקוש גובר כאשר ארגונים פורסים סוכני בינה מלאכותית, טייסי משנה ויישומים מוגדלים באחזור בקנה מידה. להקשר נוסף על מירוץ החומרה בינה מלאכותית, עיין בסיקור חדשות AI.
המפרט: SRAM ראשון, DRAM שני
בלב ה-Cloud AI 100 Ultra נמצאות 64 ליבות בינה מלאכותית ו-576 מגה-בייט של SRAM. ההימור של קוואלקום הוא שהשמירה על משקלי הדגמים והפעלות קרובה פיזית ליחידות המחשוב - במקום להעביר כל אסימון לזיכרון חיצוני - משתלמת עבור דגמים מבוססי שנאים, שחיים ומתים על רוחב הפס של הזיכרון.
הכרטיס עדיין נושא 128 GB של זיכרון LPDDR4x עם רוחב פס של 548 GB/s עבור דגמים גדולים יותר והקשרים ארוכים יותר, מחובר על PCIe Gen4 עם 16 נתיבים. השילוב הזה - SRAM גדול על המות בתוספת צריכת חשמל צנועה של 150W - הוא המבדיל של הכרטיס. מעבדי ה-GPU של מרכז הנתונים של Nvidia נעים בדרך כלל בין 300W ל-700W, וכל וואט חשוב כאשר ההסקה מחויבת על ידי האסימון והספק של מרכז הנתונים הוא המשאב השנוי ביותר בתעשייה.
"Cloud AI 100 Ultra הוא פתרון הסקת AI מותאם לביצועים ולעלות", אמרה החברה בחומרי המוצר שלה, תוך שימת דגש על יכולת התכנות על פני עומסי עבודה, החל מראייה ממוחשבת ועד לעיבוד שפה טבעית.
תוכנה: On-Ramp תואם OpenAI
חומרה מעולם לא הייתה הבעיה של קוואלקום במרכז הנתונים; לתוכנה יש. החברה מטפלת בכך באמצעות AI Inference Suite, שכבת תוכנה החושפת ממשקי API תואמי OpenAI לבניית צ'אטבוטים, טייסי שיתוף וסוכני AI.
החבילה תומכת בצ'אט, יצירת תמונות, מודלים מולטי-מודאליים ותזרימי עבודה של דור אחזור (RAG), ומתפרסת באמצעות Kubernetes או מיכלים ממתכת חשופה. קוואלקום מספקת גם כלי ניהול וניהול משתמשים - תוספת לא זוהרת שלעיתים קרובות חסרה להצעות מאיץ גולמיות, אבל כזו שצוותי IT ארגוניים שוקלים בכבדות כשהם מעבירים עומסי עבודה בתוך הבית.
משטח ה-API תואם OpenAI חשוב מבחינה אסטרטגית: הוא מאפשר למפתחים להפנות צינורות קיימים הקשורים ל-OpenAI בחומרה של קוואלקום באמצעות שינוי תצורה ולא שכתוב, מה שמוריד את עלות המעבר שהגנה על התפקיד בשוק זה.
שדה צפוף עם מנהיג אחד ברור
קוואלקום נכנסת לשוק מסקנות שהפך לשדה הקרב של מחזור החומרה של AI. ה-L40S וה-H100 של Nvidia שולטים; MI300X של AMD ו-Gaudi 3 של אינטל מכוונים לאותם עומסי עבודה; וסיליקון מיוחד מ- Groq ו-Cerebras חתך נישות על מהירות מסקנות גולמית.
צד הביקוש מסביר את ההמולה. הגשת סוכני בינה מלאכותית וצינורות RAG מכפילה את מספר שיחות המודל שהפעלת משתמש בודד מייצרת, וכל אחת מהקריאות הללו היא בעיית מסקנות שיש לפתור בעלות הנמוכה ביותר האפשרית לכל אסימון. Hyperscalers קונים מתלים של GPUs דגל כדי להתמודד עם זה; הארגונים שמתחתיהם מחפשים חומרה שתתאים לשרת סטנדרטי, במעגל חשמל סטנדרטי, מבלי לנהל משא ומתן מחדש על חוזי החשמל שלהם.
המגרש של קוואלקום הוא עלות הבעלות הכוללת ולא ביצועי שיא. עבור ארגונים שמפעילים מסקנות בקנה מידה, צריכת החשמל זורמת ישירות לעלויות התפעול, וכרטיס המספק תפוקה תחרותית של 150W פוגע בכלכלה של מעבדי גרפי גרפי גס. ההכשרה נותרה תחום Nvidia - ה-Ultra לא טוענת עליה - אבל המסקנה היא המקום שבו למעשה נקבעת כלכלת היחידה של התעשייה, וזהו עומס העבודה שרוב הארגונים ינהלו בעצמם, בין אם באשכול מקומי ובין אם בכלוב משותף.
המערכת האקולוגית של התוכנה נותרה הקרב במעלה הגבעה. פלטפורמת ה-CUDA של Nvidia היא עדיין ברירת המחדל עבור רוב מפתחי הבינה המלאכותית, ובעוד ממשקי API תואמי OpenAI מורידים את מחסום הכניסה, הם לא מבטלים את העיבוד מחדש הנדרש לצינורות הסקה מותאמים אישית.
איפה זה מתאים בהרכב של קוואלקום
ה-Ultra יושב בראש מערך ההסקות של קוואלקום, הכולל גם את ה-Cloud AI 80 Ultra (עד 618 TOPS של INT8 עם אותם 576 מגה-בייט של SRAM), ה-Cloud AI 100 Pro ו-Cloud AI 100 Standard, המכוון לפריסות קצה ובקנה מידה קטן יותר עם מעטפות כוח של 75W.
ההשקה מייצגת את הדור הנוכחי של מפת הדרכים של מרכז הנתונים Dragonfly של קוואלקום, שהחברה פיתחה עבור עומסי עבודה של בינה מלאכותית בקנה מידה ענן - ואשר נותנת כעת לקוואלקום טיעון עבור ארגונים שרוצים להפעיל הסקת AI יצירתית במקום ולא בענן הציבורי, בין אם מסיבות עלות, חביון או ניהול נתונים.
ההימור, במשפט אחד
קוואלקום מהמרה שכאשר בינה מלאכותית עוברת מקומץ של היפר-סקאלרים לאלפי ארגונים, קלף ההסקה המנצח אינו המהיר ביותר אלא היעיל ביותר. ה-Cloud AI 100 Ultra הוא הטיעון הזה בסיליקון; האם מפתחים עוקבים אחר הוואטים נותרה השאלה הפתוחה.
---
הישאר לפני AIקבל את החדשות, הניתוחים ופריצות הדרך האחרונות של AI - הכל במקום אחד.
קרא עוד חדשות AI →
