ל-DeepSeek יש DeepInfer בקוד פתוח, מסגרת ההסקה בעלת הביצועים הגבוהים שלדברי מעבדת הבינה המלאכותית הסינית מפעילה את שירותי הייצור שלה בקנה מידה גדול. הקוד הופיע ב-GitHub תחת רישיון Apache 2.0 וכבר אסף יותר מ-5,500 כוכבים בתוך ימים, לאחר שדיון ב-Hacker News על השחרור גרר מאות הצבעות בעד ביום שני.

על פי README של הפרויקט, המהדורה מספקת מסקנות לא מקוונות עם תכונות הליבה עליהן מסתמכת DeepSeek כדי לשרת את הדגמים שלה בקנה מידה. תצורת ברירת המחדל מכוונת ל-DeepSeek-V4.1-Flash, והמסגרת מורידה אוטומטית את נקודת הבידוק DeepSeek-V4.1-Flash-1017 מ-Huging Face בהפעלה הראשונה. For more context on this story, see our ongoing AI news.

מה בעצם DeepInfer כולל

DeepInfer אינו שכתוב מאפס. הוא קושר יחד את הגרעינים המיוחדים ש-DeepSeek הוציאה חלק אחר חלק במהלך השנתיים האחרונות - FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect ו-TileLang מותאמים אישית - לזמן ריצה יחיד עם ביצוע מודלים ודגימות מובנה.

המסגרת גם שולחת מספר טכניקות הגשה המתועדות בפירוט במאגר:

  • אימות מתוזמן ביטחון, גישת פענוח ספקולטיבית המשתמשת באסימוני טיוטה והערכות ביטחון לתזמון אימות, הניתנת לשליטה באמצעות משתני סביבה
  • מפענח SWA bounded replay, מה שמפחית את עבודת המילוי המוקדמת של המפענח על ידי הפעלה חוזרת רק של סיומת מוגבלת של הרצף
  • תזמון אסינכרוני החופף את תזמון אצווה המעבד עם הפעלת המכשיר, מופעל כברירת מחדל
  • הסקת אצווה אינוריאנטית, השומרת על תוצאות מודל זהות בהרכבי אצווה שונים
  • דגימה דטרמיניסטית, הפקת פלטים זהים עבור תשומות ופרמטרי דגימה זהים
  • פלטים מובנים, הגבלת יצירה לסכימה רגקס, JSON או דקדוק EBNF

השילוב הזה מכוון באופן ישיר למפעילים שזקוקים להפקת טקסט בר-שחזור עם תפוקה גבוהה ולא לכלי משחק ניסיוניים. חריגות אצווה ודגימה דטרמיניסטית חשובה במיוחד עבור ארגונים שחייבים לבדוק מדוע מודל הפיק פלט נתון.

NVIDIA ו-Huawei Ascend, זה לצד זה

הפרט הנצפה ביותר הוא תמיכת חומרה. DeepInfer מתמקדת ב-NVIDIA SM100 GPUs דרך CUDA 13 ו-Huawei Ascend 950 NPUs דרך CANN 9.2, כאשר Linux, GCC 13 ו-Python 3.12 מופיעים כדרישות מוקדמות לשני הנתיבים.

עמדת פלטפורמה כפולה זו תואמת את ההיסטוריה האחרונה של DeepSeek. החברה השקיעה חודשים בפיתוח תוכנה מבוססת TileLang עבור חומרת Ascend ומאתגרת בפומבי את ההנחות לפיהן אין תחליף ל-CUDA. משלוח מסגרת מסקנות ייצור שמתייחסת ל-Ascend כאזרח ממדרגה ראשונה - ולא מחשבה שלאחר מכן מחקרית - מרחיבה את האסטרטגיה הזו, והיא נוחתת בזמן שבו בקרת הייצוא של ארה"ב ממשיכות להגביל את השבבים של Nvidia שחברות סיניות יכולות לקנות.

עבור מפעילי ענן סיניים המריצים סיליקון מקומי, מנוע מסקנות מתוחזק התומך ב-Ascend 950 מסיר את אחד החסמים המעשיים לשרת מודלים פתוחים ברמה של גבולות מחוץ למערכת האקולוגית של Nvidia.

מה חסר במהדורה

ה-README מפורש שזו עדיין לא ערימת הגשה מלאה. פריסת ייצור הבנויה על DeepInfer עדיין זקוקה לשלושה רכיבים שהמהדורה אינה כוללת: מערכת KV מטמון, פירוק מראש ופענוח, ואיזון עומסים על פני העתקים מקבילים לנתונים. המאגר מציין שרוב פונקציונליות המנוע הנדרשת לפירוק כבר מיושמת, אך המערכות שמסביב נותרות למפעיל.

בפועל זה אומר ש-DeepInfer מובן בצורה הטובה ביותר כמנוע המחשוב של התשתית של DeepSeek ולא כחלופה מפתח למסגרות שירות לקהילה. הצוותים עדיין יצטרכו לשלב אותו בשכבות מטמון וניתוב לפני שיציבו אותו מול תעבורה אמיתית.

למה זה חשוב

העסקים של DeepSeek נשענים על הגשת דגמים בזול במיוחד, והכלכלה של עסק זה הייתה מושא לבדיקה אינטנסיבית כשהחברה מתקדמת לקראת מה שהיא תיארה כתמחור מתרחק מהמיצוב הקודם שלה בעלות נמוכה. פתיחת נתיב ההסקת הייצור בפועל - לא רק קוד מחקר - נותנת למפתחים חיצוניים ולספקי ענן מבט ישיר בצורה יוצאת דופן על הטכניקות שמאחורי העלויות הללו.

זה גם ממשיך דפוס מכוון. FlashMLA, DeepGEMM ו-DeepEP שוחררו כולם בנפרד כאשר המעבדה בנתה את הערימה שלה; DeepInfer מתעד ביעילות כיצד החלקים משתלבים זה בזה. עבור החוקרים, המהדורה מקלה על שחזור טענות הביצועים שפורסמו של DeepSeek. עבור המתחרים, זה מעלה את הרף עבור מה שנחשב כערימת מסקנות פתוחה.

רישיון Apache 2.0 מתיר שימוש מסחרי ללא התחייבויות copyleft, מה שאומר שספקי ענן מערביים יכולים לפרוס אותו באופן חוקי - אם כי תמיכת המודלים שלו מוגבלת כרגע למחסום V4.1-Flash של DeepSeek עצמו, כך שרובם יתייחסו אליו כאל יישום ייחוס לעת עתה.

במה לצפות

שלוש שאלות יקבעו אם DeepInfer תהפוך לאימוץ נרחב או תישאר קוריוז. ראשית, האם הקהילה מעבירה אותו מעבר ל-V4.1-Flash לארכיטקטורות דגמים אחרות. שנית, האם תוצאות הבנצ'מרק שפורסמו בטבלאות הביצועים של המאגר תופסות חומרה מחוץ לאשכולות של DeepSeek עצמה. שלישית, האם החלקים החסרים - ניהול קבצי מטמון KV, פירוק ואיזון עומסים - מגיעים במהדורות עתידיות, והופכים את המנוע למסגרת הגשה שלמה.

לעת עתה, המהדורה היא מהלך שקיפות בולט ממעבדה שבחרה שוב ושוב לפרסם את התשתית שמתחת לדגמים שלה. מפתחים שרוצים להתנסות יכולים לבנות DeepInfer ממקור בכל אחת מהפלטפורמות הנתמכות ולהפעיל הסקה לא מקוונת עם סקריפט דוגמה יחיד.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →