DeepSeek دارای DeepInfer منبع باز است، چارچوب استنتاج با کارایی بالا که آزمایشگاه هوش مصنوعی چین می گوید خدمات تولید در مقیاس بزرگ خود را تامین می کند. این کد تحت مجوز Apache 2.0 در GitHub ظاهر شد و در عرض چند روز بیش از 5500 ستاره را جمع آوری کرده بود، پس از گفتگوی Hacker News درباره انتشار صدها رأی موافق در روز دوشنبه.

با توجه به README پروژه، این نسخه استنتاج آفلاین را با ویژگی‌های اصلی که DeepSeek برای ارائه مدل‌های خود در مقیاس به آن‌ها متکی است، ارائه می‌کند. پیکربندی پیش‌فرض DeepSeek-V4.1-Flash را هدف قرار می‌دهد و فریم ورک به طور خودکار در اولین اجرا، پست بازرسی DeepSeek-V4.1-Flash-1017 را از Hugging Face دانلود می‌کند. For more context on this story, see our ongoing more AI stories.

آنچه DeepInfer در واقع شامل می شود

DeepInfer یک بازنویسی از ابتدا نیست. این هسته‌های تخصصی را که DeepSeek طی دو سال گذشته تکه تکه منتشر کرده است - FlashMLA، DeepGEMM، DeepEP، TileKernels، DeepSelect، و هسته‌های سفارشی TileLang - را در یک زمان اجرا با اجرای مدل و نمونه‌گر داخلی به هم متصل می‌کند.

این چارچوب همچنین چندین تکنیک خدمت رسانی را ارسال می کند که با جزئیات در مخزن مستند شده اند:

  • تأیید برنامه ریزی شده اعتماد، یک رویکرد رمزگشایی گمانه زنی که از نشانه های پیش نویس و تخمین های اطمینان برای زمان بندی تأیید استفاده می کند، قابل کنترل از طریق متغیرهای محیطی
  • رمزگشا SWA bounded replay ، که با پخش مجدد فقط یک پسوند محدود از دنباله، کار پیش پر رسیور را کاهش می دهد.
  • زمان‌بندی ناهمزمان که با زمان‌بندی دسته‌ای CPU با اجرای دستگاه همپوشانی دارد، به طور پیش‌فرض فعال است
  • استنتاج نامتغیر دسته، که نتایج مدل را در ترکیبات دسته ای مختلف یکسان نگه می دارد
  • نمونه گیری قطعی، تولید خروجی های یکسان برای ورودی ها و پارامترهای نمونه گیری یکسان
  • خروجی های ساختاریافته، محدود کردن تولید به یک regex، طرح JSON یا دستور زبان EBNF

این ترکیب دقیقاً در اپراتورهایی است که به جای بازی های آزمایشی به تولید متن قابل تکرار و با توان بالا نیاز دارند. تغییر ناپذیری دسته ای و نمونه گیری قطعی به ویژه برای شرکت هایی که باید بررسی کنند چرا یک مدل خروجی مشخصی را تولید می کند.

NVIDIA و Huawei Ascend در کنار هم

بیشترین جزئیاتی که از نزدیک مشاهده می شود، پشتیبانی سخت افزاری است. DeepInfer پردازنده‌های گرافیکی NVIDIA SM100 را از طریق CUDA 13 و Huawei Ascend 950 NPUs را از طریق CANN 9.2 هدف قرار می‌دهد و Linux، GCC 13 و Python 3.12 به عنوان پیش‌نیازهای هر دو مسیر فهرست شده‌اند.

این موضع دو پلتفرم با تاریخ اخیر DeepSeek سازگار است. این شرکت ماه‌ها صرف توسعه نرم‌افزار مبتنی بر TileLang برای سخت‌افزار Ascend کرده و فرضیات غیرقابل جایگزینی CUDA را به چالش کشیده است. ارسال یک چارچوب استنتاج تولید که با Ascend به‌عنوان یک شهروند درجه یک رفتار می‌کند – به‌جای یک تفکر بعدی تحقیقاتی – این استراتژی را گسترش می‌دهد، و در زمانی قرار می‌گیرد که کنترل‌های صادرات ایالات متحده همچنان تراشه‌های Nvidia را محدود می‌کند که شرکت‌های چینی می‌توانند بخرند.

برای اپراتورهای ابری چینی که از سیلیکون داخلی استفاده می‌کنند، یک موتور استنتاج حفظ شده که از Ascend 950 پشتیبانی می‌کند، یکی از موانع عملی برای ارائه مدل‌های باز کلاس مرزی خارج از اکوسیستم Nvidia را برطرف می‌کند.

آنچه در نسخه گم شده است

README صریح است که این هنوز یک پشته خدمت کامل نیست. استقرار تولیدی که بر روی DeepInfer ساخته شده است هنوز به سه مؤلفه نیاز دارد که انتشار شامل آن نمی‌شود: سیستم کش KV، جداسازی پیش‌پر و رمزگشایی، و متعادل‌سازی بار در بین داده‌های موازی. مخزن خاطرنشان می کند که بیشتر عملکردهای موتور مورد نیاز برای تفکیک قبلاً پیاده سازی شده است، اما سیستم های اطراف به اپراتور واگذار شده است.

در عمل، این بدان معناست که DeepInfer به‌عنوان موتور محاسباتی زیرساخت DeepSeek شناخته می‌شود تا جایگزینی کلید در دست برای چارچوب‌های سرویس‌دهی جامعه. تیم ها هنوز باید قبل از قرار دادن آن در مقابل ترافیک واقعی، آن را با لایه های کش و مسیریابی ادغام کنند.

چرا مهم است

کسب‌وکار DeepSeek مبتنی بر ارائه مدل‌های بسیار ارزان است، و اقتصاد آن کسب‌وکار مورد بررسی شدید قرار گرفته است، زیرا شرکت به سمت چیزی می‌رود که به عنوان قیمت‌گذاری از موقعیت کم‌هزینه قبلی خود فاصله می‌گیرد. باز کردن مسیر استنتاج تولید واقعی - نه فقط کد تحقیق - به توسعه دهندگان خارجی و ارائه دهندگان ابر نگاه مستقیم غیرمعمولی به تکنیک های پشت این هزینه ها می دهد.

همچنین یک الگوی عمدی را ادامه می دهد. FlashMLA، DeepGEMM، و DeepEP همگی به صورت جداگانه منتشر شدند، زیرا آزمایشگاه پشته خود را ساخت. DeepInfer به طور موثر نحوه قرار گرفتن قطعات با هم را مستند می کند. برای محققان، انتشار، بازتولید ادعاهای عملکرد منتشر شده DeepSeek را آسان‌تر می‌کند. برای رقبا، نوار را برای آنچه که به عنوان پشته استنتاج باز به حساب می آید، بالا می برد.

مجوز Apache 2.0 اجازه استفاده تجاری بدون تعهدات کپی لفت را می دهد، که به این معنی است که ارائه دهندگان ابری غربی می توانند به طور قانونی آن را مستقر کنند – اگرچه پشتیبانی مدل آن در حال حاضر به چک پوینت V4.1-Flash خود DeepSeek محدود شده است، بنابراین اکثر آنها فعلاً آن را به عنوان یک پیاده سازی مرجع در نظر می گیرند.

چه چیزی را تماشا کنیم

سه سوال تعیین می کند که آیا DeepInfer به طور گسترده پذیرفته می شود یا یک کنجکاوی باقی می ماند. اول، اینکه آیا جامعه آن را فراتر از V4.1-Flash به دیگر معماری‌های مدل پورت می‌کند یا خیر. دوم، اینکه آیا نتایج بنچمارک منتشر شده در جداول عملکرد مخزن بر روی سخت‌افزار خارج از خوشه‌های خود DeepSeek جواب می‌دهد یا خیر. سوم، اینکه آیا قطعات گمشده - مدیریت حافظه نهان KV، تفکیک و متعادل‌سازی بار - در نسخه‌های آینده می‌رسند، و موتور را به یک چارچوب خدمت‌رسانی کامل تبدیل می‌کند.

در حال حاضر، انتشار یک حرکت شفاف قابل توجه از آزمایشگاهی است که بارها انتخاب کرده است زیرساخت های زیر مدل های خود را منتشر کند. توسعه‌دهندگانی که می‌خواهند آزمایش کنند، می‌توانند DeepInfer را از منبع روی هر یک از پلتفرم‌های پشتیبانی شده بسازند و استنتاج آفلاین را با یک نمونه اسکریپت اجرا کنند.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →