DeepSeek, Çin AI laboratuvarının kendi büyük ölçekli üretim hizmetlerine güç verdiğini söylediği yüksek performanslı çıkarım çerçevesi olan açık kaynaklı DeepInfer'e sahiptir. Kod, Apache 2.0 lisansı altında GitHub'da göründü ve Pazartesi günü Hacker News'te yapılan bir tartışmanın yüzlerce olumlu oy almasının ardından birkaç gün içinde 5.500'den fazla yıldız topladı.

Projenin README'sine göre sürüm, DeepSeek'in modellerine geniş ölçekte hizmet vermek için güvendiği temel özelliklerle çevrimdışı çıkarım sağlıyor. Varsayılan yapılandırma DeepSeek-V4.1-Flash'ı hedefler ve çerçeve, ilk çalıştırmada Hugging Face'ten DeepSeek-V4.1-Flash-1017 kontrol noktasını otomatik olarak indirir. For more context on this story, see our ongoing artificial intelligence updates.

DeepInfer aslında neler içeriyor

DeepInfer sıfırdan yeniden yazılmış bir şey değil. DeepSeek'in son iki yılda parça parça yayınladığı özel çekirdekleri (FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect ve özel TileLang çekirdekleri) yerleşik model ve örnekleyici uygulamasıyla tek bir çalışma zamanında birleştirir.

Çerçeve ayrıca depoda ayrıntılı olarak belgelenen çeşitli sunum tekniklerini de sunar:

  • Güven planlı doğrulama, doğrulamayı planlamak için taslak belirteçleri ve güven tahminlerini kullanan, ortam değişkenleri aracılığıyla kontrol edilebilen spekülatif bir kod çözme yaklaşımı
  • Kod Çözücü SWA sınırlı tekrar oynatma, dizinin yalnızca sınırlı bir sonekini tekrar oynatarak kod çözücünün önceden doldurma işini azaltır
  • Varsayılan olarak etkin olan, CPU toplu planlamasıyla cihaz yürütmeyi örtüşen eşzamansız planlama
  • Toplu olarak değişmeyen çıkarım, model sonuçlarının farklı toplu bileşimlerde aynı olmasını sağlar
  • Deterministik örnekleme, aynı girdiler ve örnekleme parametreleri için aynı çıktıların üretilmesi
  • Yapılandırılmış çıktılar, üretimi bir regex, JSON şeması veya EBNF dilbilgisi ile sınırlandırır

Bu kombinasyon, deneysel oyuncaklar yerine tekrarlanabilir, yüksek verimli metin üretimine ihtiyaç duyan operatörlere yöneliktir. Toplu değişmezlik ve deterministik örnekleme, bir modelin neden belirli bir çıktı ürettiğini denetlemesi gereken işletmeler için özellikle önemlidir.

NVIDIA ve Huawei Ascend, yan yana

En yakından takip edilen detay donanım desteğidir. DeepInfer, CUDA 13 aracılığıyla NVIDIA SM100 GPU'ları ve CANN 9.2 aracılığıyla Huawei Ascend 950 NPU'ları hedefliyor; Linux, GCC 13 ve Python 3.12, her iki yol için de ön koşullar olarak listeleniyor.

Bu ikili platform duruşu DeepSeek'in yakın geçmişiyle tutarlıdır. Şirket, Ascend donanımı için TileLang tabanlı yazılım geliştirmek için aylar harcadı ve CUDA'nın yeri doldurulamaz olduğu yönündeki varsayımlara kamuoyu önünde meydan okudu. Ascend'e sonradan akla gelen bir araştırma yerine birinci sınıf bir vatandaş gibi davranan bir üretim çıkarımı çerçevesi sunmak, bu stratejiyi genişletiyor ve ABD ihracat kontrollerinin Çinli şirketlerin hangi Nvidia çiplerini satın alabileceğini kısıtlamaya devam ettiği bir zamana ulaşıyor.

Yerli silikon çalıştıran Çinli bulut operatörleri için Ascend 950'yi destekleyen bakımlı bir çıkarım motoru, Nvidia ekosistemi dışında sınır sınıfı açık modeller sunmanın önündeki pratik engellerden birini ortadan kaldırıyor.

Sürümde neler eksik

README, bunun henüz tam bir sunum yığını olmadığını açıkça belirtiyor. DeepInfer üzerine kurulu bir üretim dağıtımının hâlâ sürümün içermediği üç bileşene ihtiyacı var: KV önbellek sistemi, önceden doldurma ve kod çözme ayrıştırma ve paralel veri kopyaları arasında yük dengeleme. Depo, ayrıştırma için gereken motor işlevlerinin çoğunun zaten uygulandığını ancak çevredeki sistemlerin operatöre bırakıldığını belirtiyor.

Uygulamada bu, DeepInfer'in topluluğa hizmet veren çerçevelere anahtar teslim bir alternatif olmaktan ziyade DeepSeek'in altyapısının bilgi işlem motoru olarak anlaşılması anlamına gelir. Ekiplerin onu gerçek trafiğin önüne koymadan önce yine de önbellekleme ve yönlendirme katmanlarıyla entegre etmesi gerekecek.

Neden önemli?

DeepSeek'in işi, modelleri son derece ucuza sunmaya dayanıyor ve şirket, fiyatlandırmanın daha önceki düşük maliyetli konumlandırmasından uzaklaştığını ifade ettiği şeye doğru ilerlerken, bu işin ekonomisi yoğun bir inceleme konusu oldu. Yalnızca araştırma kodunu değil, gerçek üretim çıkarım yolunu açmak, dışarıdaki geliştiricilere ve bulut sağlayıcılarına bu maliyetlerin ardındaki tekniklere alışılmadık derecede doğrudan bir bakış sağlar.

Aynı zamanda kasıtlı bir modeli de sürdürüyor. FlashMLA, DeepGEMM ve DeepEP'in tümü, laboratuvar kendi yığınını oluştururken ayrı ayrı piyasaya sürüldü; DeepInfer, parçaların birbirine nasıl uyduğunu etkili bir şekilde belgeliyor. Araştırmacılar için bu sürüm, DeepSeek'in yayınlanmış performans iddialarının çoğaltılmasını kolaylaştırıyor. Rakipler için açık çıkarım yığını olarak sayılanlar konusunda çıtayı yükseltiyor.

Apache 2.0 lisansı, copyleft yükümlülükleri olmadan ticari kullanıma izin verir; bu, Batılı bulut sağlayıcılarının onu yasal olarak dağıtabileceği anlamına gelir; ancak model desteği şu anda DeepSeek'in kendi V4.1-Flash kontrol noktasıyla sınırlıdır, dolayısıyla çoğu kişi bunu şimdilik bir referans uygulaması olarak ele alacaktır.

Ne izlemeli

DeepInfer'in geniş çapta benimsenip benimsenmeyeceğini veya merak olarak mı kalacağını üç soru belirleyecek. İlk olarak, topluluğun bunu V4.1-Flash'ın ötesinde diğer model mimarilere taşıyıp taşımadığı. İkincisi, veri havuzunun performans tablolarında yayınlanan kıyaslama sonuçlarının DeepSeek'in kendi kümeleri dışındaki donanımlara dayanıp dayanmadığı. Üçüncüsü, eksik parçaların (KV önbellek yönetimi, ayrıştırma ve yük dengeleme) gelecekteki sürümlere gelip gelmediği ve motoru eksiksiz bir hizmet çerçevesine dönüştürüp dönüştürmediğidir.

Şimdilik bu sürüm, sürekli olarak modellerinin altındaki altyapıyı yayınlamayı seçen bir laboratuvarın kayda değer bir şeffaflık hamlesi. Deneme yapmak isteyen geliştiriciler, DeepInfer'ı desteklenen platformlardan herhangi birinde kaynaktan oluşturabilir ve tek bir örnek komut dosyasıyla çevrimdışı çıkarım yapabilir.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →