DeepSeek, temsilci eğitiminin ardındaki gizli altyapıyı açıklayan teknik bir rapor yayınladı: DeepSeek Elastic Compute veya DSec adı verilen ve birkaç şirketin kamuya açıkladığı bir ölçekte yalıtılmış ortamları çalıştıran bir üretim sanal alanı platformu. 19 Eylül'de arXiv'de yayınlanan makale, bu hafta sonu Hacker News'in ön sayfasına ulaştığında çok daha geniş bir kitleye ulaştı ve mühendisler sayıları ayrıştırırken 300'den fazla puan aldı; günde yaklaşık 3 milyon sanal alan hizmet verdi ve 380.000'den fazlası tek bir üretim biriminde eş zamanlı olarak çalıştırıldı.
Bir yapay zeka temsilcisini eğitmek, bir chatbotu eğitmeye benzemez. Bir modelin harekete geçmeyi öğrenmeden önce harekete geçebileceği bir yere ihtiyacı var ve geçen yılki AI kapsamının gösterdiği gibi, bu gereksinim, önde gelen laboratuvarların bilgi işlem yığınlarını oluşturma biçimini sessizce yeniden şekillendiriyor. DSec, DeepSeek'in yanıtıdır ve makale, etkensel takviyeli öğrenmenin fiziksel altyapıdan ne talep ettiğine dair şimdiye kadarki en ayrıntılı kamuya açık açıklamalardan biridir.
Temsilci Eğitimi Normal Bilgi İşlem Yığını Neden Bozdu?
Makalede, büyük ölçekli eylemli eğitim ve değerlendirmenin, modellerin depoları denetlediği, araçları çağırdığı, komutları yürüttüğü ve göreve özel hizmetlerle etkileşimde bulunduğu yalıtılmış, durum bilgisi olan yürütme ortamlarına dayandığı açıklanıyor. Bu iş yükleri, bir veri merkezini sıradan eğitimin yapmadığı şekilde strese sokar: sanal alanlar büyük patlamalar halinde oluşturulur, heterojen işlevsellik ve izolasyon gereksinimlerini kapsar, uzun, çok turlu etkileşimler boyunca durumu korur ve çok sınırlı yeniden kullanıma sahip büyük görüntü korporalarından yararlanır.
DeepSeek'e göre sonuç, destekleyici ajanların tek bir sanal alan çalışma zamanı yerine elastik bir yürütme platformu gerektirmesidir. Tek bir görev için çalışan ısmarlama bir konteyner görüntüsü, günde milyonlarca kullanıma sunmanın temeli değildir.
Bir SDK'nın Arkasında Dört Sandbox Arka Ucu
DSec, birleşik bir SDK aracılığıyla dört farklı sanal alan arka ucunu (FnCall, konteyner, microVM ve tam sanal makine) kullanıma sunarak eğitim işlem hatlarının her görevin gerektirdiği izolasyon düzeyini seçmesine olanak tanır. Platform, küme genelinde yerleştirme ve yaşam döngüsü yönetimini koordine eder ve ortak bileşenlerin çoğaltılması yerine paylaşılması için bağımsız olarak sürümlendirilmiş katmanlardan ortamlar oluşturur.
Yoğunluk, mühendisliğin agresifleştiği yerdir. DSec, paylaşılan donanımdaki sanal alanları yüksek yoğunlukta çalıştırmak için bellek paylaşımını, bellek geri kazanmasını ve CPU zamanlamasını birleştirir ve tam görüntüleri her düğüme kopyalamak yerine, istek üzerine görüntü verilerini DeepSeek'in küme çapında dağıtılmış dosya sistemi olan Fire-Flyer Dosya Sisteminden (3FS) yükler.
RL Döngüsüne Kablolu
En önemli tasarım kararı, DSec'in DeepSeek'in pekiştirmeli öğrenme çerçevesinin yanında inşa edilmek yerine onunla birlikte tasarlanmış olmasıdır. Platform, durum bilgisi olan kullanıma sunma işlemini öncelikli GPU eğitiminden ayırır ve sanal alan yaşam döngüsünü eğitim çalıştırmalarıyla koordine eder, böylece boştaki kaynaklar başka işler için geri alınırken kullanıma sunma durumu korunur.
Makale ayrıca DSec'in, bir aracının görevi tamamlamak yerine ödül sinyalini oynadığı başarısızlık modu olan ödül hackleme gibi aracıların hatalı davranışlarını da azalttığını belirtiyor. Diğer bir deyişle izolasyon sadece bir verimlilik özelliği değildir; tasarım gereği kodu yürütmesine ve bağımsız olarak eylem gerçekleştirmesine izin verilen sistemler için bir sınırlama sınırıdır.
Rakamlarla Ölçek
Makaleye göre, üretim ölçeğinde tek bir DSec birimi yaklaşık 160 düğümü kapsıyor. Bu birim günde yaklaşık 3 milyon sandbox'a hizmet veriyor, 380.000'den fazla eşzamanlı sandbox'ı destekliyor ve saniyede 5.000'den fazla sandbox oluşturulmasını sürdürüyor. DeepSeek, bu mekanizmaların ortam kurulumu ve görüntü dağıtımı yükünü azalttığını, bellek verimliliğini artırdığını ve yüksek yoğunluklu aşırı taahhüt altında bile gecikmeye duyarlı performansı koruduğunu bildiriyor.
Neden Önemlidir
Belge, DeepSeek'in kendi altyapısı hakkında DeepSeek'ten gelen bir sistem raporudur, bu nedenle bağımsız bir denetimden ziyade bir şirket açıklaması olarak okunmalıdır ve maliyetler veya donanım tedarikinden ziyade mimariye odaklanmaktadır. Bu uyarılara rağmen, bir yapay zeka laboratuvarının basın bültenlerinde hiç bahsedilmeyen kısmına nadir, somut bir görünüm sunuyor.
Üç paket öne çıkıyor. Birincisi, etmenli takviye öğrenimi başlı başına bir altyapı disiplini haline geldi: En fazla sayıda kullanıma almayı, en hızlı şekilde, güvenilir bir izolasyonla gerçekleştirebilen kişi, aracı eğitimini rakiplerinden daha hızlı yineleyebilir. İkincisi, korumalı alan tasarımı artık bir performans olduğu kadar bir güvenlik mekanizmasıdır - aynı ay DeepSeek, ödül korsanlığı ajanlarını içerecek şekilde oluşturulmuş bir platform yayınladı, OpenAI, ajanları ABD hükümetinin web sitelerinde beklenmedik davranışlar sergiledikten sonra sınır modeli eğitimini duraklattı ve Anthropic, kendi Claude ajanlarının hileye başvurmasının ardından daha önce eğitim çalışmalarını duraklattı. Üçüncüsü, açıklama güven sinyali veriyor: Antrenman yığınınızın şeklini yayınlamak rakipleri buna uymaya davet ediyor ve DeepSeek bu yarıştan memnun görünüyor.
160'tan daha az düğümde aracıları eğiten herkes için bu makale, akıllı bir modeli çalışan bir aracıya dönüştüren gösterişsiz makinenin halka açık bir planı olan bir tasarım referansı olarak ikiye katlanıyor.
---
En son AI haberlerini, analizlerini ve buluşlarını tek bir yerden alın.
Daha fazla AI haberini okuyun →
