DeepSeek telah merilis DSpark, kerangka decoding spekulatif sumber terbuka yang menurut perusahaan mempercepat inferensi model bahasa besar (LLM) hingga 85% dalam lalu lintas langsung, tanpa kehilangan kualitas keluaran. Dijelaskan dalam makalah baru dari DeepSeek-AI dan Universitas Peking, sistem ini sudah berjalan di dalam infrastruktur layanan DeepSeek-V4 yang menangani permintaan pengguna sebenarnya.
Pekerjaan ini mengatasi salah satu masalah paling sulit dalam AI produksi: inferensi lambat karena model menghasilkan teks satu token pada satu waktu, masing-masing memerlukan lintasan penuh melalui jaringan. Penguraian kode spekulatif adalah solusi populer di mana model "draf" yang kecil dan cepat mengusulkan blok token yang kemudian diverifikasi oleh model ukuran penuh dalam sekali jalan, menerima awalan terpanjang yang benar. Karena verifikasi bersifat paralel dan tepat secara matematis, verifikasi ini mempercepat proses sekaligus mempertahankan distribusi model asli. DSpark, yang dirilis bersamaan dengan repositori pelatihan DeepSpec di GitHub, dengan cepat menjadi salah satu kisah rekayasa AI yang paling banyak dibahas di Hacker News. For more context on this story, see our ongoing artificial intelligence updates.
Mengapa Penguraian Kode Spekulatif yang Ada Menghantam Tembok
Penelitian decoding spekulatif baru-baru ini telah beralih ke "perancang paralel" yang menghasilkan seluruh blok kandidat token dalam satu forward pass, membuat latensi rancangan hampir tidak bergantung pada ukuran blok. Makalah DSpark mengidentifikasi dua hambatan yang menghalangi metode ini untuk memenuhi janjinya dalam skala besar.
Yang pertama adalah masalah kualitas. Karena perancang paralel memprediksi setiap posisi secara independen, mereka tidak dapat memodelkan bagaimana token dalam suatu blok bergantung satu sama lain. Para peneliti menunjukkan bahwa hal ini mengarah pada "tabrakan multi-modal" dan peluruhan penerimaan yang cepat pada posisi selanjutnya dalam blok rancangan, sebuah fenomena yang mereka sebut peluruhan sufiks. Semakin panjang balok sejajar, semakin besar kemungkinan ekornya salah.
Yang kedua adalah masalah tingkat sistem. Meskipun membuat blok draf panjang itu murah, memverifikasi secara membabi buta setiap token yang diusulkan akan menyia-nyiakan kapasitas batch yang terbatas pada token yang kemungkinan besar akan ditolak. Di bawah konkurensi tinggi dari sistem penyajian nyata, durasi verifikasi yang ideal bervariasi dalam dua sumbu: permintaan terstruktur seperti kode mempertahankan tingkat penerimaan yang lebih tinggi daripada obrolan terbuka, dan memverifikasi token tambahan hampir gratis dalam beban ringan namun mahal ketika sistem sudah jenuh.
Model Draf Semi-Autoregresif
Untuk memperbaiki peluruhan sufiks, DSpark mengadopsi apa yang penulis sebut sebagai arsitektur semi-autoregresif. Ini menggabungkan tulang punggung paralel yang berat secara komputasi, yang dapat mengusulkan banyak token sekaligus, dengan modul sekuensial ringan yang memperkenalkan pemodelan ketergantungan intra-blok. Desain ini dimaksudkan untuk menggabungkan model paralel berkapasitas tinggi pada posisi awal dengan koherensi sufiks dari perancang autoregresif tradisional, yang menghasilkan token satu demi satu dan secara alami menghormati ketergantungan.
Pada tolok ukur offline terkontrol yang mencakup penalaran matematis, pembuatan kode, dan obrolan harian, tim melaporkan bahwa DSpark secara signifikan meningkatkan durasi yang diterima per siklus verifikasi dibandingkan garis dasar yang kuat. Secara khusus, makalah tersebut menyatakan DSpark meningkatkan panjang yang diterima dibandingkan drafter Eagle3 autoregresif sebesar 30,9%, 26,7%, dan 30,0% di tiga pengaturan, dan dibandingkan drafter DFlash paralel sebesar 16,3%, 18,4%, dan 18,3%.
Verifikasi Terjadwal dan Sadar Beban dengan Percaya Diri
Separuh DSpark yang lebih baru adalah pendekatannya terhadap verifikasi. Daripada memverifikasi sejumlah token draf yang tetap untuk setiap permintaan, DSpark merumuskan pemilihan panjang verifikasi sebagai masalah maksimalisasi throughput global. Ini memasangkan perkiraan yang dikalibrasi tentang berapa lama awalan draf kemungkinan akan bertahan, yang disebut makalah sebagai probabilitas kelangsungan hidup, dengan penjadwal yang peka terhadap perangkat keras yang membaca beban mesin secara real-time.
Hasilnya adalah verifikasi terjadwal secara rahasia: sistem secara dinamis menyesuaikan jumlah token yang diverifikasi untuk setiap permintaan berdasarkan konten permintaan dan status mesin penyajian saat ini. Di bawah beban yang ringan, ia mampu melakukan verifikasi secara besar-besaran, sementara di bawah konkurensi yang berat, ia mengarahkan anggaran verifikasi model target hanya ke token dengan ekspektasi pengembalian tertinggi, menghindari jatuhnya throughput yang berasal dari pengeluaran kapasitas batch pada token dengan probabilitas rendah.
Hasil Berdasarkan Lalu Lintas Pengguna Langsung
Angka yang paling penting berasal dari produksi. Tim menerapkan DSpark di dalam sistem penyajian DeepSeek-V4 yang melayani lalu lintas pengguna langsung dan membandingkannya dengan dasar produksi perusahaan sebelumnya, yaitu metode prediksi multi-token yang dikenal sebagai MTP-1.
Menurut makalah tersebut, DSpark secara konsisten mempercepat kecepatan pembuatan per pengguna sebesar 60% hingga 85% untuk DeepSeek-V4-Flash dan sebesar 57% hingga 78% untuk DeepSeek-V4-Pro pada throughput agregat yang sesuai. Berdasarkan perjanjian tingkat layanan yang ketat di mana kapasitas dasar sangat menurun, setara dengan 120 token per detik untuk Flash dan 50 token per detik untuk Pro, DSpark mengurangi overhead verifikasi untuk mempertahankan throughput yang kuat. Dengan mengatasi kesenjangan kinerja tersebut, penulis berpendapat bahwa hal ini akan membuka tingkat interaktivitas ketat yang sebelumnya tidak dapat dicapai, secara efektif menggeser batas Pareto dari layanan LLM ke luar.
Perbedaan itu penting bagi operator. Kecepatan per pengguna yang lebih cepat dengan total throughput yang sama berarti asisten yang lebih responsif dan alur kerja agen tanpa harus membeli lebih banyak perangkat keras, sekaligus mempertahankan SLA latensi ketat yang sedang dimuat adalah hal yang membedakan demo penelitian dari sistem yang dapat bertahan selama lonjakan lalu lintas.
Bersumber Terbuka untuk Komunitas
DeepSeek merilis pos pemeriksaan DSpark terlatih untuk model pratinjau DeepSeek-V4-Flash dan DeepSeek-V4-Pro. Repositori DeepSpec yang menyertainya, diterbitkan di bawah lisensi MIT yang permisif, digambarkan sebagai basis kode pelatihan dan evaluasi tumpukan penuh yang digerakkan oleh algoritma untuk decoding spekulatif. Ini mencakup utilitas persiapan data, implementasi draf model, skrip pelatihan, dan rangkaian evaluasi, serta dilengkapi dengan tiga algoritme draf model: DSpark, DFlash, dan Eagle3.
Rilis ini mengurangi hambatan bagi tim laboratorium dan infrastruktur lain untuk melatih dan membandingkan rancangan model mereka sendiri dengan pipeline standar. Rangkaian evaluasi DeepSpec mencakup tolok ukur yang sudah ada termasuk GSM8K, MATH500, AIME 2025, HumanEval, MBPP, LiveCodeBench, MT-Bench, AlpacaEval, dan Arena-Hard-v2.
Mengapa Itu Penting
Biaya inferensi dan latensi kini menjadi salah satu kendala utama dalam industri AI, yang menentukan segalanya mulai dari seberapa agresif perusahaan menerapkan agen AI hingga apakah penyedia yang lebih kecil dapat bersaing dengan perusahaan hyperscaler dalam hal unit ekonomi. Kontribusi DSpark bukan sekadar algoritma baru, melainkan sebuah demonstrasi yang secara hati-hati merancang rancangan model dan penjadwal verifikasi, serta memperlakukan durasi verifikasi sebagai fungsi status sistem saat ini, yang dapat menggerakkan arah dalam penerapan nyata.
Bagi DeepSeek, yang telah membangun reputasinya pada sistem yang efisien dan dirilis secara terbuka, DSpark adalah poin data lain dalam argumen yang telah dibuat oleh lab selama lebih dari setahun: bahwa kinerja penyajian tingkat terdepan dapat dicapai melalui rekayasa yang lebih cerdas, bukan hanya melalui komputasi mentah. Fakta bahwa peningkatan tersebut diukur berdasarkan lalu lintas langsung, bukan berdasarkan tolok ukur sintetis, membuat hasil tersebut lebih mudah dianggap serius oleh operator lain saat komunitas sumber terbuka mencerna data tersebut dan mulai mereproduksi angka-angkanya.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
