Tencent wis ngrilis lan mbukak-sumber pratinjau Hy4, model basa gedhe unggulan anyar saka tim Hunyuan sing dilebokake perusahaan ing tapel wates sumber terbuka. Bobot kasebut ndharat ing Hugging Face, ModelScope, GitCode, lan CNB tanggal 28 Agustus miturut lisensi Apache 2.0 sing idin, bebarengan karo varian kuantitatif FP8 kanggo inferensi sing luwih murah.

Peluncuran kasebut nambah saingan ing antarane laboratorium China sing ngirim model wates mbukak bobot, lapangan sing saiki kalebu seri GLM Z.AI lan model Kimi Moonshot AI. Bloomberg kacarita Tencent claims model anyar outperforms loro saingan ing testing internal - pratelan sing, kaya kabeh vendor-run evaluasi, pantes nliti. For more context on this story, see our ongoing AI trends.

Nomer Headline

Pratinjau Hy4 minangka model Mixture-of-Experts (MoE) kanthi total 770 milyar paramèter, sing 49 milyar diaktifake saben token. Miturut kertu model resmi sing diterbitake ing repositori Tencent-Hunyuan GitHub, backbone duwe 78 lapisan, 256 ahli sing diarahake ditambah siji ahli sing dienggo bareng, lan ngaktifake ahli 8 sing paling dhuwur kanggo saben token. Lapisan prediksi multi-token (MTP) asli - 10 milyar parameter total, 0,7 milyar diaktifake - dibangun kanggo dekoding spekulatif.

Jendhela konteks yaiku spesifikasi marquee liyane: 1 yuta token, dawa sing ngidini model ngolah kabeh basis kode, dokumen hukum sing dawa, utawa transkrip rapat jam-jam ing siji pass.

Arsitektur Dipinjam Saka Saingan - lan Dibangun ing Ndhuwur

Ing tingkat candor sing ora biasa kanggo peluncuran kapal penggedhe, dokumentasi Tencent nyatakake yen modul perhatian kasebut "inspirasi dening DeepSeek lan GLM." Pratinjau Hy4 nggunakake Gated DeepSeek Sparse Attention (Gated DSA) digabungake karo IndexCache kanggo nggunakake maneh indeks sparse cross-layer, dene jalur residual nggunakake identitas Hyper-Connections (iHC) kanggo nggedhekake aliran informasi antar lapisan.

Keterbukaan penting kanggo para pangembang sing ngevaluasi model kasebut: perhatian sing jarang yaiku sing ndadekake konteks 1M-token bisa dilayani kanthi ekonomi, amarga perhatian penuh naif ing wektu kasebut dadi larang banget. Loro-lorone DeepSeek lan Z.AI wis ngirim varian desain iki ing model unggulan dhewe.

Dibangun kanggo Produktivitas, Disetel karo Ahli In-House

Tencent ujar manawa kerja sama karo para ahli ing perusahaan - insinyur piranti lunak, pangembang game, analis keuangan, lan pakar keamanan - lan mbangun data latihan babagan karya sing dikirim. Kertu model nyorot papat area fokus:

  • Rekayasa piranti lunak: ngrancang, debugging, lan verifikasi sing luwih apik babagan tugas pangembangan long-horizon, ditambah karo "rasa visual" ing ngarep.
  • Kantor lan analisis: Ngonversi konteks multi-file sing rame dadi dokumen, spreadsheet, lan presentasi sing bisa dienggo bareng, kanthi penanganan persamaan lan model finansial sing luwih kuat.
  • Pangembangan game : ngasilake prototipe sing bisa dimainake saka siji pituduh lan bisa digunakake kanthi lancar karo mesin game ing pirang-pirang giliran refinement.
  • Riset ilmiah: ngaku kemajuan ing riset AI, dinamika molekuler, fisika materi sing dipadhetke, lan masalah matematika murni.

Tencent uga ujar manawa pratinjau Hy4 dirancang bareng karo produk dhewe, CodeBuddy lan WorkBuddy, supaya entuk model dadi dandan produk.

Apa Benchmarks Tencent Sendiri Show

Perbandhingan paling konkrit ing bahan peluncuran yaiku evaluasi wuta sisih-by-sisih Tencent mlayu kanthi 163 output rating ahli internal ing 203 tugas teknik. Ing tes kasebut, pratinjau Hy4 ngetung rata-rata 2.99, rada luwih dhisik tinimbang GLM 5.3 2.92 (46.8 persen menang, 12.8 persen ikatan, 40.4 persen rugi) lan Kimi K3 2.94 (51.2 persen menang, 7.9 persen ikatan, 40.9 persen).

Loro caveat kudu dicritakake kanthi jelas. Kaping pisanan, iki minangka evaluasi internal Tencent, dudu pathokan independen; perusahaan durung nerbitaké asil katelu-diverifikasi ing leaderboards umum. Kapindho, margine sempit - jurang titik 0,05 nganti 0,07 ing skala peringkat ahli subyektif ana ing jangkoan sing bisa diluncurake kanthi gampang kanggo macem-macem rating.

Verifikasi independen bakal teka saka agregasi umum amarga komunitas nglakokake model kasebut liwat coding standar, penalaran, lan suite agen ing sawetara minggu sing bakal teka.

Pangiriman Awal, Kanthi Bug sing Dikenal

Tencent jelas yen iki minangka pratinjau. Kertu model nyathet watesan sing dikenal, kalebu mbuwang luwih suwe tinimbang pertimbangan sing dibutuhake liwat tugas sing rumit lan cenderung kanggo verifikasi karyane dhewe. Tim kasebut ujar manawa "luwih cepet dikirim lan ngrungokake apa sing rusak," ujare pendekatan sing nambah generasi Hy3.

Kanggo penyebaran, bobot kasedhiya ing BF16 lan FP8, kanthi dhukungan sedina ing vLLM lan SGLang. Tencent nerbitake gambar Docker sing wis dibangun kanggo loro-lorone, kanthi resep-resep sing nyaranake paralelisme tensor ing 8 GPU lan dekoding spekulatif basis MTP kanggo porsi sing sensitif latensi. Pipa finetuning lan kapal alat kuantisasi AngelSlim bebarengan karo model kasebut.

Apa Sing Penting

Lomba open-weight ing China wis dadi perang loro-ngarep antarane seri GLM Z.AI lan model Kimi Moonshot, karo DeepSeek, Qwen, lan saiki entri Hunyuan luwih gedhe crowding lapangan. Kombinasi pratinjau Hy4 saka lisensi Apache 2.0, skala parameter 770B, lan konteks 1M-token mundhakaken langit-langit apa sing bisa didownload lan dadi tuan rumah - lan dhukungan vLLM lan SGLang siji dina nyuda alangan kanggo nindakake.

Kanggo perusahaan sing nimbang model mbukak marang API tertutup Western, pitakonan praktis ora ana maneh apa model mbukak bisa cocog kinerja ditutup ing kertas, nanging apa perkakas lingkungan - kuantisasi, porsi, finetuning - cukup diwasa. Tencent taruhan yen ngirim kabeh bebarengan, ing lisensi permisif, carane Hunyuan bali menyang obrolan.

Apa pratelan pathokan internal tetep ana ing tes independen bakal nemtokake manawa pratinjau Hy4 dikenang minangka rilis sumber terbuka perbatasan asli utawa pathokan vendor liyane ing lapangan sing rame. Bobot-bobot saiki wis umum, mula putusane masyarakat aja nganti suwe.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →