Tencent telah mengeluarkan dan pratonton Hy4 sumber terbuka, model bahasa besar unggulan baharu daripada pasukan Hunyuannya yang diletakkan syarikat itu di sempadan sumber terbuka. Pemberat itu mendarat di Muka Hugging, ModelScope, GitCode dan CNB pada 28 Ogos di bawah lesen Apache 2.0 yang permisif, bersama-sama varian terkuantiti FP8 untuk inferens yang lebih murah.

Pelancaran itu memperhebatkan persaingan di kalangan makmal China yang menghantar model sempadan terbuka, bidang yang pada masa ini termasuk siri GLM Z.AI dan model Kimi Moonshot AI. Bloomberg melaporkan bahawa Tencent mendakwa model baharu itu mengatasi prestasi kedua-dua pesaing dalam ujian dalaman — dakwaan bahawa, seperti semua penilaian yang dikendalikan oleh vendor, patut diteliti. For more context on this story, see our ongoing AI trends.

Nombor Tajuk

Pratonton Hy4 ialah model Campuran Pakar (MoE) dengan 770 bilion jumlah parameter, yang mana 49 bilion diaktifkan setiap token. Menurut kad model rasmi yang diterbitkan pada repositori Tencent-Hunyuan GitHub, tulang belakang mempunyai 78 lapisan, 256 pakar dihalakan ditambah seorang pakar kongsi, dan mengaktifkan 8 pakar dihalakan teratas untuk setiap token. Lapisan ramalan berbilang token (MTP) asli — 10 bilion jumlah parameter, 0.7 bilion diaktifkan — terbina dalam untuk penyahkodan spekulatif.

Tetingkap konteks ialah spesifikasi marquee yang lain: 1 juta token, panjang yang membolehkan model memproses keseluruhan pangkalan kod, dokumen undang-undang yang panjang atau transkrip mesyuarat selama satu jam dalam satu pas.

Seni Bina yang Dipinjam Daripada Saingan — dan Dibina Di Atasnya

Dalam tahap kejujuran yang luar biasa untuk pelancaran perdana, dokumentasi Tencent menyatakan bahawa modul perhatian itu "diilhamkan oleh DeepSeek dan GLM." Pratonton Hy4 menggunakan Gated DeepSeek Sparse Attention (Gated DSA) digabungkan dengan IndexCache untuk penggunaan semula indeks jarang merentas lapisan, manakala laluan sisa menggunakan identiti Hyper-Connections (iHC) untuk mengembangkan aliran maklumat antara lapisan.

Keterbukaan penting bagi pembangun yang menilai model: perhatian yang jarang menyebabkan konteks token 1M boleh digunakan secara ekonomi, memandangkan perhatian penuh naif pada masa itu menjadi sangat mahal. Kedua-dua DeepSeek dan Z.AI telah menghantar varian reka bentuk ini dalam model perdana mereka sendiri.

Dibina untuk Produktiviti, Ditala Dengan Pakar Dalaman

Tencent berkata ia bekerjasama dengan pakar dalam syarikat - jurutera perisian, pembangun permainan, penganalisis kewangan dan pakar keselamatan - dan membina data latihan di sekitar kerja yang sebenarnya mereka hantar. Kad model menyerlahkan empat bidang fokus:

  • Kejuruteraan perisian: perancangan, penyahpepijatan dan pengesahan yang dipertingkatkan pada tugas pembangunan ufuk panjang, serta keuntungan dalam "rasa visual" bahagian hadapan.
  • Pejabat dan analisis: menukar konteks berbilang fail yang tidak kemas kepada dokumen yang boleh dikongsi, hamparan dan pembentangan, dengan pengendalian persamaan dan model kewangan yang lebih kukuh.
  • Pembangunan permainan: menjana prototaip yang boleh dimainkan daripada satu gesaan dan berfungsi dengan lancar dengan enjin permainan merentasi beberapa pusingan penambahbaikan.
  • Penyelidikan saintifik: mendakwa kemajuan dalam penyelidikan AI, dinamik molekul, fizik jirim pekat dan masalah matematik tulen.

Tencent juga mengatakan pratonton Hy4 telah direka bentuk bersama dengan produknya sendiri, CodeBuddy dan WorkBuddy, supaya keuntungan model diterjemahkan ke dalam penambahbaikan produk.

Apa yang Ditunjukkan oleh Penanda Aras Tencent Sendiri

Perbandingan paling konkrit dalam bahan pelancaran ialah penilaian sebelah menyebelah buta Tencent dijalankan dengan 163 output penarafan pakar dalaman pada 203 tugas kejuruteraan. Dalam ujian tersebut, pratonton Hy4 mendapat purata 2.99, sedikit mendahului GLM 5.3 2.92 (46.8 peratus menang, 12.8 peratus seri, 40.4 peratus kalah) dan Kimi K3 2.94 (51.2 peratus menang, 7.9 peratus seri, 40.9 peratus).

Dua kaveat patut dinyatakan dengan jelas. Pertama, ini adalah penilaian dalaman Tencent, bukan penanda aras bebas; syarikat itu belum lagi menerbitkan keputusan yang disahkan ketiga pada papan pendahulu awam. Kedua, margin adalah sempit — jurang 0.05 hingga 0.07 mata pada skala penilaian pakar subjektif berada dalam julat yang kumpulan penarafan berbeza boleh bertukar dengan mudah.

Pengesahan bebas akan datang daripada pengagregatan awam apabila komuniti menjalankan model melalui pengekodan piawai, penaakulan dan suite agen dalam beberapa minggu akan datang.

Penghantaran Awal, Dengan Pepijat Diketahui

Tencent jelas bahawa ini adalah pratonton. Kad model menyenaraikan batasan yang diketahui, termasuk membelanjakan lebih lama daripada penaakulan yang diperlukan melalui tugas yang rumit dan kecenderungan untuk mengesahkan kerja sendiri secara berlebihan. Pasukan itu berkata ia "lebih suka menghantar lebih awal dan mendengar apa yang rosak," memetik pendekatan yang meningkatkan penjanaan Hy3nya.

Untuk penggunaan, pemberat tersedia dalam kedua-dua BF16 dan FP8, dengan sokongan hari pertama dalam vLLM dan SGLang. Tencent menerbitkan imej Docker prabina untuk kedua-duanya, dengan resipi mengesyorkan keselarian tensor merentas 8 GPU dan penyahkodan spekulatif berasaskan MTP untuk penyajian sensitif kependaman. Saluran paip penalaan halus dan kit alat kuantisasi AngelSlim dihantar bersama model.

Mengapa Ia Penting

Perlumbaan kelas terbuka di China telah menjadi perang dua hadapan antara siri GLM Z.AI dan model Kimi Moonshot, dengan DeepSeek, Qwen, dan kini penyertaan Hunyuan yang lebih besar memenuhi padang. Gabungan pratonton Hy4 bagi pelesenan Apache 2.0, skala parameter 770B dan konteks token 1M meningkatkan siling perkara yang boleh dimuat turun dan dihoskan sendiri oleh sesiapa sahaja — dan sokongan vLLM dan SGLang satu hari merendahkan halangan untuk benar-benar menjalankannya.

Bagi perusahaan yang menimbang model terbuka berbanding API tertutup Barat, persoalan praktikalnya bukan lagi sama ada model terbuka boleh memadankan prestasi tertutup di atas kertas, tetapi sama ada alatan sekeliling — pengkuantitian, penyajian, penalaan halus — cukup matang. Tencent bertaruh bahawa menghantar kesemuanya serentak, di bawah lesen permisif, adalah cara Hunyuan kembali ke perbualan.

Sama ada tuntutan penanda aras dalaman bertahan di bawah ujian bebas akan menentukan sama ada pratonton Hy4 diingati sebagai keluaran sumber terbuka sempadan tulen atau penanda aras vendor lain dalam medan yang sesak. Wajarannya kini terbuka, jadi keputusan masyarakat tidak sepatutnya mengambil masa yang lama.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →