Tencent випустила попередній перегляд Hy4 з відкритим вихідним кодом, нову флагманську велику мовну модель від своєї команди Hunyuan, яку компанія позиціонує на кордоні з відкритим кодом. 28 серпня ваги опубліковано на Hugging Face, ModelScope, GitCode і CNB за дозвільною ліцензією Apache 2.0 разом із квантованим варіантом FP8 для дешевшого висновку.
Запуск загострює конкуренцію між китайськими лабораторіями, що постачають відкриті прикордонні моделі, сфера, яка наразі включає серію GLM від Z.AI та моделі Kimi від Moonshot AI. Bloomberg повідомило, що Tencent стверджує, що нова модель перевершує обох конкурентів у внутрішньому тестуванні — твердження, яке, як і всі оцінки, проведені постачальниками, заслуговує ретельного вивчення. For more context on this story, see our ongoing latest AI developments.
Заголовні цифри
Попередній перегляд Hy4 — це модель Mixture-of-Experts (MoE) із загальною кількістю 770 мільярдів параметрів, з яких 49 мільярдів активовано на токен. Згідно з офіційною карткою моделі, опублікованою в репозиторії Tencent-Hunyuan GitHub, магістраль має 78 рівнів, 256 маршрутизованих експертів плюс одного спільного експерта та активує 8 найбільших маршрутизованих експертів для кожного токена. Для спекулятивного декодування вбудовано власний рівень багатотокенного прогнозування (MTP) — 10 мільярдів параметрів, 0,7 мільярда активованих.
Контекстне вікно — це інша специфікація рамки: 1 мільйон токенів, довжина, яка дозволяє моделі обробляти цілі бази коду, довгі юридичні документи або стенограми годинних зустрічей за один прохід.
Архітектура, запозичена у конкурентів — і побудована на її основі
У документації Tencent у незвичайній мірі відвертості для флагманського запуску зазначено, що модуль уваги був «натхненний DeepSeek і GLM». Попередній перегляд Hy4 використовує Gated DeepSeek Sparse Attention (Gated DSA) у поєднанні з IndexCache для повторного використання міжрівневого розрідженого індексу, тоді як залишковий шлях використовує Hyper-Connections ідентифікації (iHC) для розширення міжрівневого потоку інформації.
Відкритість має значення для розробників, які оцінюють модель: недостатня увага – це те, що робить контекст 1М-токена економічно обслуговуваним, оскільки проста повна увага при такій тривалості стає непомірно дорогою. І DeepSeek, і Z.AI постачали варіанти цього дизайну у своїх флагманських моделях.
Створено для продуктивності, налаштовано за допомогою власних експертів
Tencent каже, що співпрацює з експертами всередині компанії — інженерами програмного забезпечення, розробниками ігор, фінансовими аналітиками та експертами з безпеки — і створює навчальні дані навколо роботи, яку вони фактично здійснюють. Картка моделі виділяє чотири основні області:
- Розробка програмного забезпечення: покращене планування, налагодження та перевірка довгострокових завдань розробки, а також покращення «візуального смаку» інтерфейсу.
- Офіс і аналіз: перетворення безладного багатофайлового контексту в документи, електронні таблиці та презентації, доступні для спільного використання, за допомогою ефективнішої обробки рівнянь і фінансових моделей.
- Розробка ігор: створення ігрових прототипів за допомогою однієї підказки та плавна робота з ігровими движками на кількох етапах уточнення.
- Наукові дослідження: заявлений прогрес у дослідженнях штучного інтелекту, молекулярної динаміки, фізики конденсованих середовищ і чисто математичних проблем.
Tencent також каже, що попередній перегляд Hy4 був розроблений спільно з його власними продуктами, CodeBuddy та WorkBuddy, так що переваги моделі перетворюються на вдосконалення продукту.
Що показують власні тести Tencent
Найконкретнішим порівнянням у матеріалах для запуску є сліпа паралельна оцінка, проведена Tencent за участю 163 внутрішніх експертів, які оцінювали результати 203 інженерних завдань. У цих тестах попередній перегляд Hy4 набрав середній бал 2,99, трохи випереджаючи 2,92 у GLM 5.3 (46,8 відсотка перемог, 12,8 відсотка внічию, 40,4 відсотка поразок) і 2,94 у Kimi K3 (51,2 відсотка перемог, 7,9 відсотка внічию, 40,9 відсотка поразок).
Варто чітко висловити два застереження. По-перше, це внутрішні оцінки Tencent, а не незалежні тести; компанія ще не опублікувала результати третьої перевірки в публічних таблицях лідерів. По-друге, межі невеликі — розрив від 0,05 до 0,07 балів за суб’єктивною шкалою експертних оцінок знаходиться в межах діапазону, який різні рейтингові пули можуть легко перевернути.
Незалежна перевірка відбуватиметься з публічних агрегацій, оскільки найближчими тижнями спільнота запускатиме модель за допомогою стандартизованого кодування, аргументації та агентських пакетів.
Доставка завчасно з відомими помилками
Tencent чітко повідомляє, що це попередній перегляд. Модель картки містить перелік відомих обмежень, у тому числі витрачання часу на міркування над складними завданнями довше, ніж це необхідно, і схильність до надмірної перевірки власної роботи. Команда каже, що «радше відправить рано та почує, що зламається», посилаючись на підхід, який покращив покоління Hy3.
Для розгортання ваги доступні як у BF16, так і в FP8, з підтримкою першого дня у vLLM і SGLang. Tencent публікує попередньо зібрані образи Docker для обох із рецептами, що рекомендують тензорний паралелізм на 8 графічних процесорах і спекулятивне декодування на основі MTP для обслуговування, чутливого до затримки. Конвеєр тонкого налаштування та набір інструментів квантування AngelSlim поставляються разом із моделлю.
Чому це важливо
Перегони у відкритій вазі в Китаї стали війною на два фронти між серією GLM від Z.AI та моделями Kimi від Moonshot, де DeepSeek, Qwen, а тепер і набагато більший Hunyuan, переповнюють поле. Поєднання ліцензування Apache 2.0, шкали параметрів 770B і контексту 1 млн токенів у попередньому перегляді Hy4 підвищує межі того, що будь-хто може завантажити та самостійно розмістити, а підтримка vLLM і SGLang з першого дня знижує бар’єр для фактичного запуску.
Для підприємств, які зважують відкриті моделі проти західних закритих API, практичне питання полягає не в тому, чи може відкрита модель відповідати закритій продуктивності на папері, а в тому, чи навколишні інструменти — квантування, обслуговування, тонке налаштування — достатньо зрілі. Tencent робить ставку на те, що Хуньюань повертається до розмови, відправляючи все це відразу за дозвільною ліцензією.
Чи запам’ятається попередній перегляд Hy4 як справжній передовий випуск із відкритим вихідним кодом чи як інший еталонний тест постачальника в переповненому полі, залежатиме від того, чи витримають твердження внутрішнього порівняльного тесту під час незалежного тестування. Зараз ваги оприлюднені, тому вердикт спільноти не повинен довго чекати.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
