DeepSeek має DeepInfer з відкритим кодом, високопродуктивну структуру висновків, яка, за словами китайської лабораторії штучного інтелекту, забезпечує її власні великомасштабні виробничі служби. Код з’явився на GitHub під ліцензією Apache 2.0 і вже зібрав понад 5500 зірок за кілька днів після того, як у понеділок у Hacker News обговорення випуску викликало сотні голосів «за».

Відповідно до README проекту, випуск забезпечує офлайн-розвідку з основними функціями, на які DeepSeek покладається для обслуговування своїх моделей у масштабі. Конфігурація за замовчуванням націлена на DeepSeek-V4.1-Flash, а фреймворк автоматично завантажує контрольну точку DeepSeek-V4.1-Flash-1017 із Hugging Face під час першого запуску. For more context on this story, see our ongoing AI trends.

Що насправді включає DeepInfer

DeepInfer — це не переписування з нуля. Він об’єднує спеціалізовані ядра, які DeepSeek випускав по частинах протягом останніх двох років — FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect і спеціальні ядра TileLang — в єдине середовище виконання з вбудованою моделлю та виконанням семплера.

Фреймворк також містить кілька технік обслуговування, які детально задокументовані в репозиторії:

  • Перевірка за розкладом, спекулятивний підхід до декодування, який використовує чернетки маркерів і оцінки достовірності для планування перевірки, що контролюється за допомогою змінних середовища.
  • Обмежене повторне відтворення декодера SWA, яке зменшує роботу декодера перед заповненням, відтворюючи лише обмежений суфікс послідовності.
  • Асинхронне планування, яке перекриває пакетне планування процесора з виконанням пристрою, увімкнено за замовчуванням
  • Пакетно-інваріантний висновок, який зберігає результати моделі ідентичними для різних композицій пакетів
  • Детермінована вибірка, що створює ідентичні виходи для ідентичних вхідних даних і параметрів вибірки
  • Структуровані виходи, що обмежують генерацію регулярним виразом, схемою JSON або граматикою EBNF

Ця комбінація спрямована прямо на операторів, яким потрібна відтворювана, високопродуктивна генерація тексту, а не експериментальні іграшки. Пакетна інваріантність і детермінована вибірка особливо важливі для підприємств, які повинні перевіряти, чому модель дає певний результат.

NVIDIA та Huawei Ascend поруч

Найбільш уважно стежать за апаратною підтримкою. DeepInfer націлено на графічні процесори NVIDIA SM100 через CUDA 13 і на процесори Huawei Ascend 950 через CANN 9.2, причому Linux, GCC 13 і Python 3.12 вказані як передумови для обох шляхів.

Ця позиція подвійної платформи узгоджується з недавньою історією DeepSeek. Компанія витратила місяці на розробку програмного забезпечення на основі TileLang для обладнання Ascend і публічно заперечує припущення про те, що CUDA є незамінною. Постачання системи висновків про виробництво, яка розглядає Ascend як першокласного громадянина, а не як дослідницьку задумку, розширює цю стратегію, і вона діє в той час, коли експортний контроль США продовжує обмежувати, які чіпи Nvidia можуть купувати китайські компанії.

Для китайських хмарних операторів, які використовують домашні процесори, підтримуваний механізм висновків, який підтримує Ascend 950, усуває одну з практичних перешкод для обслуговування відкритих моделей передового класу за межами екосистеми Nvidia.

Чого не вистачає у випуску

У файлі README чітко зазначено, що це ще не повний стек для обслуговування. Виробниче розгортання, створене на основі DeepInfer, все ще потребує трьох компонентів, які випуск не включає: система кешу KV, дезагрегація попереднього заповнення та декодування та балансування навантаження між паралельними репліками даних. Репозиторій зазначає, що більшість необхідних функцій двигуна для дезагрегації вже реалізовано, але навколишні системи залишаються оператору.

На практиці це означає, що DeepInfer краще розуміти як обчислювальний механізм інфраструктури DeepSeek, а не як готову альтернативу фреймворкам, що обслуговують спільноту. Командам все одно доведеться інтегрувати його з рівнями кешування та маршрутизації, перш ніж поставити його перед реальним трафіком.

Чому це важливо

Бізнес DeepSeek базується на обслуговуванні моделей надзвичайно дешево, і економіка цього бізнесу була предметом ретельного вивчення, оскільки компанія прямує до того, що вона описує як ціноутворення, відходить від свого попереднього позиціонування з низькою вартістю. Відкриття фактичного шляху висновку про виробництво — а не лише дослідження коду — дає стороннім розробникам і хмарним провайдерам незвичайно прямий погляд на методи, що стоять за цими витратами.

Це також продовжує навмисну ​​схему. FlashMLA, DeepGEMM і DeepEP були випущені окремо, коли лабораторія створювала свій стек; DeepInfer ефективно документує, як частини поєднуються разом. Для дослідників цей випуск полегшує відтворення опублікованих заяв DeepSeek щодо продуктивності. Для конкурентів це підвищує планку того, що вважається стеком відкритих висновків.

Ліцензія Apache 2.0 дозволяє комерційне використання без зобов’язань щодо копілефту, що означає, що західні хмарні постачальники можуть законно розгортати його — хоча його підтримка моделі наразі обмежена власною контрольною точкою V4.1-Flash DeepSeek, тому більшість розглядатиме його як еталонну реалізацію.

Що подивитися

Три запитання визначатимуть, чи стане DeepInfer широко поширеним чи залишиться цікавістю. По-перше, чи спільнота переносить його за межі V4.1-Flash на інші модельні архітектури. По-друге, чи результати порівняльного тестування, опубліковані в таблицях продуктивності репозиторія, витримують апаратне забезпечення за межами власних кластерів DeepSeek. По-третє, чи з’являться відсутні елементи — керування кеш-пам’яттю KV, дезагрегація та балансування навантаження — у майбутніх випусках, перетворюючи механізм на повноцінну структуру обслуговування.

Наразі випуск є помітним кроком до прозорості від лабораторії, яка неодноразово вирішувала публікувати інфраструктуру під своїми моделями. Розробники, які бажають поекспериментувати, можуть створювати DeepInfer із вихідного коду на будь-якій підтримуваній платформі та запускати офлайн-виведення за допомогою одного прикладу сценарію.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →