DeepSeek открыла исходный код DeepInfer, высокопроизводительной системы вывода, которая, по словам китайской лаборатории искусственного интеллекта, обеспечивает ее собственные крупномасштабные производственные услуги. Код появился на GitHub под лицензией Apache 2.0 и за несколько дней уже собрал более 5500 звезд после того, как обсуждение релиза в Hacker News в понедельник собрало сотни голосов.

Согласно README проекта, релиз обеспечивает автономный вывод с использованием основных функций, которые DeepSeek использует для обслуживания своих моделей в масштабе. Конфигурация по умолчанию нацелена на DeepSeek-V4.1-Flash, и платформа автоматически загружает контрольную точку DeepSeek-V4.1-Flash-1017 из Hugging Face при первом запуске. Подробнее об этой истории — в нашем больше статей об ИИ.

Что на самом деле включает в себя DeepInfer

DeepInfer — это не переписывание с нуля. Он объединяет специализированные ядра, которые DeepSeek выпускал по частям в течение последних двух лет — FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect и пользовательские ядра TileLang — в единую среду выполнения со встроенным выполнением моделей и сэмплеров.

Платформа также включает в себя несколько методов обслуживания, которые подробно описаны в репозитории:

  • Проверка по расписанию, спекулятивный подход к декодированию, который использует черновые токены и оценки достоверности для планирования проверки, управляемый через переменные среды.
  • Ограниченное воспроизведение декодера SWA, которое сокращает работу по предварительному заполнению декодера за счет воспроизведения только ограниченного суффикса последовательности.
  • Асинхронное планирование, которое перекрывает пакетное планирование ЦП с выполнением устройства, включено по умолчанию.
  • Инвариантный для партии вывод, который сохраняет результаты модели идентичными для разных составов партий.
  • Детерминированная выборка, обеспечивающая идентичные выходные данные для идентичных входных данных и параметров выборки.
  • Структурированные выходные данные, ограничивающие генерацию регулярным выражением, схемой JSON или грамматикой EBNF.

Эта комбинация нацелена непосредственно на операторов, которым нужна воспроизводимая генерация текста с высокой пропускной способностью, а не экспериментальные игрушки. Пакетная инвариантность и детерминированная выборка особенно важны для предприятий, которым необходимо проверить, почему модель дала тот или иной результат.

NVIDIA и Huawei Ascend, бок о бок

Наиболее пристальное внимание уделяется аппаратной поддержке. DeepInfer нацелен на графические процессоры NVIDIA SM100 через CUDA 13 и NPU Huawei Ascend 950 через CANN 9.2, при этом Linux, GCC 13 и Python 3.12 указаны в качестве необходимых условий для обоих путей.

Эта позиция двойной платформы соответствует недавней истории DeepSeek. Компания потратила месяцы на разработку программного обеспечения на базе TileLang для оборудования Ascend и публично оспаривала предположения о незаменимости CUDA. Поставка системы производственных выводов, которая рассматривает Ascend как первоклассного гражданина, а не как второстепенную исследовательскую мысль, расширяет эту стратегию, и она реализуется в то время, когда экспортный контроль США продолжает ограничивать то, какие чипы Nvidia могут покупать китайские компании.

Для китайских облачных операторов, использующих отечественные микросхемы, поддерживаемый механизм вывода, поддерживающий Ascend 950, устраняет одно из практических препятствий для обслуживания открытых моделей передового класса за пределами экосистемы Nvidia.

Чего не хватает в релизе

В README ясно указано, что это еще не полный стек обслуживания. Для производственного развертывания, построенного на DeepInfer, по-прежнему требуются три компонента, которые не включены в выпуск: система кэширования KV, дезагрегирование предварительного заполнения и декодирования, а также балансировка нагрузки между репликами с параллельными данными. В репозитории отмечают, что большая часть необходимого функционала движка для дезагрегации уже реализована, но окружающие системы оставлены на усмотрение оператора.

На практике это означает, что DeepInfer лучше всего понимать как вычислительный механизм инфраструктуры DeepSeek, а не как готовую альтернативу платформам, обслуживающим сообщество. Командам все равно придется интегрировать его со слоями кэширования и маршрутизации, прежде чем использовать его для реального трафика.

Почему это важно

Бизнес DeepSeek основан на чрезвычайно дешевом обслуживании моделей, и экономика этого бизнеса стала предметом пристального внимания, поскольку компания движется к тому, что она описала как ценообразование, отходящее от ее прежнего позиционирования с низкими затратами. Открытие фактического производственного пути, а не только исследовательского кода, дает сторонним разработчикам и поставщикам облачных услуг необычайно прямой взгляд на методы, лежащие в основе этих затрат.

Это также продолжает преднамеренную модель. FlashMLA, DeepGEMM и DeepEP выпускались индивидуально по мере того, как лаборатория создавала свой стек; DeepInfer эффективно документирует, как части соединяются друг с другом. Для исследователей этот выпуск облегчает воспроизведение опубликованных заявлений DeepSeek о производительности. Для конкурентов это поднимает планку того, что считается открытым стеком вывода.

Лицензия Apache 2.0 разрешает коммерческое использование без обязательств авторского лева, что означает, что западные облачные провайдеры могут легально развернуть ее — хотя поддержка ее модели в настоящее время ограничена собственной контрольной точкой DeepSeek V4.1-Flash, поэтому большинство пока будет рассматривать ее как эталонную реализацию.

Что посмотреть

Три вопроса определят, получит ли DeepInfer широкое распространение или останется диковинкой. Во-первых, переносит ли сообщество его за пределы V4.1-Flash на другие модели архитектуры. Во-вторых, сохраняются ли результаты тестов, опубликованные в таблицах производительности репозитория, на оборудовании за пределами собственных кластеров DeepSeek. В-третьих, появятся ли недостающие части — управление кэшем KV, дезагрегация и балансировка нагрузки — в будущих выпусках, превращая движок в полноценную обслуживающую среду.

На данный момент этот релиз является заметным шагом к прозрачности со стороны лаборатории, которая неоднократно решала публиковать инфраструктуру, лежащую в основе своих моделей. Разработчики, желающие поэкспериментировать, могут собрать DeepInfer из исходного кода на любой поддерживаемой платформе и запустить автономный вывод с помощью одного примера сценария.

---

Будьте в курсе ИИ

Последние новости, аналитика и прорывы в сфере ИИ — всё в одном месте.

Читать больше новостей об ИИ →