A DeepSeek abriu o código-fonte do DeepInfer, a estrutura de inferência de alto desempenho que o laboratório chinês de IA afirma alimentar seus próprios serviços de produção em grande escala. O código apareceu no GitHub sob a licença Apache 2.0 e já havia coletado mais de 5.500 estrelas em poucos dias, depois que uma discussão do Hacker News sobre o lançamento atraiu centenas de votos positivos na segunda-feira.

De acordo com o README do projeto, o lançamento fornece inferência offline com os principais recursos dos quais o DeepSeek depende para servir seus modelos em escala. A configuração padrão tem como alvo o DeepSeek-V4.1-Flash, e a estrutura baixa automaticamente o ponto de verificação DeepSeek-V4.1-Flash-1017 do Hugging Face na primeira execução. Para mais contexto sobre esta história, confira nossa cobertura da indústria de IA.

O que o DeepInfer realmente inclui

DeepInfer não é uma reescrita do zero. Ele une os kernels especializados que o DeepSeek vem lançando peça por peça nos últimos dois anos – FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect e kernels TileLang personalizados – em um único tempo de execução com execução de modelo e amostrador integrado.

A estrutura também fornece diversas técnicas de serviço que estão documentadas detalhadamente no repositório:

  • Verificação agendada com confiança, uma abordagem de decodificação especulativa que usa rascunhos de tokens e estimativas de confiança para agendar verificação, controlável por meio de variáveis de ambiente
  • Reprodução limitada do decodificador SWA, que reduz o trabalho de pré-preenchimento do decodificador ao reproduzir apenas um sufixo limitado da sequência
  • Programação assíncrona que sobrepõe a programação em lote da CPU à execução do dispositivo, habilitada por padrão
  • Inferência invariante em lote, que mantém os resultados do modelo idênticos em diferentes composições de lote
  • Amostragem determinística, produzindo resultados idênticos para entradas e parâmetros de amostragem idênticos
  • Saídas estruturadas, restringindo a geração a um regex, esquema JSON ou gramática EBNF

Essa combinação é voltada diretamente para operadores que precisam de geração de texto reproduzível e de alto rendimento, em vez de brinquedos experimentais. A invariância de lote e a amostragem determinística são particularmente importantes para empresas que devem auditar por que um modelo produziu um determinado resultado.

NVIDIA e Huawei Ascend, lado a lado

O detalhe mais observado é o suporte de hardware. DeepInfer tem como alvo GPUs NVIDIA SM100 por meio de CUDA 13 e NPUs Huawei Ascend 950 por meio de CANN 9.2, com Linux, GCC 13 e Python 3.12 listados como pré-requisitos para ambos os caminhos.

Essa postura de plataforma dupla é consistente com a história recente do DeepSeek. A empresa passou meses desenvolvendo software baseado em TileLang para hardware Ascend e desafiando publicamente as suposições de que CUDA é insubstituível. O envio de uma estrutura de inferência de produção que trata a Ascend como um cidadão de primeira classe – em vez de uma reflexão tardia de pesquisa – amplia essa estratégia e chega em um momento em que os controles de exportação dos EUA continuam a restringir quais chips Nvidia as empresas chinesas podem comprar.

Para os operadores de nuvem chineses que executam silício doméstico, um mecanismo de inferência mantido que suporta Ascend 950 remove uma das barreiras práticas para servir modelos abertos de classe de fronteira fora do ecossistema da Nvidia.

O que está faltando no lançamento

O README deixa explícito que esta ainda não é uma pilha de serviços completa. Uma implantação de produção baseada no DeepInfer ainda precisa de três componentes que o lançamento não inclui: um sistema de cache KV, pré-preenchimento e desagregação de decodificação e balanceamento de carga entre réplicas paralelas de dados. O repositório observa que a maior parte da funcionalidade necessária do mecanismo para desagregação já está implementada, mas os sistemas circundantes são deixados para o operador.

Na prática, isso significa que o DeepInfer é melhor entendido como o mecanismo de computação da infraestrutura do DeepSeek, em vez de uma alternativa pronta para uso às estruturas de atendimento à comunidade. As equipes ainda precisariam integrá-lo às camadas de cache e roteamento antes de colocá-lo na frente do tráfego real.

Por que é importante

O negócio da DeepSeek baseia-se em servir modelos extremamente baratos, e a economia desse negócio tem sido objecto de intenso escrutínio à medida que a empresa se dirige para o que descreveu como um afastamento dos preços do seu anterior posicionamento de baixo custo. Abrir o caminho real de inferência de produção — e não apenas de pesquisa de código — dá aos desenvolvedores externos e aos provedores de nuvem uma visão incomumente direta das técnicas por trás desses custos.

Ele também continua um padrão deliberado. FlashMLA, DeepGEMM e DeepEP foram lançados individualmente à medida que o laboratório construía sua pilha; DeepInfer documenta efetivamente como as peças se encaixam. Para os pesquisadores, o lançamento facilita a reprodução das afirmações de desempenho publicadas pelo DeepSeek. Para os concorrentes, isso eleva o nível do que é considerado uma pilha de inferência aberta.

A licença Apache 2.0 permite o uso comercial sem obrigações de copyleft, o que significa que os provedores de nuvem ocidentais poderiam implantá-lo legalmente – embora seu suporte de modelo esteja atualmente limitado ao próprio ponto de verificação V4.1-Flash do DeepSeek, então a maioria irá tratá-lo como uma implementação de referência por enquanto.

O que assistir

Três questões determinarão se o DeepInfer será amplamente adotado ou permanecerá uma curiosidade. Primeiro, se a comunidade o transporta além da V4.1-Flash para outras arquiteturas de modelo. Em segundo lugar, se os resultados de benchmark publicados nas tabelas de desempenho do repositório se sustentam em hardware fora dos próprios clusters do DeepSeek. Terceiro, se as peças que faltam – gerenciamento de cache KV, desagregação e balanceamento de carga – chegarão em versões futuras, transformando o mecanismo em uma estrutura de serviço completa.

Por enquanto, o lançamento é um movimento notável de transparência de um laboratório que optou repetidamente por publicar a infraestrutura subjacente aos seus modelos. Os desenvolvedores que desejam experimentar podem criar o DeepInfer a partir do código-fonte em qualquer plataforma compatível e executar inferência offline com um único script de exemplo.

---

Fique à Frente da IA

As últimas notícias, análises e avanços em inteligência artificial — tudo em um só lugar.

Ler mais notícias de IA →