DeepSeek tiene DeepInfer de código abierto, el marco de inferencia de alto rendimiento que, según el laboratorio chino de IA, impulsa sus propios servicios de producción a gran escala. El código apareció en GitHub bajo la licencia Apache 2.0 y ya había acumulado más de 5.500 estrellas en cuestión de días, después de que una discusión de Hacker News sobre el lanzamiento atrajera cientos de votos a favor el lunes.

Según el archivo README del proyecto, el lanzamiento proporciona inferencia fuera de línea con las características principales en las que se basa DeepSeek para servir sus modelos a escala. La configuración predeterminada apunta a DeepSeek-V4.1-Flash y el marco descarga automáticamente el punto de control DeepSeek-V4.1-Flash-1017 de Hugging Face en la primera ejecución. Para más contexto sobre esta historia, consulta nuestra actualidad de inteligencia artificial.

Lo que realmente incluye DeepInfer

DeepInfer no es una reescritura desde cero. Reúne los núcleos especializados que DeepSeek ha estado lanzando pieza por pieza durante los últimos dos años (FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect y kernels TileLang personalizados) en un único tiempo de ejecución con ejecución de modelo y muestra integrada.

El marco también incluye varias técnicas de publicación que están documentadas en detalle en el repositorio:

  • Verificación programada por confianza, un enfoque de decodificación especulativa que utiliza borradores de tokens y estimaciones de confianza para programar la verificación, controlable a través de variables de entorno.
  • Reproducción limitada del decodificador SWA, que reduce el trabajo de precarga del decodificador al reproducir solo un sufijo limitado de la secuencia.
  • Programación asíncrona que superpone la programación por lotes de la CPU con la ejecución del dispositivo, habilitada de forma predeterminada
  • Inferencia invariante por lotes, que mantiene los resultados del modelo idénticos en diferentes composiciones de lotes
  • Muestreo determinista, que produce resultados idénticos para entradas y parámetros de muestreo idénticos
  • Salidas estructuradas, que limita la generación a una expresión regular, un esquema JSON o una gramática EBNF

Esa combinación está dirigida directamente a operadores que necesitan generación de texto reproducible y de alto rendimiento en lugar de juguetes experimentales. La invariancia por lotes y el muestreo determinista son particularmente importantes para las empresas que deben auditar por qué un modelo produjo un resultado determinado.

NVIDIA y Huawei Ascend, codo a codo

El detalle más observado es el soporte de hardware. DeepInfer apunta a las GPU NVIDIA SM100 a través de CUDA 13 y a las NPU Huawei Ascend 950 a través de CANN 9.2, con Linux, GCC 13 y Python 3.12 enumerados como requisitos previos para ambas rutas.

Esa postura de doble plataforma es consistente con la historia reciente de DeepSeek. La compañía ha pasado meses desarrollando software basado en TileLang para hardware Ascend y desafiando públicamente las suposiciones de que CUDA es insustituible. Enviar un marco de inferencia de producción que trate a Ascend como un ciudadano de primera clase (en lugar de una idea de último momento en la investigación) amplía esa estrategia, y llega en un momento en que los controles de exportación de Estados Unidos continúan restringiendo qué chips Nvidia pueden comprar las empresas chinas.

Para los operadores de nube chinos que ejecutan silicio nacional, un motor de inferencia mantenido que admita Ascend 950 elimina una de las barreras prácticas para servir modelos abiertos de vanguardia fuera del ecosistema de Nvidia.

Lo que falta en el lanzamiento

El archivo README es explícito en el sentido de que aún no se trata de una pila de publicación completa. Una implementación de producción basada en DeepInfer aún necesita tres componentes que el lanzamiento no incluye: un sistema de caché KV, desagregación de precarga y decodificación y equilibrio de carga entre réplicas de datos paralelos. El repositorio señala que la mayor parte de la funcionalidad del motor requerida para la desagregación ya está implementada, pero los sistemas circundantes quedan en manos del operador.

En la práctica, eso significa que DeepInfer se entiende mejor como el motor informático de la infraestructura de DeepSeek en lugar de una alternativa llave en mano a los marcos de servicio comunitario. Los equipos aún necesitarían integrarlo con capas de enrutamiento y almacenamiento en caché antes de ponerlo frente al tráfico real.

Por qué es importante

El negocio de DeepSeek se basa en ofrecer modelos extremadamente baratos, y la economía de ese negocio ha sido objeto de intenso escrutinio a medida que la compañía se dirige hacia lo que ha descrito como un alejamiento de los precios de su posicionamiento anterior de bajo costo. Abrir el camino de inferencia de producción real (no solo el código de investigación) brinda a los desarrolladores externos y proveedores de nube una mirada inusualmente directa a las técnicas detrás de esos costos.

También continúa un patrón deliberado. FlashMLA, DeepGEMM y DeepEP se lanzaron individualmente a medida que el laboratorio construía su pila; DeepInfer documenta eficazmente cómo encajan las piezas. Para los investigadores, el lanzamiento facilita la reproducción de las afirmaciones de rendimiento publicadas por DeepSeek. Para los competidores, eleva el listón de lo que se considera una pila de inferencia abierta.

La licencia Apache 2.0 permite el uso comercial sin obligaciones de copyleft, lo que significa que los proveedores de nube occidentales podrían implementarla legalmente, aunque su soporte de modelo está actualmente limitado al propio punto de control V4.1-Flash de DeepSeek, por lo que la mayoría lo tratará como una implementación de referencia por ahora.

Qué mirar

Tres preguntas determinarán si DeepInfer se adopta ampliamente o sigue siendo una curiosidad. Primero, si la comunidad lo traslada más allá de V4.1-Flash a otras arquitecturas de modelo. En segundo lugar, si los resultados de las pruebas comparativas publicados en las tablas de rendimiento del repositorio se mantienen en el hardware fuera de los propios clústeres de DeepSeek. En tercer lugar, si las piezas que faltan (administración de caché de KV, desagregación y equilibrio de carga) llegarán en futuras versiones, convirtiendo el motor en un marco de servicio completo.

Por ahora, el lanzamiento es un movimiento de transparencia notable por parte de un laboratorio que ha optado repetidamente por publicar la infraestructura debajo de sus modelos. Los desarrolladores que quieran experimentar pueden crear DeepInfer desde el código fuente en cualquiera de las plataformas compatibles y ejecutar inferencias sin conexión con un único script de ejemplo.

---

Mantente al Día con la IA

Las últimas noticias, análisis y avances de inteligencia artificial, en un solo lugar.

Leer más noticias de IA →