El laboratorio chino de IA Z.ai ha publicado una descripción técnica detallada de cómo configuró los modelos GLM para que funcionen mejorando los mismos sistemas que les sirven, describiendo un "agente de infraestructura" que encuentra y soluciona cuellos de botella de rendimiento en la infraestructura de inferencia de la empresa con intervención humana limitada.
La publicación del blog, titulada "Hacia la automejora recursiva: cómo GLM construyó su propia infraestructura de inferencia", apareció en el sitio de la compañía el miércoles y rápidamente se convirtió en una de las historias de tecnología más discutidas en Hacker News, donde obtuvo más de 200 puntos de la comunidad de desarrolladores. Para más contexto sobre esta historia, consulta nuestra últimos avances en IA.
"A medida que desarrollamos GLM, el modelo a veces muestra capacidades que nos sorprenden e incluso nos inquietan", escribió la compañía en las primeras líneas de la publicación.
De la investigación en ciberseguridad a los sistemas de autooptimización
El trabajo se remonta a octubre de 2025, cuando Z.ai comenzó a investigar cómo fortalecer las capacidades de ciberseguridad de GLM. El razonamiento, dice la compañía, fue sencillo: la ciberseguridad es una extensión natural de la codificación, y los modelos que pueden navegar por grandes bases de código pueden eventualmente navegar por el código de sistemas de bajo nivel que la mayoría de los ingenieros evitan.
Esa base evolucionó hacia algo más ambicioso. En lugar de utilizar modelos simplemente para escribir código, Z.ai se propuso responder una pregunta de ingeniería de sistemas: ¿puede un agente de IA asumir la responsabilidad del rendimiento de una pila de inferencia de producción, la capa de coordinación de software y hardware que convierte los pesos de los modelos en respuestas rápidas y económicas?
La respuesta de la empresa implicó replantearse el problema. Las métricas de un extremo a otro por sí solas, sostiene la publicación, no pueden guiar a un agente de optimización. Un informe de que el tiempo hasta el primer token aumentó en un 30 por ciento o que el rendimiento de salida disminuyó en un 20 por ciento le dice a un agente que algo empeoró, pero no qué capa es responsable, por qué falló su hipótesis o qué probar a continuación.
"¿Cómo convertimos los escasos resultados de un extremo a otro en comentarios de ingeniería detallados y atribuibles que guían directamente la siguiente acción?" pregunta la empresa en la publicación, describiendo la pregunta como clave para todo el esfuerzo.
Tres reglas para comentarios legibles por los agentes
La respuesta de Z.ai es una disciplina de retroalimentación basada en tres características. En primer lugar, la retroalimentación debe ser suficientemente local, vinculada a parámetros específicos de inicio del motor, cambios de código, núcleos, condiciones de entrada, subprocesos, intervalos de ejecución o rutas de código, para que el agente pueda limitar el alcance de cualquier problema. En segundo lugar, su obtención debe ser económica y oportuna: una pregunta que pueda responderse mediante una prueba del núcleo o un microbenchmark local no debería requerir una implementación completa del servicio. En tercer lugar, la validación debe coincidir con la hipótesis actual, y cada experimento debe diseñarse para responder a una pregunta específica en lugar de seguir una secuencia fija.
La compañía dice que este denso circuito de retroalimentación es lo que permite que Infra Agent se comporte menos como un autocompletado para ingenieros y más como un colega que puede realizar experimentos durante la noche.
Tres estudios de caso, desde números hasta un error de subprocesamiento
La publicación recorre tres episodios concretos de la optimización de la pila de servicio de la compañía para GLM-5.3-Flash, el modelo de peso abierto Z.ai lanzado bajo la licencia del MIT en agosto.
El primero implica la corrección. Debido a que las optimizaciones de inferencia reorganizan la forma en que se paralelizan los cálculos, el agente necesitaba verificar que los núcleos produzcan los mismos resultados en condiciones particionadas y no particionadas. En un caso, el equipo combinó tres operaciones TF32 Tensor Core para producir un resultado de mayor precisión, reduciendo el error numérico acumulado y preservando la mayor parte de la ventaja de rendimiento de Tensor Core. Las pruebas comparativas entre estrategias de partición expusieron las discrepancias que motivaron la solución.
La segunda es una historia de depuración de sistemas que resultará familiar a cualquier ingeniero de rendimiento. Los criterios de aceptación requerían que agregar la transferencia de caché KV a la ruta de servicio no degradara el rendimiento del prellenado en más del 5 por ciento bajo cargas de trabajo idénticas. El agente encontró que la brecha excedía el 20 por ciento en algunos escenarios, lo que limitó la investigación al comportamiento de concurrencia de la propia transferencia de KV. Al examinar los cronogramas de ejecución, el agente identificó una anomalía: en los escenarios problemáticos, la ejecución de la transferencia KV del lado Python nunca se superpuso con los intervalos de envío y combinación de la biblioteca de comunicación DeepEP. La solución fue liberar el bloqueo del intérprete global de Python durante los intervalos de ejecución relevantes de C++, permitiendo que el hilo de transferencia que sirve a Mooncake, el almacén de caché de KV, proceda en paralelo con el cálculo. Posteriormente, la brecha de desempeño cayó dentro del umbral de aceptación.
El tercer episodio muestra un ajuste iterativo del kernel. La introducción de ReplaySSM, una técnica que intercambia computación por memoria, inicialmente aumentó el tiempo de ejecución de un kernel de decodificación KDA. La optimización de la división del agente redujo el tiempo de ejecución del kernel en un 9,6 por ciento. Después de recibir información de que el cálculo seguía siendo el principal cuello de botella, el agente descubrió la implementación original en mosaico a lo largo de la dimensión V, lo que provocó que se repitieran innecesariamente cálculos de normalización y activación de FP32 idénticos.
La pila detrás de GLM-5.3-Flash
Las optimizaciones se encuentran en la parte superior de una arquitectura de servicio agresiva que Z.ai describe en la publicación: paralelismo tensor intranodo para la atención lineal y el cabezal del modelo de lenguaje, el intercambio de computación por memoria ReplaySSM, cuantificación W8A8, cuantificación de caché de precisión mixta usando formatos INT8, FP8 y BF16, un esquema de división de capas y una arquitectura desagregada Encode-Prefill-Decode que ejecuta las etapas de servicio en recursos separados.
La empresa enmarca la acumulación de estas técnicas, descubiertas y validadas en gran medida por el propio agente, como un paso hacia la superación personal recursiva: los sistemas de IA mejoran la infraestructura que los hace más rápidos y baratos de ejecutar, lo que a su vez hace que la siguiente ronda de mejora impulsada por el agente sea más asequible.
Por qué es importante
El costo de inferencia es una de las economías decisivas de la industria de la IA. Los laboratorios que pueden ofrecer modelos de vanguardia a un menor costo por token pueden fijar precios agresivos, subsidiar a los agentes que realizan miles de llamadas por tarea y financiar más capacitaciones con los ingresos del servicio. Z.ai ha sido notablemente agresiva en los tres frentes, y las declaraciones financieras provisionales de la compañía a principios de este año mostraron que los ingresos crecieron marcadamente incluso cuando las pérdidas se redujeron.
La publicación también es una señal sobre hacia dónde se dirige la ingeniería del laboratorio. La división tradicional del trabajo, con ingenieros de desempeño humanos ajustando núcleos y programadores mientras los modelos manejan las solicitudes de los usuarios, está siendo reemplazada en Z.ai por un bucle en el que el modelo propone cambios, experimentos baratos los validan y una densa retroalimentación dirige el siguiente intento.
Las afirmaciones de superación personal totalmente autónoma deben leerse con atención. La publicación en sí deja en claro que los ingenieros humanos definieron los escenarios de prueba, establecieron los criterios de aceptación y construyeron los entornos de retroalimentación en los que opera el agente. Lo que la empresa describe es la automatización de un ciclo de optimización bien instrumentado, no un sistema no supervisado que se rediseña a sí mismo.
Aun así, la dirección es clara. Si la economía de la IA en los próximos años se decide por quién puede ofrecer inteligencia más barata, los laboratorios que enseñan a sus modelos a optimizar su propia infraestructura pueden marcar el ritmo, y Z.ai quiere que la industria sepa que pretende ser uno de ellos.
---
Mantente al Día con la IALas últimas noticias, análisis y avances de inteligencia artificial, en un solo lugar.
Leer más noticias de IA →
