Le laboratoire chinois d'IA Z.ai a publié un compte rendu technique détaillé de la manière dont il a configuré les modèles GLM pour améliorer les systèmes qui les servent, décrivant un « agent infrarouge » qui détecte et corrige les goulots d'étranglement de performances dans l'infrastructure d'inférence de l'entreprise avec une intervention humaine limitée.

Le billet de blog, intitulé "Vers une auto-amélioration récursive : comment GLM a construit sa propre infrastructure d'inférence", a été publié mercredi sur le site de l'entreprise et est rapidement devenu l'un des articles technologiques les plus discutés sur Hacker News, où il a attiré plus de 200 points de la part de la communauté des développeurs. Pour plus de contexte sur cette histoire, consultez notre dernières avancées en IA.

"Au fur et à mesure que nous développons GLM, le modèle présente parfois des capacités qui nous surprennent, voire nous déstabilisent", a écrit la société dans les premières lignes du message.

De la recherche sur la cybersécurité aux systèmes d'auto-optimisation

Les travaux remontent à octobre 2025, lorsque Z.ai a commencé à rechercher des moyens de renforcer les capacités de cybersécurité de GLM. Le raisonnement, selon l'entreprise, était simple : la cybersécurité est une extension naturelle du codage, et les modèles capables de naviguer dans de grandes bases de code peuvent éventuellement naviguer dans le code des systèmes de bas niveau que la plupart des ingénieurs évitent.

Cette fondation a évolué vers quelque chose de plus ambitieux. Plutôt que d'utiliser des modèles simplement pour écrire du code, Z.ai a cherché à répondre à une question d'ingénierie système : un agent d'IA peut-il assumer la responsabilité des performances d'une pile d'inférence de production, la couche de coordination logicielle et matérielle qui transforme les pondérations des modèles en réponses rapides et bon marché ?

La réponse de l'entreprise impliquait de recadrer le problème. Selon l'article, les mesures de bout en bout ne peuvent à elles seules guider un agent d'optimisation. Un rapport indiquant que le délai d'obtention du premier jeton a augmenté de 30 % ou que le débit de sortie a chuté de 20 % indique à un agent que quelque chose a empiré, mais pas quelle couche est responsable, pourquoi son hypothèse a échoué ou quoi tester ensuite.

« Comment transformer des résultats de bout en bout épars en retours d'ingénierie précis et attribuables qui guident directement l'action suivante ? » » demande l'entreprise dans le message, décrivant la question comme la clé de tout l'effort.

Trois règles pour des commentaires lisibles par l'agent

La réponse de Z.ai est une discipline de feedback construite sur trois caractéristiques. Premièrement, les commentaires doivent être suffisamment locaux, liés à des paramètres de lancement de moteur spécifiques, des modifications de code, des noyaux, des conditions d'entrée, des threads, des intervalles d'exécution ou des chemins de code, afin que l'agent puisse restreindre la portée de tout problème. Deuxièmement, son obtention doit être peu coûteuse et rapide : une question à laquelle il est possible de répondre par un test du noyau ou un microbenchmark local ne devrait pas nécessiter un déploiement complet du service. Troisièmement, la validation doit correspondre à l’hypothèse actuelle, chaque expérience étant conçue pour répondre à une question spécifique plutôt que de suivre une séquence fixe.

L'entreprise affirme que cette boucle de rétroaction dense est ce qui permet à l'Infra Agent de se comporter moins comme un système de saisie semi-automatique pour les ingénieurs que comme un collègue qui peut mener des expériences du jour au lendemain.

Trois études de cas, des chiffres à un bug de threading

L'article passe en revue trois épisodes concrets de l'optimisation de la pile de serveurs de l'entreprise pour GLM-5.3-Flash, le modèle ouvert Z.ai publié sous la licence MIT en août.

Le premier concerne l’exactitude. Étant donné que les optimisations d'inférence remanient la manière dont les calculs sont parallélisés, l'agent devait vérifier que les noyaux produisent les mêmes résultats dans des conditions partitionnées et non partitionnées. Dans un cas, l'équipe a combiné trois opérations TF32 Tensor Core pour produire un résultat de plus grande précision, réduisant ainsi les erreurs numériques accumulées tout en préservant l'essentiel de l'avantage en termes de performances du Tensor Core. Des tests comparatifs entre les stratégies de partitionnement ont révélé les écarts qui ont motivé le correctif.

La seconde est une histoire de débogage de systèmes qui semblera familière à tout ingénieur en performances. Les critères d'acceptation exigeaient que l'ajout du transfert de cache KV au chemin de desserte ne dégrade pas les performances de pré-remplissage de plus de 5 % sous des charges de travail identiques. L'agent a constaté que l'écart dépassait 20 % dans certains scénarios, ce qui a limité l'enquête au comportement de concurrence du transfert KV lui-même. En examinant les délais d'exécution, l'agent a identifié une anomalie : dans les scénarios problématiques, l'exécution du transfert KV côté Python n'a jamais chevauché les intervalles de répartition et de combinaison de la bibliothèque de communication DeepEP. Le correctif consistait à libérer le verrouillage global de l'interpréteur de Python pendant les intervalles d'exécution C++ pertinents, permettant au thread de transfert servant Mooncake, le magasin de cache KV, de procéder en parallèle avec le calcul. L’écart de performance est ensuite tombé sous le seuil d’acceptation.

Le troisième épisode montre le réglage itératif du noyau. L'introduction de ReplaySSM, une technique qui échange le calcul contre de la mémoire, a initialement augmenté le temps d'exécution d'un noyau de décodage KDA. L'optimisation de la division de l'agent a ensuite réduit le temps d'exécution du noyau de 9,6 %. Après avoir reçu un retour indiquant que le calcul restait le principal goulot d'étranglement, l'agent a découvert que l'implémentation d'origine était disposée le long de la dimension V, ce qui entraînait la répétition inutile de calculs de normalisation et de déclenchement FP32 identiques.

La pile derrière GLM-5.3-Flash

Les optimisations s'appuient sur une architecture de service agressive décrite par Z.ai dans l'article : parallélisme tenseur intra-nœud pour l'attention linéaire et la tête du modèle de langage, échange de calcul pour mémoire ReplaySSM, quantification W8A8, quantification de cache à précision mixte utilisant les formats INT8, FP8 et BF16, un schéma de division de couches et une architecture désagrégée Encode-Prefill-Decode qui exécute les étapes de service sur des ressources distinctes.

L’entreprise considère l’accumulation de ces techniques, découvertes et validées en grande partie par l’agent lui-même, comme une étape vers l’auto-amélioration récursive : les systèmes d’IA améliorent l’infrastructure qui les rend plus rapides et moins chers à exécuter, ce qui rend la prochaine série d’améliorations pilotées par les agents plus abordables.

Pourquoi c'est important

Le coût d’inférence est l’un des aspects économiques décisifs de l’industrie de l’IA. Les laboratoires qui peuvent servir des modèles de classe frontière à un coût par jeton inférieur peuvent fixer des prix agressifs, subventionner les agents qui effectuent des milliers d'appels par tâche et financer des formations supplémentaires grâce aux revenus générés. Z.ai a été particulièrement agressif sur les trois fronts, et les informations financières intermédiaires de la société plus tôt cette année ont montré des revenus en forte croissance, même si les pertes se sont réduites.

Ce message est également un signal sur la direction que prend l’ingénierie en laboratoire. La division traditionnelle du travail, avec des ingénieurs en performance humaine ajustant les noyaux et les planificateurs pendant que les modèles gèrent les demandes des utilisateurs, est remplacée chez Z.ai par une boucle dans laquelle le modèle propose des changements, des expériences peu coûteuses les valident et un retour d'information dense oriente la prochaine tentative.

Les affirmations d’auto-amélioration totalement autonome doivent être lues avec attention. Le message lui-même indique clairement que les ingénieurs humains ont défini les scénarios de test, fixé les critères d'acceptation et construit les environnements de rétroaction dans lesquels l'agent opère. Ce que l'entreprise décrit est l'automatisation d'une boucle d'optimisation bien instrumentée, et non un système non supervisé se repensant lui-même.

Malgré cela, la direction est claire. Si l’économie de l’IA dans les prochaines années est décidée par celui qui peut servir l’intelligence le moins cher, les laboratoires qui enseignent à leurs modèles à optimiser leur propre infrastructure pourraient donner le ton, et Z.ai veut que l’industrie sache qu’elle a l’intention d’être l’un d’entre eux.

---

Restez à la Pointe de l'IA

Les dernières actualités, analyses et percées en IA — au même endroit.

Lire plus d'actualités IA →