Het Chinese AI-lab Z.ai heeft een gedetailleerd technisch verslag gepubliceerd van hoe het GLM-modellen aan het werk heeft gezet om de systemen die hen bedienen te verbeteren. Het beschrijft een 'Infra Agent' die prestatieknelpunten in de inferentie-infrastructuur van het bedrijf opspoort en oplost met beperkte menselijke tussenkomst.

De blogpost, getiteld "Toward Recursive Self-Improvement: How GLM Built Its Own Inference Infrastructure", verscheen woensdag op de site van het bedrijf en werd al snel een van de meest besproken technologieverhalen op Hacker News, waar het meer dan 200 punten kreeg van de ontwikkelaarsgemeenschap. Voor meer context over dit verhaal, zie ons meer AI-verhalen.

"Terwijl we GLM ontwikkelen, vertoont het model soms mogelijkheden die ons verrassen en zelfs verontrusten", schreef het bedrijf in de openingsregels van de post.

Van cybersecurityonderzoek tot zelfoptimaliserende systemen

Het werk gaat terug tot oktober 2025, toen Z.ai begon te onderzoeken hoe de cyberbeveiligingscapaciteiten van GLM konden worden versterkt. De redenering was volgens het bedrijf eenvoudig: cyberbeveiliging is een natuurlijk verlengstuk van coderen, en modellen die door grote codebases kunnen navigeren, kunnen uiteindelijk ook door de lagere systeemcode navigeren die de meeste ingenieurs vermijden.

Die basis evolueerde naar iets ambitieuzers. In plaats van modellen alleen maar te gebruiken om code te schrijven, wilde Z.ai een systeemtechnische vraag beantwoorden: kan een AI-agent de verantwoordelijkheid nemen voor de prestaties van een productie-inferentiestapel, de software- en hardwarecoördinatielaag die modelgewichten omzet in snelle, goedkope antwoorden?

Het antwoord van het bedrijf omvatte een herformulering van het probleem. End-to-end-statistieken alleen, zo stelt de post, kunnen een optimalisatieagent niet begeleiden. Een rapport dat de tijd tot het eerste token met 30 procent is toegenomen of dat de outputdoorvoer met 20 procent is gedaald, vertelt een agent dat er iets erger is geworden, maar niet welke laag verantwoordelijk is, waarom de hypothese faalde of wat hij vervolgens moet testen.

"Hoe kunnen we schaarse end-to-end resultaten omzetten in fijnkorrelige, toewijsbare technische feedback die direct richting geeft aan de volgende actie?" vraagt ​​het bedrijf in de post, waarbij de vraag wordt beschreven als de sleutel tot de hele inspanning.

Drie regels voor door agenten leesbare feedback

Het antwoord van Z.ai is een feedbackdiscipline die gebaseerd is op drie kenmerken. Ten eerste moet feedback voldoende lokaal zijn, gekoppeld aan specifieke motorstartparameters, codewijzigingen, kernels, invoervoorwaarden, threads, uitvoeringsintervallen of codepaden, zodat de agent de reikwijdte van elk probleem kan beperken. Ten tweede moet het goedkoop en tijdig te verkrijgen zijn: een vraag die beantwoord kan worden door een kerneltest of een lokale microbenchmark zou geen volledige service-implementatie vereisen. Ten derde moet de validatie overeenkomen met de huidige hypothese, waarbij elk experiment is ontworpen om een ​​specifieke vraag te beantwoorden in plaats van een vaste volgorde te volgen.

Het bedrijf zegt dat deze dichte feedbackloop ervoor zorgt dat de Infra Agent zich minder als een autocomplete voor ingenieurs gedraagt, maar meer als een collega die van de ene op de andere dag experimenten kan uitvoeren.

Drie casestudy's, van cijfers tot een threading-bug

De post doorloopt drie concrete afleveringen van de optimalisatie van de serveerstapel van het bedrijf voor GLM-5.3-Flash, het open-weight-model Z.ai dat in augustus onder de MIT-licentie werd uitgebracht.

De eerste betreft correctheid. Omdat inferentie-optimalisaties de manier veranderen waarop berekeningen worden geparallelliseerd, moest de agent verifiëren dat kernels dezelfde resultaten opleveren onder gepartitioneerde en niet-gepartitioneerde omstandigheden. In één geval combineerde het team drie TF32 Tensor Core-bewerkingen om een ​​resultaat met hogere nauwkeurigheid te produceren, waardoor de geaccumuleerde numerieke fouten werden verminderd terwijl het grootste deel van het prestatievoordeel van de Tensor Core behouden bleef. Vergelijkende tests tussen partitiestrategieën brachten de discrepanties aan het licht die de oplossing vormden.

Het tweede is een verhaal over het debuggen van systemen dat voor elke prestatie-ingenieur bekend zal aanvoelen. Acceptatiecriteria vereisten dat het toevoegen van KV-cacheoverdracht aan het weergavepad de prefill-prestaties niet met meer dan 5 procent mocht verslechteren onder identieke werklasten. De agent ontdekte dat de kloof in sommige scenario's groter was dan 20 procent, waardoor het onderzoek zich beperkte tot het gelijktijdigheidsgedrag van de KV-overdracht zelf. Bij het onderzoeken van de uitvoeringstijdlijnen ontdekte de agent een anomalie: in de probleemscenario's overlapte de uitvoering van KV-overdracht aan Python-zijde nooit met de verzendings- en combinatie-intervallen van de DeepEP-communicatiebibliotheek. De oplossing was om de globale tolkvergrendeling van Python vrij te geven tijdens de relevante C++-uitvoeringsintervallen, waardoor de overdrachtsthread die Mooncake, de KV-cacheopslag, bedient, parallel met de berekening kon doorgaan. Het prestatieverschil viel vervolgens binnen de acceptatiedrempel.

De derde aflevering toont iteratieve kerneltuning. De introductie van ReplaySSM, een techniek die rekenkracht inruilt voor geheugen, verhoogde aanvankelijk de uitvoeringstijd van een KDA-decodeerkernel. De divisie-optimalisatie van de agent verminderde vervolgens de uitvoeringstijd van de kernel met 9,6 procent. Nadat hij feedback had gekregen dat berekeningen het belangrijkste knelpunt bleven, ontdekte de agent dat de oorspronkelijke implementatie langs de V-dimensie was verdeeld, waardoor identieke FP32-normalisatie- en poortberekeningen onnodig werden herhaald.

De stapel achter GLM-5.3-Flash

De optimalisaties komen bovenop een agressieve dienende architectuur die Z.ai in de post beschrijft: intra-node tensor parallellisme voor lineaire aandacht en het taalmodelhoofd, de ReplaySSM compute-for-memory-handel, W8A8-kwantisering, cache-kwantisering met gemengde precisie met behulp van INT8-, FP8- en BF16-formaten, een Layer Split-schema en een gedesaggregeerde Encode-Prefill-Decode-architectuur die de serveerfasen op afzonderlijke bronnen uitvoert.

Het bedrijf beschouwt de opeenstapeling van deze technieken, die grotendeels door de agent zelf zijn ontdekt en gevalideerd, als een stap in de richting van recursieve zelfverbetering: AI-systemen verbeteren de infrastructuur waardoor ze sneller en goedkoper kunnen worden uitgevoerd, wat op zijn beurt de volgende ronde van door agenten aangestuurde verbeteringen betaalbaarder maakt.

Waarom het ertoe doet

Inferentiekosten zijn een van de doorslaggevende economische aspecten van de AI-industrie. Labs die frontier-class-modellen kunnen bedienen tegen lagere kosten per token, kunnen agressieve prijzen hanteren, agenten subsidiëren die duizenden telefoontjes per taak plegen en verdere trainingsruns financieren uit het genereren van inkomsten. Z.ai is opmerkelijk agressief geweest op alle drie de fronten, en uit de tussentijdse financiële bekendmakingen van het bedrijf eerder dit jaar bleek dat de omzet scherp groeide, ook al namen de verliezen af.

De post is ook een signaal over waar de laboratoriumtechniek naartoe gaat. De traditionele taakverdeling, waarbij menselijke prestatie-ingenieurs kernels en planners afstemmen terwijl modellen gebruikersverzoeken afhandelen, wordt bij Z.ai vervangen door een lus waarin het model veranderingen voorstelt, goedkope experimenten deze valideren, en compacte feedback de volgende poging aanstuurt.

Claims van volledig autonome zelfverbetering moeten met zorg worden gelezen. De post zelf maakt duidelijk dat menselijke ingenieurs de testscenario’s hebben gedefinieerd, de acceptatiecriteria hebben vastgesteld en de feedbackomgevingen hebben gebouwd waarin de agent opereert. Wat het bedrijf beschrijft is de automatisering van een goed geïnstrumenteerde optimalisatielus, en niet een systeem zonder toezicht dat zichzelf opnieuw ontwerpt.

Toch is de richting duidelijk. Als de economie van AI de komende jaren wordt bepaald door wie de intelligentie het goedkoopst kan bedienen, kunnen de laboratoria die hun modellen leren hun eigen infrastructuur te optimaliseren het tempo bepalen, en Z.ai wil dat de industrie weet dat zij van plan is een van hen te zijn.

---

Blijf Voorop met AI

Het laatste AI-nieuws, analyses en doorbraken — allemaal op één plek.

Lees meer AI-nieuws →