Kinesiska AI-labbet Z.ai har publicerat en detaljerad teknisk redogörelse för hur det ställer in GLM-modeller att fungera för att förbättra själva systemen som tjänar dem, och beskriver en "Infra Agent" som hittar och fixar prestandaflaskhalsar i företagets inferensinfrastruktur med begränsad mänsklig inblandning.
Blogginlägget, med titeln "Toward Recursive Self-Improvement: How GLM Built Its Own Inference Infrastructure", gick upp på företagets sajt på onsdagen och blev snabbt en av de mest diskuterade teknikhistorierna på Hacker News, där det drog mer än 200 poäng från utvecklarcommunityt. For more context on this story, see our ongoing AI news.
"När vi utvecklar GLM uppvisar modellen ibland funktioner som överraskar oss och till och med gör oss oroliga", skrev företaget i inläggets inledningsrader.
Från cybersäkerhetsforskning till självoptimerande system
Arbetet går tillbaka till oktober 2025, när Z.ai började undersöka hur man kan stärka GLM:s cybersäkerhetskapacitet. Resonemanget, säger företaget, var enkelt: cybersäkerhet är en naturlig förlängning av kodning, och modeller som kan navigera i stora kodbaser kan så småningom navigera i systemkoden på låg nivå som de flesta ingenjörer undviker.
Den grunden utvecklades till något mer ambitiöst. Istället för att använda modeller enbart för att skriva kod, satte Z.ai för att svara på en systemteknisk fråga: kan en AI-agent ta ansvar för prestandan för en produktionsinferensstack, mjukvaru- och hårdvarukoordinationsskiktet som förvandlar modellvikter till snabba, billiga svar?
Företagets svar innebar att omformulera problemet. Enbart end-to-end-mått, hävdar inlägget, kan inte vägleda en optimeringsagent. En rapport om att tiden till första token ökade med 30 procent eller att utdatagenomströmningen sjönk med 20 procent berättar för en agent att något blev värre, men inte vilket lager som är ansvarigt, varför dess hypotes misslyckades eller vad som ska testas härnäst.
"Hur förvandlar vi sparsamma resultat från slut till slut till finkornig, hänförlig teknisk feedback som direkt styr nästa åtgärd?" frågar företaget i inlägget och beskriver frågan som nyckeln till hela insatsen.
Tre regler för agentläsbar feedback
Z.ais svar är en feedbackdisciplin som bygger på tre egenskaper. För det första måste feedback vara tillräckligt lokal, knuten till specifika motorstartparametrar, kodändringar, kärnor, inmatningsvillkor, trådar, exekveringsintervall eller kodvägar, så att agenten kan begränsa omfattningen av alla problem. För det andra måste det vara billigt och komma i tid att få: en fråga som kan besvaras av ett kärntest eller ett lokalt mikrobenchmark bör inte kräva en fullservicedistribution. För det tredje bör valideringen matcha den aktuella hypotesen, med varje experiment utformat för att svara på en specifik fråga snarare än att följa en fast sekvens.
Företaget säger att denna täta återkopplingsslinga är det som gör att Infra Agent kan bete sig mindre som ett autoslutförande för ingenjörer och mer som en kollega som kan köra experiment över en natt.
Tre fallstudier, från numeriska till en trådbugg
Inlägget går igenom tre konkreta avsnitt från optimeringen av företagets serveringsstack för GLM-5.3-Flash, den öppna viktmodellen Z.ai som släpptes under MIT-licensen i augusti.
Den första handlar om korrekthet. Eftersom slutledningsoptimeringar blandar om hur beräkningar parallelliseras, behövde agenten verifiera att kärnor ger samma resultat under partitionerade och opartierade förhållanden. I ett fall kombinerade teamet tre TF32 Tensor Core-operationer för att producera ett resultat med högre precision, vilket minskade ackumulerade numeriska fel samtidigt som det mesta av Tensor Core-prestandafördelarna bibehölls. Jämförande testning mellan partitioneringsstrategier avslöjade de avvikelser som motiverade korrigeringen.
Den andra är en systemfelsökningshistoria som kommer att kännas bekant för alla prestandaingenjörer. Acceptanskriterier krävde att tillägg av KV-cacheöverföring till serveringsvägen inte skulle försämra prefill-prestandan med mer än 5 procent under identiska arbetsbelastningar. Agenten fann att klyftan översteg 20 procent i vissa scenarier, vilket minskade undersökningen till att KV-överföringen skulle fungera samtidigt. Genom att undersöka exekveringstidslinjer identifierade agenten en anomali: i problemscenarierna överlappade KV-överföringsexekveringen på Python-sidan aldrig utsändnings- och kombinationsintervallen för DeepEP-kommunikationsbiblioteket. Fixningen var att släppa Pythons globala tolklås under de relevanta C++-exekveringsintervallen, vilket gjorde att överföringstråden som betjänar Mooncake, KV-cachelagret, kunde fortsätta parallellt med beräkningen. Prestandagapet föll därefter inom acceptansgränsen.
Det tredje avsnittet visar iterativ kärnjustering. Introduktion av ReplaySSM, en teknik som byter beräkning mot minne, ökade initialt exekveringstiden för en KDA-avkodningskärna. Agentens divisionsoptimering minskade sedan kärnans exekveringstid med 9,6 procent. Efter att ha fått feedback om att beräkningen förblev den primära flaskhalsen upptäckte agenten den ursprungliga implementeringen längs V-dimensionen, vilket gjorde att identiska FP32-normaliserings- och gatingberäkningar upprepades i onödan.
Stacken bakom GLM-5.3-Flash
Optimeringarna sitter ovanpå en aggressiv serveringsarkitektur som Z.ai beskriver i inlägget: intra-nod-tensorparallellism för linjär uppmärksamhet och språkmodellhuvudet, ReplaySSM compute-for-memory trade, W8A8-kvantisering, blandad precision cache-kvantisering med hjälp av INT8, FP8 och BF16 Spcode-schema, a Layer Encode- och a Layer-kod- och an-De-kod-format, disaggregerad arkitektur som kör serveringsstegen på separata resurser.
Företaget ramar in ackumuleringen av dessa tekniker, upptäckt och validerad till stor del av agenten själv, som ett steg mot rekursiv självförbättring: AI-system som förbättrar infrastrukturen som gör dem snabbare och billigare att köra, vilket i sin tur gör nästa omgång agentdrivna förbättringar mer överkomliga.
Varför det är viktigt
Slutledningskostnad är en av de avgörande ekonomierna för AI-industrin. Labs som kan betjäna frontier-klassmodeller till lägre kostnad per token kan prissätta aggressivt, subventionera agenter som ringer tusentals samtal per uppgift och finansiera vidareutbildningskörningar från att tjäna intäkter. Z.ai har varit anmärkningsvärt aggressiv på alla tre fronterna, och företagets interimistiska finansiella upplysningar tidigare i år visade att intäkterna ökade kraftigt även när förlusterna minskade.
Inlägget är också en signal om vart lab-side engineering är på väg. Den traditionella arbetsfördelningen, med mänskliga prestationsingenjörer som ställer in kärnor och schemaläggare medan modeller hanterar användarförfrågningar, ersätts på Z.ai av en loop där modellen föreslår förändringar, billiga experiment validerar dem och tät feedback styr nästa försök.
Påståenden om helt autonom självförbättring bör läsas med omsorg. Själva inlägget klargör att mänskliga ingenjörer definierade testscenarierna, satte acceptanskriterierna och byggde de återkopplingsmiljöer som agenten verkar inom. Vad företaget beskriver är automatisering av en välinstrumenterad optimeringsslinga, inte ett oövervakat system som designar om sig självt.
Ändå är riktningen tydlig. Om ekonomin för AI under de närmaste åren avgörs av vem som kan betjäna intelligens billigast, kan labben som lär sina modeller att optimera sin egen infrastruktur sätta takten, och Z.ai vill att branschen ska veta att den avser att vara en av dem.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
