Laboratorul chinezesc de inteligență artificială Z.ai a publicat o descriere tehnică detaliată a modului în care a stabilit modelele GLM să funcționeze, îmbunătățind chiar sistemele care le servesc, descriind un „Agent Infra” care găsește și remediază blocajele de performanță în infrastructura de inferență a companiei cu intervenție umană limitată.
Postarea de blog, intitulată „Toward Recursive Self-Improvement: How GLM Built Its Own Inference Infrastructure”, a apărut miercuri pe site-ul companiei și a devenit rapid una dintre cele mai discutate povești tehnologice pe Hacker News, unde a atras mai mult de 200 de puncte de la comunitatea dezvoltatorilor. For more context on this story, see our ongoing more AI stories.
„Pe măsură ce dezvoltăm GLM, modelul prezintă uneori capacități care ne surprind și chiar ne tulbură”, a scris compania în rândurile de deschidere ale postării.
De la cercetarea securității cibernetice la sistemele de auto-optimizare
Lucrarea datează din octombrie 2025, când Z.ai a început să cerceteze cum să consolideze capacitățile de securitate cibernetică ale GLM. Raționamentul, spune compania, a fost simplu: securitatea cibernetică este o extensie naturală a codificării, iar modelele care pot naviga în baze de cod mari pot naviga în cele din urmă în codul sistemelor de nivel scăzut pe care majoritatea inginerilor îl evită.
Acea fundație a evoluat în ceva mai ambițios. În loc să folosească modele doar pentru a scrie cod, Z.ai și-a propus să răspundă la o întrebare de inginerie de sisteme: poate un agent AI să-și asume responsabilitatea pentru performanța unei stive de inferențe de producție, stratul de coordonare software și hardware care transformă ponderile modelului în răspunsuri rapide și ieftine?
Răspunsul companiei a implicat reformularea problemei. Numai valorile end-to-end, argumentează postarea, nu pot ghida un agent de optimizare. Un raport că timpul până la primul token a crescut cu 30% sau că debitul de ieșire a scăzut cu 20% îi spune unui agent că ceva s-a înrăutățit, dar nu care este stratul responsabil, de ce ipoteza sa a eșuat sau ce trebuie testat în continuare.
„Cum transformăm rezultatele rare de la capăt la capăt în feedback ingineresc precis, atribuibil, care ghidează direct următoarea acțiune?” întreabă compania în postare, descriind întrebarea ca fiind cheia întregului efort.
Trei reguli pentru feedback-ul care poate fi citit de agent
Răspunsul lui Z.ai este o disciplină de feedback construită pe trei caracteristici. În primul rând, feedback-ul trebuie să fie suficient de local, legat de parametrii specifici de lansare a motorului, modificări de cod, nuclee, condiții de intrare, fire de execuție, intervale de execuție sau căi de cod, astfel încât agentul să poată restrânge sfera oricărei probleme. În al doilea rând, trebuie să fie ieftin și în timp util de obținut: o întrebare la care se poate răspunde printr-un test de kernel sau un microbenchmark local nu ar trebui să necesite o implementare completă a serviciului. În al treilea rând, validarea ar trebui să se potrivească cu ipoteza actuală, fiecare experiment fiind proiectat să răspundă la o întrebare specifică, mai degrabă decât să urmeze o secvență fixă.
Compania spune că această buclă densă de feedback este ceea ce permite Infra Agent să se comporte mai puțin ca o completare automată pentru ingineri și mai mult ca un coleg care poate rula experimente peste noapte.
Trei studii de caz, de la numere la o eroare de threading
Postarea parcurge trei episoade concrete din optimizarea stack-ului de servire al companiei pentru GLM-5.3-Flash, modelul open-weight Z.ai lansat sub licența MIT în august.
Primul implică corectitudinea. Deoarece optimizările de inferență remaniază modul în care calculele sunt paralelizate, agentul trebuia să verifice dacă nucleele produc aceleași rezultate în condiții partiționate și nepartiționate. Într-un caz, echipa a combinat trei operațiuni TF32 Tensor Core pentru a produce un rezultat de mai mare precizie, reducând eroarea numerică acumulată, păstrând în același timp cea mai mare parte a avantajului de performanță Tensor Core. Testarea comparativă între strategiile de partiționare a scos la iveală discrepanțele care au motivat remedierea.
A doua este o poveste de depanare a sistemelor care va fi familiară oricărui inginer de performanță. Criteriile de acceptare au impus ca adăugarea transferului de cache KV la calea de difuzare să nu degradeze performanța de pre-completare cu mai mult de 5% în cazul unor sarcini de lucru identice. Agentul a constatat că diferența a depășit 20 la sută în unele scenarii, ceea ce a restrâns investigația la comportamentul concurent al transferului KV în sine. Examinând termenele de execuție, agentul a identificat o anomalie: în scenariile cu probleme, execuția transferului KV pe partea Python nu s-a suprapus niciodată cu intervalele de expediere și combinare ale bibliotecii de comunicații DeepEP. Remedierea a fost să elibereze blocarea globală a interpretului Python în intervalele relevante de execuție C++, permițând firului de transfer care servește Mooncake, magazinul de cache KV, să continue în paralel cu calculul. Decalajul de performanță a intrat ulterior în pragul de acceptare.
Al treilea episod prezintă reglajul iterativ al nucleului. Introducerea ReplaySSM, o tehnică care schimbă calculul cu memorie, a crescut inițial timpul de execuție al unui nucleu de decodificare KDA. Optimizarea diviziei agentului a redus apoi timpul de execuție al nucleului cu 9,6 la sută. După ce a primit feedback că calculul a rămas principalul blocaj, agentul a descoperit implementarea inițială de-a lungul dimensiunii V, ceea ce a făcut ca normalizarea FP32 și calculele de gate să fie repetate în mod inutil.
Stiva din spatele GLM-5.3-Flash
Optimizările stau pe deasupra unei arhitecturi agresive de servire pe care Z.ai o descrie în postare: paralelismul tensorului intra-nod pentru atenția liniară și capul modelului de limbaj, comerțul de calcul pentru memorie ReplaySSM, cuantificare W8A8, cuantificare cache cu precizie mixtă folosind formatele INT8, FP8 și BF16, o arhitectură Layer Code Split care rulează și scheme de arhitectură Layercode Split, care rulează și disgregare de coduri de straturi. etapele de servire pe resurse separate.
Compania încadrează acumularea acestor tehnici, descoperite și validate în mare măsură de agentul însuși, ca un pas către auto-îmbunătățirea recursivă: sistemele AI îmbunătățesc infrastructura care le face mai rapide și mai ieftine de rulat, ceea ce, la rândul său, face următoarea rundă de îmbunătățire determinată de agenți mai accesibilă.
De ce contează
Costul de inferență este unul dintre aspectele economice decisive ale industriei AI. Laboratoarele care pot servi modele de clasă de frontieră la un cost mai mic pe token pot să prețuri agresiv, să subvenționeze agenții care efectuează mii de apeluri pe sarcină și să finanțeze cursele de formare ulterioară din veniturile din deservire. Z.ai a fost deosebit de agresiv pe toate cele trei fronturi, iar dezvăluirile financiare intermediare ale companiei de la începutul acestui an au arătat că veniturile au crescut brusc, chiar dacă pierderile s-au redus.
Postarea este, de asemenea, un semnal despre unde se îndreaptă ingineria din partea laboratorului. Diviziunea tradițională a muncii, cu inginerii de performanță umană care reglează nucleele și programatoarele în timp ce modelele se ocupă de solicitările utilizatorilor, este înlocuită la Z.ai de o buclă în care modelul propune modificări, experimente ieftine le validează și feedback dens direcționează următoarea încercare.
Afirmațiile de auto-îmbunătățire complet autonome trebuie citite cu atenție. Postarea în sine arată clar că inginerii umani au definit scenariile de testare, au stabilit criteriile de acceptare și au creat mediile de feedback în care operează agentul. Ceea ce descrie compania este automatizarea unei bucle de optimizare bine instrumentate, nu un sistem nesupravegheat care se reproiectează.
Chiar și așa, direcția este clară. Dacă economia AI în următorii câțiva ani este decisă de cine poate servi cel mai ieftin inteligență, laboratoarele care își învață modelele să își optimizeze propria infrastructură ar putea stabili ritmul, iar Z.ai vrea ca industria să știe că intenționează să fie unul dintre ele.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
