Čínská laboratoř AI Z.ai zveřejnila podrobný technický popis toho, jak nastavila modely GLM tak, aby fungovaly vylepšováním samotných systémů, které jim slouží, a popisuje „Infra Agent“, který nalézá a opravuje úzká místa výkonu ve firemní infrastruktuře s omezeným lidským zásahem.
Blogový příspěvek s názvem „Toward Recursive Self-Improvement: How GLM Build its Own Inference Infrastructure“ se ve středu objevil na webu společnosti a rychle se stal jedním z nejvíce diskutovaných technologických příběhů na Hacker News, kde získal více než 200 bodů od vývojářské komunity. For more context on this story, see our ongoing more AI stories.
"Jak vyvíjíme GLM, model někdy vykazuje schopnosti, které nás překvapí, a dokonce nás zneklidňují," napsala společnost v úvodních řádcích příspěvku.
Od výzkumu kybernetické bezpečnosti k samooptimalizačním systémům
Práce sahá až do října 2025, kdy Z.ai začal zkoumat, jak posílit schopnosti GLM v oblasti kybernetické bezpečnosti. Zdůvodnění, jak říká společnost, bylo přímočaré: kybernetická bezpečnost je přirozeným rozšířením kódování a modely, které dokážou procházet velké kódové báze, mohou nakonec procházet nízkoúrovňovým systémovým kódem, kterému se většina inženýrů vyhýbá.
Tento základ se vyvinul v něco ambicióznějšího. Místo používání modelů pouze k psaní kódu se Z.ai rozhodl odpovědět na otázku systémového inženýrství: může agent AI převzít odpovědnost za výkon produkčního inferenčního zásobníku, softwarové a hardwarové koordinační vrstvy, která mění váhy modelů na rychlé a levné reakce?
Odpověď společnosti zahrnovala přerámování problému. Příspěvek tvrdí, že samotné end-to-end metriky nemohou vést optimalizačního agenta. Zpráva, že čas do prvního tokenu se zvýšil o 30 procent nebo že výstupní propustnost klesla o 20 procent, říká agentovi, že se něco zhoršilo, ale ne, která vrstva je zodpovědná, proč její hypotéza selhala nebo co testovat dále.
"Jak přeměníme řídké konečné výsledky na jemnozrnnou, přisouditelnou technickou zpětnou vazbu, která přímo řídí další akci?" ptá se společnost v příspěvku a tuto otázku popisuje jako klíčovou pro celé úsilí.
Tři pravidla pro zpětnou vazbu čitelnou agentem
Odpověď Z.ai je disciplína zpětné vazby postavená na třech charakteristikách. Za prvé, zpětná vazba musí být dostatečně lokální, vázaná na konkrétní parametry spouštění motoru, změny kódu, jádra, vstupní podmínky, vlákna, intervaly provádění nebo cesty kódu, takže agent může zúžit rozsah jakéhokoli problému. Zadruhé, jeho získání musí být levné a včasné: otázka zodpovězená jaderným testem nebo místním mikrobenchmarkem by neměla vyžadovat úplné nasazení služby. Za třetí, validace by se měla shodovat se současnou hypotézou, přičemž každý experiment by měl odpovídat na konkrétní otázku, spíše než sledovat pevnou sekvenci.
Společnost tvrdí, že tato hustá zpětná vazba umožňuje Infra Agentu chovat se méně jako automatické doplňování pro inženýry a více jako kolega, který může provádět experimenty přes noc.
Tři případové studie, od čísel po chybu při vláknění
Příspěvek prochází třemi konkrétními epizodami z optimalizace servírovacího zásobníku společnosti pro GLM-5.3-Flash, model s otevřenou váhou Z.ai vydaný pod licencí MIT v srpnu.
První zahrnuje správnost. Protože optimalizace odvození mění způsob, jakým jsou výpočty paralelizovány, agent potřeboval ověřit, že jádra produkují stejné výsledky za podmínek rozdělených i nerozdělených. V jednom případě tým zkombinoval tři operace TF32 Tensor Core, aby vytvořil přesnější výsledek, snížil nahromaděnou numerickou chybu a zároveň zachoval většinu výkonnostní výhody Tensor Core. Srovnávací testování mezi strategiemi rozdělení odhalilo nesrovnalosti, které motivovaly opravu.
Druhým je příběh o ladění systémů, který bude znát každý výkonový inženýr. Kritéria přijetí vyžadovala, aby přidání přenosu mezipaměti KV do obslužné cesty nesnížilo výkon předvyplnění o více než 5 procent při stejném pracovním zatížení. Agent zjistil, že v některých scénářích mezera přesahuje 20 procent, což zúžilo vyšetřování na souběžné chování samotného převodu KV. Při zkoumání časových linií provádění agent identifikoval anomálii: v problémových scénářích se provádění přenosu KV na straně Pythonu nikdy nepřekrývalo s intervaly odesílání a kombinování komunikační knihovny DeepEP. Opravou bylo uvolnění globálního zámku interpretu Pythonu během příslušných intervalů provádění C++, což umožnilo přenosovému vláknu obsluhujícímu Mooncake, úložiště KV cache, pokračovat paralelně s výpočtem. Výkonnostní mezera se následně dostala pod hranici přijatelnosti.
Třetí epizoda ukazuje iterativní ladění jádra. Představení ReplaySSM, techniky, která vyměňuje výpočet za paměť, zpočátku prodloužilo dobu provádění dekódovacího jádra KDA. Optimalizace divize agenta pak zkrátila dobu provádění jádra o 9,6 procenta. Po obdržení zpětné vazby, že výpočet zůstal primárním úzkým hrdlem, agent objevil původní implementaci rozloženou podél dimenze V, což způsobilo, že identické výpočty normalizace FP32 a hradlování se zbytečně opakovaly.
Zásobník za GLM-5.3-Flash
Optimalizace sedí na vrcholu agresivní architektury obsluhy, kterou Z.ai popisuje v příspěvku: paralelismus tenzoru uvnitř uzlů pro lineární pozornost a hlavu jazykového modelu, obchod s výpočetní pamětí ReplaySSM, kvantizace W8A8, kvantizace mezipaměti se smíšenou přesností pomocí formátů INT8, FP8 a BF16, schéma rozčlenění na LayerPrecode spouští obsluhu a gg na samostatných zdrojích.
Společnost navrhuje akumulaci těchto technik, objevených a ověřených z velké části samotným agentem, jako krok k rekurzivnímu sebezdokonalování: systémy AI zlepšují infrastrukturu, díky níž jsou rychlejší a levnější, což zase činí další kolo vylepšování řízených agenty dostupnější.
Proč na tom záleží
Inferenční náklady jsou jednou z rozhodujících ekonomik průmyslu umělé inteligence. Laboratoře, které dokážou obsluhovat modely hraniční třídy za nižší cenu za token, mohou agresivně stanovit ceny, dotovat agenty, kteří provádějí tisíce hovorů na úkol, a financovat další školení z příjmů. Společnost Z.ai byla výrazně agresivní na všech třech frontách a prozatímní finanční informace společnosti na začátku tohoto roku ukázaly, že příjmy prudce rostou, i když se ztráty zmenšily.
Příspěvek je také signálem o tom, kam směřuje inženýrství na straně laboratoře. Tradiční dělbu práce, kdy inženýři lidského výkonu ladí jádra a plánovače, zatímco modely vyřizují požadavky uživatelů, je v Z.ai nahrazena smyčkou, ve které model navrhuje změny, levné experimenty je ověřují a hustá zpětná vazba řídí další pokus.
Tvrzení o plně autonomním sebezdokonalování je třeba číst opatrně. Samotný příspěvek objasňuje, že lidští inženýři definovali testovací scénáře, nastavili kritéria přijetí a vytvořili prostředí zpětné vazby, ve kterých agent působí. To, co společnost popisuje, je automatizace dobře vybavené optimalizační smyčky, nikoli samočinné předělání systému bez dozoru.
I tak je směr jasný. Pokud o ekonomice umělé inteligence v příštích několika letech rozhodne, kdo může sloužit zpravodajství nejlevněji, mohou tempo udávat laboratoře, které učí své modely optimalizovat vlastní infrastrukturu, a Z.ai chce, aby průmysl věděl, že má v úmyslu být jedním z nich.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
