Das chinesische KI-Labor Z.ai hat einen detaillierten technischen Bericht darüber veröffentlicht, wie es GLM-Modelle so einsetzt, dass sie genau die Systeme verbessern, die ihnen dienen. Dabei wird ein „Infra-Agent“ beschrieben, der Leistungsengpässe in der Inferenzinfrastruktur des Unternehmens mit begrenztem menschlichen Eingriff findet und behebt.
Der Blog-Beitrag mit dem Titel „Toward Recursive Self-Improvement: How GLM Built His Own Inference Infrastructure“ erschien am Mittwoch auf der Website des Unternehmens und wurde schnell zu einer der meistdiskutierten Technologie-Storys bei Hacker News, wo er mehr als 200 Punkte aus der Entwickler-Community erhielt. Weitere Informationen zu dieser Geschichte finden Sie in unserer neueste KI-Entwicklungen.
„Während wir GLM entwickeln, zeigt das Modell manchmal Fähigkeiten, die uns überraschen und sogar verunsichern“, schrieb das Unternehmen in den ersten Zeilen des Beitrags.
Von der Cybersicherheitsforschung zu selbstoptimierenden Systemen
Die Arbeit geht auf den Oktober 2025 zurück, als Z.ai mit der Erforschung begann, wie die Cybersicherheitskapazitäten von GLM gestärkt werden können. Die Begründung, so das Unternehmen, sei einfach: Cybersicherheit sei eine natürliche Erweiterung der Codierung, und Modelle, die sich in großen Codebasen zurechtfinden, könnten letztendlich auch den Low-Level-Systemcode navigieren, den die meisten Ingenieure meiden.
Diese Grundlage entwickelte sich zu etwas Ehrgeizigerem. Anstatt Modelle lediglich zum Schreiben von Code zu verwenden, wollte Z.ai eine systemtechnische Frage beantworten: Kann ein KI-Agent die Verantwortung für die Leistung eines Produktions-Inferenzstapels übernehmen, der Software- und Hardware-Koordinationsschicht, die Modellgewichte in schnelle, kostengünstige Antworten umwandelt?
Die Antwort des Unternehmens bestand darin, das Problem neu zu formulieren. End-to-End-Metriken allein, so argumentiert der Beitrag, können einen Optimierungsagenten nicht leiten. Ein Bericht, dass die Zeit bis zum ersten Token um 30 Prozent gestiegen ist oder dass der Ausgabedurchsatz um 20 Prozent gesunken ist, sagt einem Agenten, dass etwas schlimmer geworden ist, aber nicht, welche Schicht dafür verantwortlich ist, warum seine Hypothese fehlgeschlagen ist oder was als nächstes getestet werden soll.
„Wie wandeln wir spärliche End-to-End-Ergebnisse in feinkörniges, zuordenbares technisches Feedback um, das direkt als Leitfaden für die nächste Aktion dient?“ stellt das Unternehmen in dem Beitrag und beschreibt die Frage als Schlüssel zum gesamten Aufwand.
Drei Regeln für für Agenten lesbares Feedback
Die Antwort von Z.ai ist eine Feedback-Disziplin, die auf drei Merkmalen basiert. Erstens muss das Feedback ausreichend lokal sein und an bestimmte Engine-Startparameter, Codeänderungen, Kernel, Eingabebedingungen, Threads, Ausführungsintervalle oder Codepfade gebunden sein, damit der Agent den Umfang jedes Problems eingrenzen kann. Zweitens muss es kostengünstig und zeitnah erhältlich sein: Eine Frage, die durch einen Kernel-Test oder einen lokalen Mikrobenchmark beantwortet werden kann, sollte keine vollständige Bereitstellung des Dienstes erfordern. Drittens sollte die Validierung mit der aktuellen Hypothese übereinstimmen, wobei jedes Experiment darauf ausgelegt ist, eine bestimmte Frage zu beantworten und nicht einer festen Reihenfolge zu folgen.
Das Unternehmen sagt, dass diese dichte Rückkopplungsschleife es dem Infra Agent ermöglicht, sich weniger wie eine automatische Vervollständigung für Ingenieure zu verhalten, sondern eher wie ein Kollege, der über Nacht Experimente durchführen kann.
Drei Fallstudien, von der Numerik bis zum Threading-Bug
Der Beitrag geht durch drei konkrete Episoden der Optimierung des Serving-Stacks des Unternehmens für GLM-5.3-Flash, das Open-Weight-Modell Z.ai, das im August unter der MIT-Lizenz veröffentlicht wurde.
Beim ersten geht es um Korrektheit. Da Inferenzoptimierungen die Art und Weise, wie Berechnungen parallelisiert werden, neu mischen, musste der Agent überprüfen, ob Kernel unter partitionierten und unpartitionierten Bedingungen die gleichen Ergebnisse liefern. In einem Fall kombinierte das Team drei TF32-Tensor-Core-Operationen, um ein Ergebnis mit höherer Präzision zu erzielen und so den akkumulierten numerischen Fehler zu reduzieren, während der größte Teil des Tensor-Core-Leistungsvorteils erhalten blieb. Vergleichstests zwischen Partitionierungsstrategien deckten die Diskrepanzen auf, die den Fix motivierten.
Bei der zweiten handelt es sich um eine System-Debugging-Geschichte, die jedem Performance-Ingenieur bekannt vorkommen wird. Die Akzeptanzkriterien erforderten, dass das Hinzufügen einer KV-Cache-Übertragung zum Bereitstellungspfad die Vorfüllleistung bei identischen Arbeitslasten nicht um mehr als 5 Prozent beeinträchtigen sollte. Der Agent stellte fest, dass die Lücke in einigen Szenarien mehr als 20 Prozent betrug, was die Untersuchung auf das Parallelitätsverhalten der KV-Übertragung selbst einschränkte. Bei der Untersuchung der Ausführungszeitpläne stellte der Agent eine Anomalie fest: In den Problemszenarien überschnitt sich die Ausführung der Python-seitigen KV-Übertragung nie mit den Versand- und Kombinationsintervallen der DeepEP-Kommunikationsbibliothek. Die Lösung bestand darin, die globale Interpretersperre von Python während der relevanten C++-Ausführungsintervalle aufzuheben, sodass der Übertragungsthread, der Mooncake, den KV-Cache-Speicher, bedient, parallel zur Berechnung fortfahren konnte. Die Leistungslücke lag anschließend unter der Akzeptanzschwelle.
Die dritte Folge zeigt iteratives Kernel-Tuning. Durch die Einführung von ReplaySSM, einer Technik, die Rechenleistung gegen Arbeitsspeicher eintauscht, erhöhte sich zunächst die Ausführungszeit eines KDA-Dekodierungskernels. Die Divisionsoptimierung des Agenten reduzierte dann die Ausführungszeit des Kernels um 9,6 Prozent. Nachdem er die Rückmeldung erhalten hatte, dass die Berechnung weiterhin der Hauptengpass sei, stellte der Agent fest, dass die ursprüngliche Implementierung entlang der V-Dimension gekachelt war, was dazu führte, dass identische FP32-Normalisierungs- und Gating-Berechnungen unnötigerweise wiederholt wurden.
Der Stack hinter GLM-5.3-Flash
Die Optimierungen basieren auf einer aggressiven Bereitstellungsarchitektur, die Z.ai in dem Beitrag beschreibt: knoteninterne Tensorparallelität für lineare Aufmerksamkeit und den Sprachmodellkopf, den ReplaySSM-Compute-for-Memory-Handel, W8A8-Quantisierung, Cache-Quantisierung mit gemischter Genauigkeit unter Verwendung der Formate INT8, FP8 und BF16, ein Layer-Split-Schema und eine disaggregierte Encode-Prefill-Decode-Architektur, die die Bereitstellungsstufen auf separaten Ressourcen ausführt.
Das Unternehmen betrachtet die Anhäufung dieser Techniken, die größtenteils vom Agenten selbst entdeckt und validiert wurden, als einen Schritt zur rekursiven Selbstverbesserung: KI-Systeme verbessern die Infrastruktur, wodurch sie schneller und kostengünstiger ausgeführt werden können, was wiederum die nächste Runde der agentengesteuerten Verbesserung erschwinglicher macht.
Warum es wichtig ist
Die Inferenzkosten sind einer der entscheidenden wirtschaftlichen Faktoren der KI-Branche. Labore, die Modelle der Spitzenklasse zu geringeren Kosten pro Token anbieten können, können aggressive Preise festlegen, Agenten subventionieren, die Tausende von Anrufen pro Aufgabe tätigen, und weitere Schulungsläufe aus den Einnahmen aus der Bereitstellung finanzieren. Z.ai war an allen drei Fronten besonders aggressiv, und die vorläufigen Finanzberichte des Unternehmens zu Beginn dieses Jahres zeigten, dass die Einnahmen trotz geringerer Verluste stark stiegen.
Der Beitrag ist auch ein Signal dafür, wohin sich die Entwicklung im Labor-Side-Engineering entwickelt. Die traditionelle Arbeitsteilung, bei der menschliche Leistungsingenieure Kernel und Scheduler optimieren, während Modelle Benutzeranfragen bearbeiten, wird bei Z.ai durch eine Schleife ersetzt, in der das Modell Änderungen vorschlägt, diese durch kostengünstige Experimente validiert werden und dichtes Feedback den nächsten Versuch steuert.
Behauptungen einer völlig autonomen Selbstverbesserung sollten mit Vorsicht gelesen werden. Der Beitrag selbst macht deutlich, dass menschliche Ingenieure die Testszenarien definiert, die Akzeptanzkriterien festgelegt und die Feedback-Umgebungen erstellt haben, in denen der Agent arbeitet. Was das Unternehmen beschreibt, ist die Automatisierung einer gut instrumentierten Optimierungsschleife und nicht ein unbeaufsichtigtes System, das sich selbst neu gestaltet.
Dennoch ist die Richtung klar. Wenn die Wirtschaftlichkeit der KI in den nächsten Jahren davon abhängt, wer am günstigsten Informationen liefern kann, könnten die Labore, die ihren Modellen beibringen, ihre eigene Infrastruktur zu optimieren, das Tempo vorgeben, und Z.ai möchte, dass die Branche weiß, dass sie beabsichtigt, einer von ihnen zu sein.
---
Bleib vorne bei KIDie neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.
Mehr KI-Nachrichten lesen →
