Chińskie laboratorium sztucznej inteligencji, Z.ai, opublikowało szczegółowy opis techniczny działania modeli GLM, ulepszających systemy, które je obsługują, opisując „infraagenta”, który znajduje i naprawia wąskie gardła wydajności w infrastrukturze wnioskowania firmy przy ograniczonej interwencji człowieka.
Wpis na blogu zatytułowany „W kierunku rekursywnego samodoskonalenia: jak GLM zbudował swoją własną infrastrukturę wnioskowania” pojawił się w witrynie firmy w środę i szybko stał się jednym z najczęściej dyskutowanych artykułów technologicznych w serwisie Hacker News, gdzie zyskał ponad 200 punktów od społeczności programistów. Więcej kontekstu na ten temat znajdziesz w naszych wiadomości AI.
„W miarę opracowywania GLM model czasami wykazuje możliwości, które nas zaskakują, a nawet niepokoją” – napisała firma w pierwszych słowach postu.
Od badań nad cyberbezpieczeństwem po systemy samooptymalizujące
Prace rozpoczęły się w październiku 2025 r., kiedy Z.ai rozpoczął badania nad sposobami wzmocnienia możliwości GLM w zakresie cyberbezpieczeństwa. Firma twierdzi, że rozumowanie było proste: cyberbezpieczeństwo jest naturalnym rozszerzeniem kodowania, a modele, które potrafią poruszać się po dużych bazach kodu, mogą ostatecznie nawigować po kodzie systemów niskiego poziomu, którego unika większość inżynierów.
Podstawa ta przekształciła się w coś bardziej ambitnego. Zamiast używać modeli jedynie do pisania kodu, Z.ai postanowił odpowiedzieć na pytanie inżynierii systemów: czy agent sztucznej inteligencji może wziąć odpowiedzialność za wydajność stosu wnioskowań produkcyjnych, czyli warstwy koordynacji oprogramowania i sprzętu, która zamienia wagi modeli w szybkie i tanie odpowiedzi?
Odpowiedź firmy polegała na przedefiniowaniu problemu. Jak argumentuje post, same kompleksowe wskaźniki nie mogą stanowić wskazówek dla agenta optymalizującego. Raport mówiący, że czas do pierwszego tokena wzrósł o 30 procent lub że przepustowość wyjściowa spadła o 20 procent, informuje agenta, że coś się pogorszyło, ale nie podaje, która warstwa jest za to odpowiedzialna, dlaczego jego hipoteza się nie powiodła ani co dalej testować.
„Jak zamienić rzadkie, kompleksowe wyniki w szczegółowe, możliwe do przypisania informacje zwrotne od inżynierów, które bezpośrednio wyznaczają kolejne działania?” – pyta firma w poście, określając pytanie jako kluczowe dla całego przedsięwzięcia.
Trzy zasady dotyczące informacji zwrotnej czytelnej dla agenta
Odpowiedzią Z.ai jest dyscyplina oparta na sprzężeniu zwrotnym, oparta na trzech cechach. Po pierwsze, informacje zwrotne muszą być wystarczająco lokalne, powiązane z określonymi parametrami uruchamiania silnika, zmianami w kodzie, jądrami, warunkami wejściowymi, wątkami, interwałami wykonywania lub ścieżkami kodu, aby agent mógł zawęzić zakres dowolnego problemu. Po drugie, jego uzyskanie musi być niedrogie i szybkie: pytanie, na które można odpowiedzieć w teście jądra lub lokalnym mikrobenchmarku, nie powinno wymagać pełnego wdrożenia usługi. Po trzecie, walidacja powinna odpowiadać aktualnej hipotezie, przy czym każdy eksperyment powinien mieć na celu udzielenie odpowiedzi na konkretne pytanie, a nie podążanie za ustaloną sekwencją.
Firma twierdzi, że dzięki gęstej pętli sprzężenia zwrotnego agent Infra zachowuje się mniej jak autouzupełnianie dla inżynierów, a bardziej jak kolega, który może przeprowadzać eksperymenty z dnia na dzień.
Trzy studia przypadków, od liczb po błąd związany z wątkami
W poście omówiono trzy konkretne etapy optymalizacji firmowego stosu obsługowego dla GLM-5.3-Flash, otwartego modelu Z.ai wydanego na licencji MIT w sierpniu.
Pierwsza dotyczy poprawności. Ponieważ optymalizacje wnioskowania zmieniają sposób równoległości obliczeń, agent musiał sprawdzić, czy jądra dają te same wyniki w warunkach partycjonowanych i niepartycjonowanych. W jednym przypadku zespół połączył trzy operacje na rdzeniu Tensor TF32, aby uzyskać wynik o większej precyzji, redukując skumulowany błąd numeryczny, zachowując jednocześnie większość przewagi wydajnościowej Tensor Core. Testy porównawcze strategii partycjonowania ujawniły rozbieżności, które uzasadniały wprowadzenie poprawki.
Druga to historia debugowania systemów, która będzie znajoma każdemu inżynierowi wydajności. Kryteria akceptacji wymagały, aby dodanie transferu pamięci podręcznej KV do ścieżki obsługi nie spowodowało obniżenia wydajności wstępnego wypełniania o więcej niż 5 procent przy identycznych obciążeniach. Agent stwierdził, że w niektórych scenariuszach różnica przekracza 20 procent, co zawęziło badanie do zachowania współbieżności samego transferu KV. Badając harmonogramy wykonania, agent zidentyfikował anomalię: w scenariuszach problemów wykonanie transferu KV po stronie Pythona nigdy nie pokrywało się z interwałami wysyłania i łączenia biblioteki komunikacyjnej DeepEP. Poprawka polegała na zwolnieniu globalnej blokady interpretera Pythona podczas odpowiednich interwałów wykonywania C++, umożliwiając wątkowi transferu obsługującemu Mooncake, magazyn pamięci podręcznej KV, równoległe wykonywanie obliczeń. Następnie różnica w wydajności spadła do progu akceptacji.
Trzeci odcinek pokazuje iteracyjne dostrajanie jądra. Wprowadzenie ReplaySSM, techniki zamieniającej obliczenia na pamięć, początkowo wydłużyło czas wykonywania jądra dekodującego KDA. Optymalizacja podziału agenta skróciła następnie czas wykonywania jądra o 9,6 procent. Po otrzymaniu informacji zwrotnej, że głównym wąskim gardłem są obliczenia, agent odkrył oryginalną implementację ułożoną wzdłuż wymiaru V, co spowodowało niepotrzebne powtarzanie identycznych obliczeń normalizacyjnych i bramkujących FP32.
Stos za GLM-5.3-Flash
Optymalizacje opierają się na agresywnej architekturze obsługi, którą Z.ai opisuje w poście: równoległość tensora wewnątrz węzła dla uwagi liniowej i głowy modelu języka, handel obliczeniami dla pamięci ReplaySSM, kwantyzacja W8A8, kwantyzacja pamięci podręcznej o mieszanej precyzji przy użyciu formatów INT8, FP8 i BF16, schemat podziału warstw i zdezagregowana architektura Encode-Prefill-Decode, która uruchamia etapy obsługi na oddzielnych zasobach.
Firma postrzega akumulację tych technik, odkrytych i zweryfikowanych w dużej mierze przez samego agenta, jako krok w kierunku rekurencyjnego samodoskonalenia: systemy sztucznej inteligencji ulepszają infrastrukturę, dzięki czemu są szybsze i tańsze w obsłudze, co z kolei sprawia, że kolejna runda ulepszeń kierowanych przez agenta jest bardziej przystępna cenowo.
Dlaczego to ma znaczenie
Koszt wnioskowania jest jednym z decydujących czynników ekonomicznych w branży sztucznej inteligencji. Laboratoria, które mogą obsługiwać modele najwyższej klasy po niższym koszcie na token, mogą agresywnie ustalać ceny, dotować agentów wykonujących tysiące połączeń w ramach każdego zadania i finansować dalsze szkolenia z przychodów. Z.ai wykazała się szczególnie agresywnością na wszystkich trzech frontach, a śródroczne ujawnienia finansowe firmy z początku tego roku wykazały gwałtowny wzrost przychodów, nawet przy ograniczeniu strat.
Post jest także sygnałem, w jakim kierunku zmierza inżynieria laboratoryjna. Tradycyjny podział pracy, w którym inżynierowie wydajności dostrajają jądra i harmonogramy, podczas gdy modele obsługują żądania użytkowników, zostaje w Z.ai zastąpiony pętlą, w której model proponuje zmiany, weryfikuje je tanie eksperymenty, a gęsta informacja zwrotna kieruje kolejną próbą.
Twierdzenia dotyczące w pełni autonomicznego samodoskonalenia należy czytać ostrożnie. Sam post wyjaśnia, że inżynierowie zdefiniowali scenariusze testowe, ustalili kryteria akceptacji i zbudowali środowiska informacji zwrotnej, w których działa agent. Firma opisuje automatyzację dobrze oprzyrządowanej pętli optymalizacyjnej, a nie przeprojektowywanie systemu bez nadzoru.
Mimo to kierunek jest jasny. Jeśli w ciągu najbliższych kilku lat o ekonomii sztucznej inteligencji zadecyduje to, kto może najtaniej służyć inteligencji, laboratoria uczące swoje modele optymalizacji własnej infrastruktury mogą wyznaczać tempo, a Z.ai chce, aby branża wiedziała, że zamierza być jednym z nich.
---
Bądź na Bieżąco z AINajnowsze wiadomości, analizy i przełomy w dziedzinie AI — wszystko w jednym miejscu.
Czytaj więcej wiadomości AI →
