中国の AI 研究所 Z.ai は、GLM モデルをどのように設定して、そのモデルにサービスを提供するシステムそのものを改善するかについての詳細な技術説明を公開し、限られた人間の介入で同社の推論インフラストラクチャのパフォーマンスのボトルネックを見つけて修正する「インフラ エージェント」について説明しました。

「再帰的自己改善に向けて: GLM はどのように独自の推論インフラストラクチャを構築したか」と題されたこのブログ投稿は水曜日に同社のサイトに掲載され、すぐに Hacker News で最も話題になったテクノロジー記事の 1 つとなり、開発者コミュニティから 200 以上のポイントを獲得しました。 この件の詳細は、人工知能の最新情報をご覧ください。

「私たちがGLMを開発していると、そのモデルは時々私たちを驚かせたり、不安にさせたりする機能を発揮することがあります」と同社は投稿の冒頭で書いている。

サイバーセキュリティ研究から自己最適化システムまで

この取り組みは、Z.ai が GLM のサイバーセキュリティ機能を強化する方法の研究を開始した 2025 年 10 月に遡ります。同社によれば、その理由は単純だった。サイバーセキュリティはコーディングの自然な拡張であり、大規模なコードベースをナビゲートできるモデルは、最終的にはほとんどのエンジニアが避けている低レベルのシステムコードをナビゲートできるようになる。

その基盤はより野心的なものへと進化しました。 Z.ai は、単にコードを記述するためにモデルを使用するのではなく、システム エンジニアリングの質問に答えることを目指しました。AI エージェントは、モデルの重みを高速で安価な応答に変換するソフトウェアとハ​​ードウェアの調整レイヤーである実稼働推論スタックのパフォーマンスに責任を負うことができますか?

同社の答えには、問題の再構成が含まれていました。同投稿では、エンドツーエンドの指標だけでは最適化エージェントを導くことはできないと主張している。最初のトークンまでの時間が 30% 増加した、または出力スループットが 20% 低下したというレポートは、エージェントに何かが悪化したことを伝えますが、どの層が原因であるか、仮説が失敗した理由、次に何をテストするかについては伝えません。

「まばらなエンドツーエンドの結果を、次のアクションに直接導く、きめの細かい、帰属可能なエンジニアリング フィードバックに変えるにはどうすればよいでしょうか?」同社は投稿の中で質問し、この質問が取り組み全体の鍵であると説明している。

エージェントが読み取り可能なフィードバックに関する 3 つのルール

Z.ai の答えは、3 つの特性に基づいて構築されたフィードバック規律です。まず、フィードバックは十分にローカルであり、特定のエンジン起動パラメータ、コード変更、カーネル、入力条件、スレッド、実行間隔、またはコード パスに関連付けられている必要があります。これにより、エージェントは問題の範囲を狭めることができます。第 2 に、それは安価でタイムリーに入手できる必要があります。カーネル テストやローカル マイクロベンチマークによって答えられる質問は、完全なサービスの展開を必要とすべきではありません。第三に、検証は現在の仮説と一致する必要があり、すべての実験は固定された順序に従うのではなく、特定の質問に答えるように設計されています。

同社によれば、この密なフィードバック ループにより、Infra Agent はエンジニアのオートコンプリートではなく、一晩実験を実行できる同僚のように動作できるようになります。

数値からスレッドバグまでの 3 つのケーススタディ

この投稿では、Z.ai が 8 月に MIT ライセンスに基づいてリリースしたオープンウェイト モデルである GLM-5.3-Flash 向けの同社のサービング スタックの最適化に関する 3 つの具体的なエピソードを紹介しています。

1 つ目は正しさに関するものです。推論の最適化では計算の並列化方法が変更されるため、エージェントはカーネルがパーティション化された条件とパーティション化されていない条件下で同じ結果を生成することを検証する必要がありました。あるケースでは、チームは 3 つの TF32 Tensor コア操作を組み合わせてより高精度の結果を生成し、Tensor コアのパフォーマンス上の利点のほとんどを維持しながら蓄積された数値誤差を削減しました。パーティショニング戦略間の比較テストにより、修正の動機となった不一致が明らかになりました。

2 つ目は、パフォーマンス エンジニアなら誰でも馴染みのあるシステム デバッグの話です。受け入れ基準では、KV キャッシュ転送をサービング パスに追加しても、同一のワークロードの下でプレフィル パフォーマンスが 5% を超えて低下しないことが必要でした。エージェントは、一部のシナリオではギャップが 20% を超えていることを発見し、KV 転送自体の同時実行動作に調査を絞り込みました。実行タイムラインを調べると、エージェントは異常を特定しました。問題のシナリオでは、Python 側の KV 転送の実行が DeepEP 通信ライブラリのディスパッチおよび結合間隔と重複することはありませんでした。この修正は、関​​連する C++ 実行間隔中に Python のグローバル インタプリタ ロックを解放し、KV キャッシュ ストアである Mooncake にサービスを提供する転送スレッドが計算と並行して処理できるようにすることでした。その後、パフォーマンスのギャップは許容しきい値内に収まりました。

3 番目のエピソードでは、反復的なカーネル チューニングを示します。コンピューティングをメモリと交換する手法である ReplaySSM を導入すると、当初は KDA デコード カーネルの実行時間が増加しました。エージェントの分割最適化により、カーネルの実行時間が 9.6% 短縮されました。計算が主なボトルネックのままであるというフィードバックを受け取った後、エージェントは、元の実装が V 次元に沿ってタイル状に並べられており、同一の FP32 正規化とゲート計算が不必要に繰り返されることを発見しました。

GLM-5.3-Flash の背後にあるスタック

この最適化は、Z.ai が投稿で説明している積極的なサービング アーキテクチャの上に位置します。つまり、線形アテンションと言語モデル ヘッドのためのノード内テンソル並列処理、ReplaySSM compute-for-memory トレード、W8A8 量子化、INT8、FP8、BF16 形式を使用した混合精度キャッシュ量子化、レイヤー分割スキーム、およびサービング ステージを実行するエンコード-プレフィル-デコード分離アーキテクチャです。別のリソースで。

同社は、主にエージェント自身によって発見および検証されたこれらのテクニックの蓄積を、再帰的自己改善へのステップとして組み立てています。つまり、AI システムがインフラストラクチャを改善することでシステムの実行が高速化され、コストが安くなり、その結果、エージェント主導の次の改善ラウンドがより手頃な価格になります。

なぜそれが重要なのか

推論コストは、AI 業界の決定的な経済学の 1 つです。トークンあたりの低コストでフロンティアクラスのモデルを提供できるラボは、積極的な価格設定を行い、タスクごとに数千回の通話を行うエージェントに補助金を出し、提供する収益からさらなるトレーニングの実行に資金を提供できます。 Z.ai は 3 つの面すべてにおいて著しく積極的であり、今年初めの同社の中間財務開示では、損失が縮小したにもかかわらず収益が大幅に増加していることが示されています。

この投稿は、ラボ側のエンジニアリングがどこに向かっているのかを示すものでもあります。人間のパフォーマンス エンジニアがカーネルとスケジューラを調整し、モデルがユーザーのリクエストを処理するという従来の分業体制は、Z.ai ではモデルが変更を提案し、安価な実験で検証し、密なフィードバックが次の試行を指示するというループに置き換えられています。

完全に自律的な自己改善の主張は注意して読む必要があります。投稿自体は、人間のエンジニアがテスト シナリオを定義し、合格基準を設定し、エージェントが動作するフィードバック環境を構築したことを明らかにしています。同社が説明しているのは、適切に機器化された最適化ループの自動化であり、監視されていないシステム自体の再設計ではありません。

それでも方向性は明確です。今後数年間の AI の経済性が、誰が最も安価にインテリジェンスを提供できるかによって決まるとしたら、モデルに独自のインフラストラクチャを最適化するよう教えている研究所がペースを決める可能性があり、Z.ai は自社がその一員になるつもりであることを業界に知ってもらいたいと考えています。

---

AIの最新情報をお届け

AIの最新ニュース、分析、ブレイクスルーを一箇所で。

AIニュースをもっと読む →