中国人工智能实验室 Z.ai 发布了一份详细的技术说明，介绍了如何设置 GLM 模型来改进为其服务的系统，并描述了一种“基础设施代理”，可以在有限的人工干预下发现并修复公司推理基础设施中的性能瓶颈。

这篇题为“走向递归自我改进：GLM 如何构建自己的推理基础设施”的博文于周三发布在该公司网站上，并迅速成为 Hacker News 上讨论最多的技术故事之一，并获得了开发者社区的 200 多个点赞。 更多相关背景，请参阅我们的人工智能资讯。

“当我们开发 GLM 时，该模型有时会表现出令我们惊讶甚至不安的功能，”该公司在帖子的开场白中写道。

从网络安全研究到自我优化系统

这项工作可以追溯到2025年10月，当时Z.ai开始研究如何加强GLM的网络安全能力。该公司表示，原因很简单：网络安全是编码的自然延伸，能够导航大型代码库的模型最终可以导航大多数工程师回避的低级系统代码。

该基金会后来发展成为更加雄心勃勃的事业。 Z.ai 不仅仅使用模型来编写代码，而是着手回答一个系统工程问题：人工智能代理能否负责生产推理堆栈（将模型权重转化为快速、廉价响应的软件和硬件协调层）的性能？

该公司的答案涉及重新定义问题。该文章认为，仅端到端指标无法指导优化代理。首次令牌时间增加了 30% 或输出吞吐量下降了 20% 的报告告诉代理事情变得更糟，但没有告诉代理是哪一层负责、为什么它的假设失败或者下一步要测试什么。

“我们如何将稀疏的端到端结果转化为直接指导下一步行动的细粒度、可归因的工程反馈？”该公司在帖子中问道，并将这个问题描述为整个工作的关键。

代理可读反馈的三个规则

Z.ai 的答案是建立在三个特征之上的反馈规则。首先，反馈必须足够本地化，与特定的引擎启动参数、代码更改、内核、输入条件、线程、执行间隔或代码路径相关联，以便代理可以缩小任何问题的范围。其次，它必须廉价且及时获得：可以通过内核测试或本地微基准测试回答的问题不应需要完整的服务部署。第三，验证应该与当前的假设相匹配，每个实验都旨在回答一个特定的问题，而不是遵循固定的顺序。

该公司表示，正是这种密集的反馈循环使得 Infra Agent 的行为不再像工程师的自动完成功能，而更像可以通宵运行实验的同事。

三个案例研究，从数值到线程错误

这篇文章介绍了公司 GLM-5.3-Flash 服务堆栈优化的三个具体片段，GLM-5.3-Flash 是 8 月份在 MIT 许可下发布的开放权重模型 Z.ai。

第一个涉及正确性。由于推理优化重新调整了计算的并行化方式，因此代理需要验证内核在分区和未分区条件下产生相同的结果。在一种情况下，该团队结合了三个 TF32 Tensor Core 运算来产生更高精度的结果，减少了累积的数值误差，同时保留了 Tensor Core 的大部分性能优势。分区策略之间的比较测试暴露了促使修复的差异。

第二个是任何性能工程师都会感到熟悉的系统调试故事。验收标准要求，在相同的工作负载下，向服务路径添加 KV 缓存传输不应使预填充性能下降超过 5%。代理发现在某些场景下差距超过20%，这将调查范围缩小到KV传输本身的并发行为。检查执行时间线后，代理发现了一个异常：在问题场景中，Python 端 KV 传输执行从未与 DeepEP 通信库的调度和组合间隔重叠。修复方法是在相关的 C++ 执行间隔期间释放 Python 的全局解释器锁，从而允许服务 Mooncake（KV 缓存存储）的传输线程与计算并行进行。性能差距随后降到了可接受的阈值之内。

第三集展示了迭代内核调整。引入 ReplaySSM（一种以计算换取内存的技术）最初增加了 KDA 解码内核的执行时间。代理的除法优化将内核的执行时间减少了 9.6%。在收到计算仍然是主要瓶颈的反馈后，代理发现原始实现沿 V 维度平铺，导致相同的 FP32 归一化和门控计算不必要地重复。

GLM-5.3-Flash 背后的堆栈

这些优化建立在 Z.ai 在帖子中描述的积极的服务架构之上：用于线性注意力和语言模型头的节点内张量并行性、ReplaySSM 计算内存交易、W8A8 量化、使用 INT8、FP8 和 BF16 格式的混合精度缓存量化、层分割方案以及在单独的资源上运行服务阶段的编码-预填充-解码分解架构。

该公司将这些主要由代理本身发现和验证的技术积累起来，作为递归自我改进的一步：人工智能系统改进了基础设施，使其运行速度更快、成本更低，这反过来又使下一轮代理驱动的改进更加经济实惠。

为什么它很重要

推理成本是人工智能行业的决定性经济学之一。能够以较低的每个代币成本为前沿级模型提供服务的实验室可以积极定价，补贴每个任务进行数千次调用的代理，并从服务收入中资助进一步的培训运行。 Z.ai 在这三个方面都表现得非常积极，该公司今年早些时候披露的中期财务数据显示，尽管亏损收窄，但收入仍大幅增长。

这篇文章也表明了实验室工程的发展方向。传统的分工，即人类性能工程师调整内核和调度程序，而模型处理用户请求，在 Z.ai 正在被一个循环所取代，在该循环中，模型提出更改，廉价的实验验证它们，而密集的反馈指导下一次尝试。

对于完全自主的自我完善的主张应该仔细阅读。这篇文章本身清楚地表明，人类工程师定义了测试场景，设置了验收标准，并构建了代理运行的反馈环境。该公司所描述的是仪器仪表齐全的优化循环的自动化，而不是重新设计自身的无监督系统。

即便如此，方向还是明确的。如果未来几年人工智能的经济性取决于谁能以最便宜的价格提供情报，那么教授模型以优化自己的基础设施的实验室可能会起带头作用，而 Z.ai 希望业界知道它打算成为其中之一。

---

掌握AI最新动态

获取最新的AI新闻、分析和突破——尽在一处。

阅读更多AI新闻 →