阿里巴巴的 Qwen 详细介绍了 QwenGyre，一种用于训练长期人工智能代理的弹性强化学习框架

Qwen 的 QwenGyre 在部署过程中改变了 GPU，并删除了重复的分支轨迹，报告称训练长期运行的 AI 代理的速度提高了 1.85 倍。

阿里巴巴的 Qwen 团队本周因 QwenGyre 引起了新的关注，这是一个强化学习框架，旨在训练人工智能代理执行一次运行数小时的任务。该系统在题为“QwenGyre：用于训练 xLong-Horizon Agents 的弹性强化学习框架”的论文中进行了描述，该论文由 13 名 Qwen 研究人员撰写，并于 9 月底发布到 arXiv，并于 10 月 12 日至 13 日在 AI 媒体上进行了详细报道。

该框架针对的是团队称为“xLong-horizon”任务的一类工作负载，其中单次执行跨越数小时，涉及模型与其环境之间的数百次交互，并且每次部署消耗近一百万个代币。典型的例子是在整个存储库中工作的编码代理，或代表用户执行多步骤操作的助手。通过在线强化学习来训练模型来做到这一点一直是该领域较难的基础设施问题之一，这自然是 Qwen 广泛使用的开放权重代理模型背后的团队的首要任务。对于跟踪训练基础设施方面的重大人工智能新闻 的读者来说，QwenGyre 介绍了最大的开放模型团队之一如何围绕代理工作负载重新设计其 RL 管道。

Long-Horizon RL 中的两个瓶颈

该论文指出了将在线强化学习应用于超长代理任务时存在的两个基本问题。

第一个是 GPU 空闲。由于推出的执行时间差异很大——一个代理运行可能会在几分钟内完成，而另一个代理运行则需要几个小时——管道的训练端一直在等待落后者。作者表示，其结果是昂贵的 GPU 组出现大量空闲时间，这是任何 RL 训练运行中最大的单一成本。

二是轨迹冗余。长代理任务不会直线进行。它们会分支：代理尝试一种方法，回溯，尝试另一种方法，随着任务变得更长、更复杂，分支会成倍增加。这些分支历史大部分都是多余的，对所有这些历史进行训练会浪费计算量并破坏学习的稳定性。作者将这种冗余描述为大规模削弱训练效率。

QwenGyre 如何解决这些问题

QwenGyre 是一个围绕两个核心机制构建的长期在线强化学习的端到端框架。

第一个是弹性 GPU 重新分配。该框架在部署端（代理运行并生成经验）和训练端（更新模型）之间转移 GPU，而不会中断实时执行。在传统设置中，部署资源和训练资源之间的分配是固定的，因此一侧闲置，而另一侧工作。使边界具有弹性意味着随着工作负载的变化，重部署阶段可以借用训练硬件，反之亦然。

第二个是解决分支问题的轨迹处理器。它重建分支历史，以便共享前缀不会被视为不相关的数据，对不完整的尝试进行部分进度评分（这在大多数长时间部署都以失败告终时很重要），并删除重复的路径以限制训练成本。

这里的经济学很简单。在大型模型的强化学习中，计算是主要支出，而部署与训练的划分决定了 GPU 群在任何给定时刻实际获得收益的比例。使 GPU 保持有用的工作而不是闲置的框架可以有效地成倍增加相同硬件的吞吐量。对于长期代理训练（论文将空闲称为“大规模”），静态分裂和弹性分裂之间的差异可以决定训练计划是否实用。

为什么它对代理生态系统很重要

代理产品已经从演示阶段转向部署阶段，其背后的培训技术也在不断跟上。完成真实票据的编码代理或管理多步骤工作流程的助手可能需要数百次交互才能达到人类可以接受的结果，而这些结果的奖励信号很少且难以定义。在线强化学习仍然是强化智能体行为的主要方法，这使得强化学习管道的吞吐量成为实验室改进智能体的速度的直接限制。

这就是为什么像 QwenGyre 这样的框架对阿里巴巴来说很重要。如果长视野强化学习的每个能力点的成本大大降低，那么更多的团队就有能力训练代理执行类似于实际工作的长期、混乱的任务，而不是训练代理的短期合成事件，虽然部署成本低，但作为代理却很弱。解决吞吐量问题的团队将能够比其他人更快地迭代代理能力。

报告结果

论文中最突出的成果来自于将 QwenGyre 扩展到 Qwen 的旗舰型号 Qwen 3.8 2.4T，并推出了 700,000 个代币。使用该框架进行训练在 NL2RepoBench（将自然语言请求转换为存储库级代码更改的基准）上获得了 6.0% 的绝对增益，只需 48 个 RL 步骤即可将模型从 52.5% 提升到 58.5%。

在效率方面，该团队报告称，在跨不同训练领域的评估中，QwenGyre 的加速速度比并置 RL 基线高出 1.85 倍，比异步设置高出 1.78 倍。在吞吐量增益通常以个位数百分比衡量的领域中，这些数字相当可观。