アリババの Qwen チームは今週、一度に何時間も実行されるタスクで AI エージェントを訓練するように設計された強化学習フレームワークである QwenGyre で新たな注目を集めています。このシステムは、13 人の Qwen 研究者によって執筆され、9 月下旬に arXiv に投稿された「QwenGyre: An Elastic Reinforcement Learning Framework for Training xLong-Horizon Agents」というタイトルの論文で説明され、その後 10 月 12 日と 13 日に AI マスコミ全体で詳細に報道されました。

このフレームワークは、チームが「xLong-horizon」タスクと呼ぶワークロードのカテゴリーを対象としています。このタスクでは、1 回の実行に数時間かかり、モデルとその環境の間で何百もの対話が行われ、ロールアウトごとに 100 万近くのトークンが消費されます。リポジトリ全体で動作するコーディング エージェントや、ユーザーに代わって複数ステップの操作を実行するアシスタントが典型的な例です。オンライン強化学習でこれをうまく行うためのモデルのトレーニングは、この分野で最も困難なインフラストラクチャ問題の 1 つであり、Qwen の広く使用されているオープンウェイト エージェント モデルを支えるチームにとって当然の優先事項です。トレーニング インフラストラクチャに関する 最新 AI ニュース を追跡している読者向けに、QwenGyre では、最大規模のオープンモデル チームの 1 つがエージェント ワークロードを中心に RL パイプラインをどのように再設計したかを紹介します。

Long-Horizon RL の 2 つのボトルネック

この論文では、オンライン強化学習を非常に長いエージェントのタスクに適用する場合の 2 つの基本的な問題を特定しています。

1 つ目は GPU のアイドリングです。ロールアウトの実行時間は大幅に異なるため、あるエージェントの実行は数分で終了する一方、別のエージェントの実行は数時間かかることもあるため、パイプラインのトレーニング側は常に失敗者を待機しています。著者らによると、その結果、高価な GPU フリート全体で膨大なアイドル時間が発生し、これが RL トレーニング実行の中で最大のコストとなります。

2つ目は軌道の冗長性です。長期にわたるエージェントのタスクは、一直線に進むわけではありません。分岐します。エージェントは 1 つのアプローチを試み、後戻りし、別のアプローチを試みます。タスクが長く複雑になるにつれて分岐は増加します。この分岐履歴の多くは冗長であり、そのすべてをトレーニングすると計算が無駄になり、学習が不安定になります。著者らは、この冗長性が大規模なトレーニング効率に大きな影響を与えると説明しています。

QwenGyre がそれらにどう対処するか

QwenGyre は、2 つのコア メカニズムを中心に構築された長期オンライン RL のためのエンドツーエンドのフレームワークです。

1 つ目は、柔軟な GPU 再割り当てです。このフレームワークは、ライブ実行を中断することなく、ロールアウト側 (エージェントが実行されエクスペリエンスを生成する) とトレーニング側 (モデルが更新される) の間で GPU をシフトします。従来のセットアップでは、ロールアウト リソースとトレーニング リソースの分割は固定されているため、一方がアイドル状態になり、もう一方が動作します。境界を柔軟にするということは、ワークロードの変化に応じて、ロールアウトの多いフェーズでトレーニング ハードウェアを借用できること、またはその逆の場合も同様であることを意味します。

2 つ目は、分岐の問題を解決する軌道プロセッサです。共有プレフィックスが無関係なデータとして扱われないように分岐履歴を再構築し、不完全な試行の部分的な進捗状況をスコアリングします (ほとんどの長いロールアウトが失敗に終わる場合に重要です)。また、制限されたトレーニング コストまでの冗長なパスを重複排除します。

ここでの経済学は単純です。大規模モデルの強化学習では、コンピューティングが主な費用であり、ロールアウトとトレーニングの分割により、特定の瞬間に GPU フリートのどれだけが実際に収益を上げているかが決まります。 GPU をアイドル状態にするのではなく、有用な作業を継続するフレームワークにより、同じハードウェアのスループットが効果的に倍増します。長期的なエージェントのトレーニング (論文ではアイドリングが「大規模」であると説明されている) では、静的分割と弾性分割の違いによって、トレーニング プログラムが実用的であるかどうかが決まります。

エージェント エコシステムにとって重要な理由

エージェント製品はデモから導入へと移行しており、その背後にあるトレーニング技術もそれに追いつくために急いでいます。実際のチケットを完成させるコーディング エージェント、または複数ステップのワークフローを管理するアシスタントは、人間が受け入れる結果に達するまでに何百ものインタラクションが必要になる場合があります。そして、それらの結果に対する報酬シグナルはまばらで、定義するのが困難です。オンライン強化学習は、エージェントの動作を鮮明にするための主要なアプローチであり、そのため、RL パイプラインのスループットが、ラボがエージェントをどれだけ早く改善できるかに対する直接の制約となります。

だからこそ、QwenGyre のようなフレームワークが Alibaba を超えて重要なのです。獲得する能力ポイントごとに長期的な RL が劇的に安くなれば、より多くのチームが、導入コストは低いが代理としては弱い短い合成エピソードではなく、実際の作業に似た長くて厄介なタスクについてエージェントをトレーニングする余裕が得られます。スループットの問題を解決するチームは、他のチームよりもはるかに速くエージェント機能を反復できるようになります。

報告された結果

この論文の中で最も顕著な結果は、QwenGyre を Qwen の主力モデルである Qwen 3.8 2.4T に拡張し、700,000 トークンを展開したことによるものです。このフレームワークを使用したトレーニングにより、NL2RepoBench (自然言語リクエストをリポジトリ レベルのコード変更に変換するためのベンチマーク) で 6.0 パーセントの絶対的な利益が得られ、わずか 48 の RL ステップでモデルが 52.5 パーセントから 58.5 パーセントに上昇しました。

効率に関しては、QwenGyre がさまざまなトレーニング ドメインにわたる評価全体で、同じ場所にある RL ベースラインと比べて最大 1.85 倍、非同期セットアップと比べて 1.78 倍の高速化を実現したとチームは報告しています。これらは、スループットの向上が通常 1 桁のパーセンテージで測定される分野ではかなりの数字です。

注意事項と可用性

研究室で発表された他の結果と同様、この数値は Qwen チームによって自己報告されたものであり、まだ独自に再現されていません。外部の研究者にとって実際的な問題の 1 つはアクセスです。一部の報道では QwenGyre がオープンソースであると説明されていますが、この記事の執筆時点では明確なコードの公開リリースが表面化していないため、報告されている高速化を独立して検証することはまだ不可能です。 AI Buzz Wire は、詳細が判明次第更新されます。

そうであっても、この論文はエージェントのトレーニングがどこに向かっているのかを示す有益な情報となります。エージェントがより長く価値の高いタスクを引き受けるようになるにつれて、エージェントをトレーニングするために必要なインフラストラクチャはチャット時代の RL パイプラインから急激に乖離しており、両者の間のギャップは拡大する一方です。

---

AI の先を行く

最新の AI ニュース、分析、画期的な情報をすべて 1 か所で入手できます。

AI ニュースをもっと読む→