Das Qwen-Team von Alibaba macht diese Woche erneut auf QwenGyre aufmerksam, ein Rahmenwerk für verstärkendes Lernen, das darauf ausgelegt ist, KI-Agenten für Aufgaben zu schulen, die stundenlang ausgeführt werden. Das System wurde in einem Artikel mit dem Titel „QwenGyre: An Elastic Reinforcement Learning Framework for Training xLong-Horizon Agents“ beschrieben, der von dreizehn Qwen-Forschern verfasst und Ende September auf arXiv veröffentlicht wurde. Eine ausführliche Berichterstattung folgte am 12. und 13. Oktober in der KI-Presse.
Das Framework zielt auf eine Kategorie von Arbeitslasten ab, die das Team „xLong-Horizon“-Aufgaben nennt, bei denen eine einzelne Ausführung Stunden dauert, Hunderte von Interaktionen zwischen dem Modell und seiner Umgebung umfasst und fast eine Million Token pro Rollout verbraucht. Typische Beispiele sind Programmieragenten, die ein gesamtes Repository durcharbeiten, oder Assistenten, die im Namen eines Benutzers mehrstufige Vorgänge ausführen. Das Training von Modellen, um dies mit Online-Reinforcement-Learning gut zu bewerkstelligen, war eines der schwierigeren Infrastrukturprobleme in diesem Bereich – und es ist eine natürliche Priorität für das Team hinter den weit verbreiteten Open-Weight-Agent-Modellen von Qwen. Für Leser, die aktuelle KI-Neuigkeiten zur Trainingsinfrastruktur verfolgen, ist QwenGyre ein Blick darauf, wie eines der größten Open-Model-Teams seine RL-Pipeline rund um Agenten-Workloads umgestaltet hat.
Zwei Engpässe in Long-Horizon RL
Der Artikel identifiziert zwei grundlegende Probleme bei der Anwendung des Online-Lernens zur Verstärkung auf extrem lange Agentenaufgaben.
Der erste ist der GPU-Leerlauf. Da die Ausführungszeit bei Rollouts stark schwankt – die Ausführung eines Agenten kann in wenigen Minuten abgeschlossen sein, während ein anderer stundenlang dauert – wartet die Trainingsseite der Pipeline ständig auf Nachzügler. Das Ergebnis ist laut den Autoren eine enorme Leerlaufzeit bei teuren GPU-Flotten, die den größten Einzelkostenfaktor bei jedem RL-Trainingslauf darstellt.
Die zweite Möglichkeit ist die Flugbahnredundanz. Lange Agentenaufgaben verlaufen nicht geradlinig. Sie verzweigen sich: Ein Agent versucht einen Ansatz, macht einen Rückzieher, versucht einen anderen, und die Verzweigung vervielfacht sich, wenn Aufgaben länger und komplexer werden. Ein großer Teil dieser Verzweigungshistorie ist überflüssig, und die Schulung aller davon verschwendet Rechenleistung und destabilisiert das Lernen. Die Autoren beschreiben diese Redundanz als eine lähmende Trainingseffizienz im großen Maßstab.
Wie QwenGyre sie anspricht
QwenGyre ist ein End-to-End-Framework für langfristiges Online-RL, das auf zwei Kernmechanismen basiert.
Die erste ist die elastische GPU-Neuzuweisung. Das Framework verschiebt GPUs zwischen der Rollout-Seite (wo Agenten ausgeführt werden und Erfahrungen generieren) und der Trainingsseite (wo das Modell aktualisiert wird), ohne Live-Ausführungen zu unterbrechen. Bei herkömmlichen Setups ist die Aufteilung zwischen Rollout- und Schulungsressourcen festgelegt, sodass eine Seite im Leerlauf ist, während die andere arbeitet. Durch die elastische Gestaltung der Grenze kann in einer Rollout-intensiven Phase Schulungshardware ausgeliehen werden und umgekehrt, wenn sich die Arbeitsbelastung ändert.
Der zweite ist ein Trajektorienprozessor, der das Verzweigungsproblem in den Griff bekommt. Es rekonstruiert Verzweigungsverläufe, sodass gemeinsame Präfixe nicht als unabhängige Daten behandelt werden, bewertet den Teilfortschritt bei unvollständigen Versuchen – wichtig, wenn die meisten langen Rollouts fehlschlagen – und dedupliziert redundante Pfade, um Schulungskosten zu begrenzen.
Die wirtschaftlichen Aspekte sind hier einfach. Beim Reinforcement Learning für große Modelle ist der Rechenaufwand der dominierende Aufwand, und die Aufteilung zwischen Rollout und Training bestimmt, wie viel von einer GPU-Flotte zu einem bestimmten Zeitpunkt tatsächlich seinen Lebensunterhalt verdient. Ein Framework, das GPUs bei nützlicher Arbeit hält, anstatt im Leerlauf zu bleiben, vervielfacht effektiv den Durchsatz derselben Hardware. Bei der Agentenschulung über einen längeren Zeitraum – in der das Papier den Leerlauf als „massiv“ beschreibt – kann der Unterschied zwischen einer statischen und einer elastischen Aufteilung darüber entscheiden, ob ein Trainingsprogramm überhaupt praktikabel ist.
Warum es für das Agenten-Ökosystem wichtig ist
Agentenprodukte sind von Demos zu Bereitstellungen übergegangen, und die Schulungstechniken dahinter müssen mithalten. Ein Programmieragent, der ein echtes Ticket ausfüllt, oder ein Assistent, der einen mehrstufigen Arbeitsablauf verwaltet, benötigt möglicherweise Hunderte von Interaktionen, bevor er ein Ergebnis erreicht, das ein Mensch akzeptieren würde – und Belohnungssignale für diese Ergebnisse sind spärlich und schwer zu definieren. Online-Lernen zur Verstärkung bleibt der vorherrschende Ansatz zur Schärfung des Agentenverhaltens, wodurch der Durchsatz der RL-Pipeline eine direkte Einschränkung dafür darstellt, wie schnell ein Labor seine Agenten verbessern kann.
Deshalb sind Frameworks wie QwenGyre über Alibaba hinaus wichtig. Wenn RL mit langem Horizont pro gewonnenem Fähigkeitspunkt deutlich günstiger wird, können es sich mehr Teams leisten, Agenten für die langen, chaotischen Aufgaben zu schulen, die echter Arbeit ähneln, anstatt für kurze synthetische Episoden, deren Einführung zwar günstig ist, aber als Stellvertreter schwach ist. Die Teams, die das Durchsatzproblem lösen, werden in der Lage sein, die Agentenfähigkeit viel schneller zu verbessern als alle anderen.
Die gemeldeten Ergebnisse
Das herausragendste Ergebnis in der Studie ist die Skalierung von QwenGyre auf das Flaggschiffmodell von Qwen, Qwen 3.8 2.4T, mit der Einführung von 700.000 Token. Das Training mit dem Framework führte zu einem absoluten Gewinn von 6,0 Prozent bei NL2RepoBench – einem Benchmark für die Übersetzung von Anfragen in natürlicher Sprache in Codeänderungen auf Repository-Ebene – und steigerte das Modell in nur 48 RL-Schritten von 52,5 Prozent auf 58,5 Prozent.
Was die Effizienz betrifft, berichtet das Team, dass QwenGyre bei Auswertungen über verschiedene Trainingsbereiche hinweg bis zu 1,85-fache Geschwindigkeitssteigerungen gegenüber einer kolokalisierten RL-Basislinie und 1,78-fachen gegenüber einem asynchronen Setup liefert. Das sind beträchtliche Zahlen in einem Bereich, in dem Durchsatzsteigerungen normalerweise im einstelligen Prozentbereich gemessen werden.
Vorbehalte und Verfügbarkeit
Wie bei allen im Labor veröffentlichten Ergebnissen handelt es sich bei den Zahlen um Eigenangaben des Qwen-Teams, die noch nicht unabhängig reproduziert wurden. Eine praktische Frage für externe Forscher ist der Zugang: Während in einigen Berichten QwenGyre als Open Source beschrieben wurde, war zum Zeitpunkt des Schreibens noch keine eindeutige öffentliche Code-Veröffentlichung aufgetaucht, sodass eine unabhängige Überprüfung der gemeldeten Beschleunigungen noch nicht möglich ist. AI Buzz Wire wird aktualisiert, sobald weitere Details verfügbar sind.
Dennoch ist das Papier ein nützliches Signal dafür, wohin die Entwicklung der Agentenausbildung geht. Da Agenten längere und wertvollere Aufgaben übernehmen, weicht die Infrastruktur, die für ihre Schulung erforderlich ist, stark von der RL-Pipeline der Chat-Ära ab – und die Kluft zwischen beiden wird nur noch größer.
---
Der KI einen Schritt voraus seinErhalten Sie die neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.
Weitere KI-Neuigkeiten lesen →
