Entwickelt zum Lesen, nicht nur zum Ausführen
Wie MarkTechPost berichtet, misst Molt ungefähr 8,6K Zeilen RL-Code, gezählt durch die Verfolgung des Importdiagramms vom RL-Einstiegspunkt jedes Frameworks. Die gleiche Methode ergibt etwa 62.000 Zeilen für Verl, 25.000 für Slime und 7,2.000 für OpenRLHF. Diese bewusste Kompaktheit ist der zentrale Punkt des Projekts: Agentische RL-Forschung ist eine ständige Algorithmusmodifikation – neue Schätzer, neue Pipeline-Stufen, neue Rollout-Schemata – und in Mainstream-Frameworks durchläuft jede Änderung Schichten von Trainer, verteiltem Backend und Rollout-Kleber. Molt möchte diese Reibung beseitigen.
Das Framework ist Apache 2.0-lizenziert und wird mit Startcodes, Slurm-Skripten und einem vorgefertigten Container geliefert. NVIDIA stellt jedoch klar, dass das begleitende Forschungspapier Molt als Forschungsinfrastruktur und nicht als Produktionsschulungsdienst positioniert und dass die Hardware der eigentliche Gatekeeper ist. Die ausgelieferten Rezepte gehen von 2 Knoten mit 8 H100-GPUs aus, davon 8 für das Training und 8 für den Rollout. Damit ist es für Grenzlabore und angrenzende Labore, gut finanzierte Start-ups, die eine Ausbildung absolvieren, KI-Forschungsgruppen in Unternehmen und akademische Gruppen mit H100- oder H200-Zugriff auf mehrere Knoten erreichbar.
Komponiert, nicht gespalten
Die Architektur von Molt setzt sich aus drei bestehenden Tools zusammen, ohne eines davon zu forken, sodass Upstream-Verbesserungen als Container-Pin und nicht als mühsames Rebase ankommen. Es verwendet Ray für die Platzierung und asynchrone Warteschlangen, vLLM für den Rollout und NVIDIA AutoModel mit FSDP2 für das Training. Die Laufzeit besteht aus einem Agentenpool, einer Reihe von vLLM-Engines hinter einem Anforderungsrouter und einem einzelnen trainierbaren Richtlinienakteur. Ein Streaming-Pool sorgt dafür, dass die Gruppen pünktlich im Flug sind, sodass die Triebwerke nie entladen werden, während der Schauspieler trainiert.
Eine Funktion namens partieller Rollout ist für die Effizienz von zentraler Bedeutung. Wenn die Richtlinie aktualisiert wird, pausiert Molt die Engines, sendet die aktualisierten Shards des Akteurs über NCCL direkt an jede Engine und nimmt die zurückgehaltenen Anforderungen wieder auf, anstatt sie zu verwerfen. Dadurch wird das verschwenderische Muster vermieden, laufende Rollouts bei jeder Modelländerung wegzuwerfen.
Ein Modul, zwei Agentenformulare
Ein RL-Lauf in Molt benennt ein einzelnes Python-Modul, das einen AgentRunner exportiert, und alles andere – einschließlich der Belohnungsfunktion – ist gewöhnlicher Code. Das Framework unterstützt zwei Formen. Mit Env besitzt das Framework die LLM-Schleife innerhalb eines Gymnasium-ausgerichteten „step()“, das dem bekannten Reinforcement-Learning-Muster entspricht. Mit ChatAgent besitzt der Benutzer die Schleife über ein Standard-OpenAI- oder Anthropic-SDK, wodurch es einfach ist, einen vorhandenen Agenten zu umschließen.
Um beides zu überbrücken, startet Molt einen Loopback-Server, der beide Kabelprotokolle spricht, und jede Anfrage wird serverseitig in eine tokengenaue Ansammlung dekodiert. Wenn ein Long-Horizon-Agent seinen Kontext komprimiert und das Präfix neu schreibt – ein üblicher Vorgang für Agenten, die über viele Runden laufen – versiegelt der Server das aktuelle Segment und öffnet automatisch ein neues. Dies ist die Art von Installationsdetails, die bestimmen, ob ein Agent-RL-Lauf in der Praxis korrekt ist oder einfach nur korrekt aussieht.
Drei Korrektheitsinvarianten
Molts Design basiert auf drei Korrektheitsinvarianten, die die subtilen Fehler des asynchronen Agententrainings beheben. Token-Identität bedeutet, dass abgetastete Token-IDs die Flugbahn definieren und kein erneut tokenisiertes Transkript – wichtig, da das Zurückfügen von Text in Token die Daten stillschweigend ändern kann. Semantik der Richtlinienversion stellt sicher, dass trainierbare Token ihre Verhaltensrichtlinien-Protokollwahrscheinlichkeiten beibehalten, wobei die asynchrone Verwendung pro Token hinter einem Gatter auf Sequenzebene korrigiert wird. Vorwärtskonsistenz erfordert, dass sich die Rollout-Engine und der Trainingsakteur auf die Modellsemantik einigen.
Diese letzte Invariante ist für Mixture-of-Experts (MoE)-Richtlinien am wichtigsten, die immer häufiger vorkommen. Die Rollout- und Trainingsrouter wählen Experten unabhängig voneinander aus, und kleine numerische Unterschiede können die Top-K-Auswahl umkehren, was zu einer Diskrepanz zwischen dem, was beprobt wurde, und dem, worauf trainiert wird, führt. Molt behebt dieses Problem mit Rollout-Routing-Wiedergabe: vLLM gibt seine pro-Token-Experten-IDs zurück, und der Training-Forward-Pass spielt diese genauen Routing-Entscheidungen ab, anstatt sie erneut abzuleiten.
Wofür es ist
Die ausgelieferten Rezepte und Anwendungsfälle weisen darauf hin, wo NVIDIA die Einführung von Molt erwartet: Multi-Turn-Tool-Use-Agenten, Code-Ausführungsagenten, Vision-Language-Umgebungen (das Framework enthält ein ausgeliefertes Geo3k-Rezept), LLM-als-Richter-Belohnungsschleifen und richtlinienkonforme Destillation auf ein kleineres Studentenmodell. Dies sind genau die Arbeitsbelastungen, die den Anstieg der Agenten-RL in der gesamten Branche vorangetrieben haben, und es ist bekanntermaßen schwierig, die Anforderungen der teilweisen Einführung und der asynchronen Stichprobenerhebung zu erfüllen, die echtes Training mit sich bringt.
Das allgemeinere Signal ist, dass NVIDIA nicht nur in die GPUs investiert, die Agenten schulen, sondern auch in den Software-Stack, mit dem Forscher sie bauen. Indem er die Codebasis klein und lesbar hält – und sie explizit so gestaltet, dass ein KI-Codierungsassistent sie ändern kann – spiegelt Molt die Wette wider, dass die Zukunft der agentischen RL-Tools gemeinsam mit den Modellen entwickelt wird, die sie verwenden.
Bleiben Sie der KI immer einen Schritt voraus
Weitere Informationen zu den Frameworks, die die Ausbildung von Grenzagenten neu gestalten, finden Sie in unserem Hub für die neuesten KI-Entwicklungen.
Weitere KI-Neuigkeiten lesen →
