Gebouwd om gelezen te worden, niet alleen om te rennen
Zoals MarkTechPost rapporteert, meet Molt ongeveer 8,6K regels RL-code, geteld door de importgrafiek te volgen vanaf het RL-ingangspunt van elk raamwerk. Dezelfde methode levert ongeveer 62K lijnen op voor verl, 25K voor slijm en 7,2K voor OpenRLHF. Die doelbewuste compactheid is de centrale toon van het project: agentisch RL-onderzoek is voortdurende aanpassing van algoritmen – nieuwe schatters, nieuwe pijplijnfasen, nieuwe uitrolschema’s – en in reguliere raamwerken loopt elke verandering door lagen van trainer, gedistribueerde backend en uitrollijm. Molt wil die wrijving wegnemen.
Het raamwerk heeft een Apache 2.0-licentie en wordt geleverd met startcodes, Slurm-scripts en een vooraf gebouwde container. NVIDIA is echter duidelijk dat het begeleidende onderzoekspaper Molt positioneert als onderzoeksinfrastructuur en niet als een dienst voor productietraining, en dat hardware de echte poortwachter is. De verzonden recepten gaan uit van 2 knooppunten van 8 H100 GPU's, waarvan er 8 zijn verdeeld voor training en 8 voor implementatie. Dat brengt het binnen het bereik van grens- en aangrenzende laboratoria, goed gefinancierde startups die post-training doen, AI-onderzoeksgroepen van ondernemingen en academische groepen met H100- of H200-toegang tot meerdere knooppunten.
Samengesteld, niet gevorkt
De architectuur van Molt bestaat uit drie bestaande tools zonder deze te splitsen, waardoor verbeteringen stroomopwaarts eerder als een containerpin dan als een pijnlijke rebase aankomen. Het gebruikt Ray voor plaatsing en asynchrone wachtrijen, vLLM voor implementatie en NVIDIA AutoModel met FSDP2 voor training. De runtime bestaat uit een agentpool, een set vLLM-engines achter een aanvraagrouter en één trainbare beleidsactor. Een streamingpool houdt snelle groepen in de lucht, zodat de motoren nooit leeglopen terwijl de acteur traint.
Een functie genaamd gedeeltelijke implementatie is van cruciaal belang voor efficiëntie. Wanneer het beleid wordt bijgewerkt, pauzeert Molt de engine, zendt de bijgewerkte shards van de acteur rechtstreeks via NCCL naar elke engine en hervat de bewaarde verzoeken in plaats van ze te negeren. Dat vermijdt het verspillende patroon van het weggooien van lopende implementaties elke keer dat het model verandert.
Eén module, twee agentformulieren
Een RL-run in Molt noemt een enkele Python-module die een AgentRunner exporteert, en al het andere – inclusief de beloningsfunctie – is gewone code. Het raamwerk ondersteunt twee vormen. Met Env bezit het raamwerk de LLM-lus binnen een Gymnasium-uitgelijnde `step()`, die past bij het bekende leerpatroon voor versterking. Met ChatAgent is de gebruiker eigenaar van de loop via een stock OpenAI of Anthropic SDK, waardoor het eenvoudig wordt om een bestaande agent in te pakken.
Om beide te overbruggen, lanceert Molt een loopback-server die beide wire-protocollen spreekt, en elk verzoek wordt aan de serverzijde gedecodeerd in één token-exacte accumulatie. Wanneer een agent met een lange horizon zijn context comprimeert en het voorvoegsel herschrijft – een veel voorkomende bewerking voor agenten die vele beurten duren – verzegelt de server het huidige segment en opent automatisch een nieuw segment. Dit is het soort sanitairdetail dat bepaalt of een agentische RL-run in de praktijk correct is of er alleen maar correct uitziet.
Drie correctheidsinvarianten
Het ontwerp van Molt is georganiseerd rond drie correctheidsinvarianten die de subtiele tekortkomingen van asynchrone agentische training aanpakken. Tokenidentiteit betekent dat bemonsterde token-ID's het traject definiëren, en niet een opnieuw tokenized transcript. Dit is belangrijk omdat het terugvoegen van tekst in tokens de gegevens stilletjes kan veranderen. Semantiek van de beleidsversie zorgt ervoor dat trainbare tokens hun log-kansen voor gedragsbeleid behouden, waarbij asynchrone gebruik per token wordt gecorrigeerd achter een poort op sequentieniveau. Voorwaartse consistentie vereist dat de uitrolengine en de trainingsacteur het eens zijn over de semantiek van het model.
Die laatste invariant is het belangrijkst voor het beleid van een mix van deskundigen (MoE), dat steeds vaker voorkomt. De uitrol- en trainingsrouters selecteren experts onafhankelijk, en kleine numerieke verschillen kunnen top-k-keuzes omdraaien, waardoor een discrepantie ontstaat tussen wat is bemonsterd en waarop wordt getraind. Molt lost dit op met rollout routing replay: vLLM retourneert de expert-ID's per token, en de training forward pass herhaalt die exacte routeringsbeslissingen in plaats van ze opnieuw af te leiden.
Waar het voor is
De verzonden recepten en gebruiksscenario's wijzen naar waar NVIDIA verwacht dat Molt zal worden toegepast: multi-turn tools voor het gebruik van tools, code-uitvoeringsagenten, vision-taalomgevingen (het raamwerk omvat een verzonden geo3k-recept), LLM-als-rechter-beloningslussen en on-policy-destillatie op een kleiner studentenmodel. Dit zijn precies de werklasten die de stijging van het aantal agentische RL in de sector hebben veroorzaakt, en het is allemaal notoir lastig om het goed te krijgen onder de omstandigheden van gedeeltelijke uitrol, asynchrone bemonstering die echte training met zich meebrengt.
Het bredere signaal is dat NVIDIA niet alleen investeert in de GPU's die agenten trainen, maar ook in de softwarestack die onderzoekers gebruiken om ze te bouwen. Door de codebasis klein en leesbaar te houden – en deze expliciet zo te ontwerpen dat een AI-codeerassistent deze kan aanpassen – weerspiegelt Molt de weddenschap dat de toekomst van agentic RL-tooling mede zal worden ontwikkeld met de modellen die er gebruik van maken.
Blijf AI een stap voor
Voor meer informatie over de raamwerken die de manier waarop grensagenten worden getraind opnieuw vormgeven, volgt u onze hub voor de nieuwste AI-ontwikkelingen.
Lees meer AI-nieuws →
