Costruito per essere letto, non solo eseguito
Come riportato da MarkTechPost, Molt misura circa 8,6K righe di codice RL, contate tracciando il grafico di importazione dal punto di ingresso RL di ciascun framework. Lo stesso metodo conta circa 62.000 linee per verl, 25.000 per slime e 7,2.000 per OpenRLHF. Questa deliberata compattezza è il punto centrale del progetto: la ricerca agentica RL è una costante modifica dell'algoritmo - nuovi stimatori, nuove fasi della pipeline, nuovi schemi di lancio - e nei framework tradizionali ogni cambiamento passa attraverso strati di formatore, backend distribuito e colla di lancio. Molt mira a rimuovere quell'attrito.
Il framework è dotato di licenza Apache 2.0 e viene fornito con codici di lancio, script Slurm e un contenitore predefinito. NVIDIA è chiara, tuttavia, sul fatto che il documento di ricerca allegato posiziona Molt come un'infrastruttura di ricerca piuttosto che come un servizio di formazione sulla produzione, e l'hardware è il vero custode. Le ricette spedite presuppongono 2 nodi di 8 GPU H100, divisi 8 per il training e 8 per il rollout. Ciò lo rende alla portata di laboratori di frontiera e adiacenti, di startup ben finanziate che effettuano post-formazione, gruppi di ricerca sull’intelligenza artificiale aziendale e gruppi accademici con accesso H100 o H200 multinodo.
Composto, non biforcato
L'architettura di Molt compone tre strumenti esistenti senza biforcarne nessuno, quindi i miglioramenti a monte arrivano come un pin del contenitore piuttosto che come un doloroso rebase. Utilizza Ray per il posizionamento e le code asincrone, vLLM per l'implementazione e NVIDIA AutoModel con FSDP2 per l'addestramento. Il runtime è costituito da un pool di agenti, un set di motori vLLM dietro un router di richiesta e un singolo attore della policy addestrabile. Una piscina in streaming mantiene i gruppi pronti in volo in modo che i motori non si scarichino mai mentre l'attore si allena.
Una funzionalità chiamata implementazione parziale è fondamentale per l'efficienza. Quando la policy si aggiorna, Molt mette in pausa i motori, trasmette gli shard aggiornati dell'attore su NCCL direttamente a ciascun motore e riprende le richieste conservate anziché scartarle. Ciò evita lo spreco di buttare via le implementazioni in corso ogni volta che il modello cambia.
Un modulo, due moduli agente
Un'esecuzione RL in Molt nomina un singolo modulo Python che esporta un AgentRunner e tutto il resto, inclusa la funzione di ricompensa, è codice ordinario. Il framework supporta due forme. Con Env, il framework possiede il ciclo LLM all'interno di uno `step()` allineato al Gymnasium, che si adatta al modello familiare di apprendimento per rinforzo. Con ChatAgent, l'utente possiede il ciclo attraverso un OpenAI o un SDK Anthropic standard, rendendo semplice il wrapper di un agente esistente.
Per collegare entrambi, Molt lancia un server di loopback che parla entrambi i protocolli via cavo e ogni richiesta viene decodificata lato server in un accumulo esatto di token. Quando un agente a lungo orizzonte compatta il suo contesto e riscrive il prefisso (un'operazione comune per gli agenti che funzionano per molti turni) il server sigilla il segmento corrente e ne apre automaticamente uno nuovo. Questo è il tipo di dettaglio idraulico che determina se un'esecuzione di RL con agentic è corretta nella pratica o semplicemente sembra corretta.
Tre invarianti di correttezza
Il progetto di Molt è organizzato attorno a tre invarianti di correttezza che affrontano i sottili fallimenti della formazione asincrona degli agenti. Identità del token significa che gli ID dei token campionati definiscono la traiettoria, non una trascrizione retokenizzata: è importante perché ricucire il testo nei token può modificare silenziosamente i dati. La semantica della versione della policy garantisce che i token addestrabili mantengano le probabilità di registro della policy di comportamento, con l'uso asincrono corretto per token dietro un gate a livello di sequenza. La coerenza futura richiede che il motore di implementazione e l'attore di formazione concordino sulla semantica del modello.
Quest’ultima invariante è più importante per le politiche di miscela di esperti (MoE), che sono sempre più comuni. I router di lancio e di addestramento selezionano gli esperti in modo indipendente e piccole differenze numeriche possono ribaltare le scelte top-k, producendo una discrepanza tra ciò che è stato campionato e ciò su cui si sta addestrando. Molt risolve questo problema con la riproduzione del routing di implementazione: vLLM restituisce i suoi ID esperti per token e il passaggio di addestramento riproduce quelle esatte decisioni di routing anziché derivarle nuovamente.
A cosa serve
Le ricette e i casi d'uso forniti indicano dove NVIDIA si aspetta che Molt venga adottato: agenti di utilizzo di strumenti multi-turno, agenti di esecuzione di codice, ambienti con linguaggio di visione (il framework include una ricetta geo3k spedita), cicli di ricompensa LLM come giudice e distillazione di policy su un modello studentesco più piccolo. Questi sono esattamente i carichi di lavoro che hanno guidato l'impennata degli agenti RL in tutto il settore, e ciascuno di essi è notoriamente complicato da gestire nelle condizioni di implementazione parziale e di campionamento asincrono imposte dalla formazione reale.
Il segnale più ampio è che NVIDIA sta investendo non solo nelle GPU che addestrano gli agenti, ma anche nello stack software utilizzato dai ricercatori per costruirli. Mantenendo la base di codice piccola e leggibile – e progettandola esplicitamente in modo che un assistente di codifica AI possa modificarla – Molt riflette la scommessa che il futuro degli strumenti RL agentici sarà co-sviluppato con i modelli che lo utilizzano.
Stai al passo con l'intelligenza artificiale
Per ulteriori informazioni sui framework che stanno rimodellando il modo in cui vengono formati gli agenti di frontiera, segui il nostro hub per i ultimi sviluppi dell'intelligenza artificiale.
Leggi altre notizie sull'AI →
