Dibuat untuk Dibaca, Bukan Sekadar Dijalankan
Seperti yang dilaporkan MarkTechPost, Molt mengukur sekitar 8,6 ribu baris kode RL, dihitung dengan menelusuri grafik impor dari titik masuk RL setiap kerangka kerja. Metode yang sama menghitung sekitar 62 ribu baris untuk verl, 25 ribu untuk slime, dan 7,2 ribu untuk OpenRLHF. Kekompakan yang disengaja tersebut adalah inti dari proyek ini: penelitian RL yang agen adalah modifikasi algoritme yang konstan — estimator baru, tahapan pipeline baru, skema peluncuran baru — dan dalam kerangka kerja arus utama, setiap perubahan dilakukan melalui lapisan pelatih, backend terdistribusi, dan lem peluncuran. Molt bertujuan untuk menghilangkan gesekan itu.
Kerangka kerja ini berlisensi Apache 2.0 dan dikirimkan dengan kode peluncuran, skrip Slurm, dan container bawaan. Namun, NVIDIA dengan jelas menyatakan bahwa makalah penelitian yang menyertainya memposisikan Molt sebagai infrastruktur penelitian, bukan sebagai layanan pelatihan produksi, dan perangkat keras adalah penjaga gerbang sebenarnya. Resep yang dikirimkan mengasumsikan 2 node dari 8 GPU H100, dibagi 8 untuk pelatihan dan 8 untuk peluncuran. Hal ini menempatkannya dalam jangkauan laboratorium terdepan dan terdekat, perusahaan rintisan yang didanai dengan baik yang melakukan pasca-pelatihan, kelompok penelitian AI perusahaan, dan kelompok akademis dengan akses multi-node H100 atau H200.
Tersusun, Bukan Bercabang
Arsitektur Molt menyusun tiga alat yang sudah ada tanpa melakukan forking satu pun dari alat tersebut, sehingga peningkatan upstream dilakukan sebagai pin container, bukan sebagai rebase yang sulit. Ia menggunakan Ray untuk penempatan dan antrean asinkron, vLLM untuk peluncuran, dan NVIDIA AutoModel dengan FSDP2 untuk pelatihan. Runtime terdiri dari kumpulan agen, sekumpulan mesin vLLM di belakang router permintaan, dan satu aktor kebijakan yang dapat dilatih. Kolam streaming menjaga kelompok tetap terbang sehingga mesin tidak pernah habis saat aktor berlatih.
Fitur yang disebut peluncuran sebagian sangat penting dalam efisiensi. Saat kebijakan diperbarui, Molt menghentikan sementara mesin, menyiarkan pecahan aktor yang diperbarui melalui NCCL langsung ke setiap mesin, dan melanjutkan permintaan yang ditahan alih-alih membuangnya. Hal ini menghindari pola pemborosan dengan membuang peluncuran yang sedang berlangsung setiap kali model berubah.
Satu Modul, Dua Formulir Agen
RL yang dijalankan di Molt memberi nama satu modul Python yang mengekspor AgentRunner, dan yang lainnya — termasuk fungsi reward — adalah kode biasa. Kerangka kerja ini mendukung dua bentuk. Dengan Env, framework ini memiliki loop LLM di dalam `langkah()` yang selaras dengan Gimnasium, yang sesuai dengan pola pembelajaran penguatan yang sudah dikenal. Dengan ChatAgent, pengguna memiliki loop melalui stok OpenAI atau Anthropic SDK, sehingga memudahkan untuk menggabungkan agen yang ada.
Untuk menjembatani keduanya, Molt meluncurkan server loopback yang menggunakan kedua protokol kabel, dan setiap permintaan didekodekan di sisi server menjadi satu akumulasi token-tepat. Ketika agen jangka panjang memadatkan konteksnya dan menulis ulang awalan — operasi umum untuk agen yang berjalan dalam banyak putaran — server akan menyegel segmen saat ini dan membuka segmen baru secara otomatis. Ini adalah jenis detail pipa yang menentukan apakah pengoperasian RL agen benar dalam praktiknya atau hanya terlihat benar.
Tiga Invarian Kebenaran
Desain Molt disusun berdasarkan tiga invarian kebenaran yang mengatasi kegagalan halus pelatihan agen asinkron. Identitas token berarti id token sampel menentukan lintasan, bukan transkrip yang ditoken ulang — penting karena menggabungkan teks kembali menjadi token dapat mengubah data secara diam-diam. Semantik versi kebijakan memastikan token yang dapat dilatih mempertahankan probabilitas log kebijakan perilakunya, dengan penggunaan asinkron yang dikoreksi per token di belakang gerbang tingkat urutan. Konsistensi ke depan mengharuskan mesin peluncuran dan pelaku pelatihan menyetujui semantik model.
Invarian terakhir ini paling penting bagi kebijakan gabungan para ahli (MoE), yang semakin umum terjadi. Router peluncuran dan pelatihan memilih ahli secara independen, dan perbedaan angka yang kecil dapat mengubah pilihan teratas, sehingga menghasilkan ketidakcocokan antara apa yang dijadikan sampel dan apa yang dilatih. Molt mengatasi hal ini dengan pemutaran ulang perutean peluncuran: vLLM mengembalikan id ahli per tokennya, dan forward pass pelatihan memutar ulang keputusan perutean yang tepat tersebut daripada menurunkannya kembali.
Untuk Apa Ini
Resep yang dikirimkan dan kasus penggunaan menunjukkan apa yang diharapkan NVIDIA dari Molt untuk diadopsi: agen penggunaan alat multi-putaran, agen eksekusi kode, lingkungan bahasa visi (kerangka kerja mencakup resep geo3k yang dikirimkan), loop penghargaan LLM sebagai juri, dan penyulingan sesuai kebijakan ke dalam model siswa yang lebih kecil. Beban kerja inilah yang mendorong lonjakan RL agen di seluruh industri, dan masing-masing beban kerja tersebut terkenal sulit beradaptasi dengan kondisi peluncuran parsial dan pengambilan sampel asinkron yang diterapkan oleh pelatihan nyata.
Sinyal yang lebih luas adalah bahwa NVIDIA berinvestasi tidak hanya pada GPU yang melatih agen tetapi juga pada tumpukan perangkat lunak yang digunakan para peneliti untuk membangunnya. Dengan menjaga basis kode tetap kecil dan mudah dibaca – dan secara eksplisit merancangnya sehingga asisten pengkodean AI dapat memodifikasinya – Molt mencerminkan taruhan bahwa masa depan alat RL agen akan dikembangkan bersama dengan model yang menggunakannya.
Tetap Terdepan dalam AI
Untuk informasi lebih lanjut tentang kerangka kerja yang membentuk kembali cara pelatihan agen perbatasan, ikuti hub kami untuk mengetahui perkembangan AI terbaru.
Baca berita AI selengkapnya →
