Tim Qwen Alibaba menarik perhatian baru minggu ini untuk QwenGyre, sebuah kerangka pembelajaran penguatan yang dirancang untuk melatih agen AI dalam tugas-tugas yang dijalankan berjam-jam dalam satu waktu. Sistem ini dijelaskan dalam makalah berjudul "QwenGyre: An Elastic Reinforcement Learning Framework for Training xLong-Horizon Agents," yang ditulis oleh tiga belas peneliti Qwen dan diposting ke arXiv pada akhir September, dengan liputan mendetail di media AI pada 12 dan 13 Oktober.
Kerangka kerja ini menargetkan kategori beban kerja yang oleh tim disebut sebagai tugas "xLong-horizon", yang mana satu eksekusi memerlukan waktu berjam-jam, melibatkan ratusan interaksi antara model dan lingkungannya, dan menggunakan hampir satu juta token per peluncuran. Agen pengkodean yang bekerja melalui seluruh repositori, atau asisten yang melakukan operasi multi-langkah atas nama pengguna, adalah contoh umum. Model pelatihan untuk melakukan hal ini dengan baik melalui pembelajaran penguatan online telah menjadi salah satu masalah infrastruktur tersulit di lapangan — dan ini merupakan prioritas alami bagi tim di balik model agen bobot terbuka Qwen yang banyak digunakan. Untuk pembaca yang melacak berita AI terkini tentang infrastruktur pelatihan, QwenGyre adalah gambaran tentang bagaimana salah satu tim model terbuka terbesar merekayasa ulang pipeline RL-nya seputar beban kerja agen.
Dua Kemacetan di Long-Horizon RL
Makalah ini mengidentifikasi dua masalah mendasar dalam penerapan pembelajaran penguatan online pada tugas agen yang sangat panjang.
Yang pertama adalah pemalasan GPU. Karena peluncuran sangat bervariasi dalam waktu eksekusi — satu proses agen mungkin selesai dalam beberapa menit sementara yang lain melakukan churn selama berjam-jam — sisi pelatihan dari pipeline terus-menerus menunggu agen yang tersesat. Hasilnya, menurut penulis, adalah waktu menganggur yang sangat besar di seluruh armada GPU yang mahal, yang merupakan biaya terbesar dalam setiap pelaksanaan pelatihan RL.
Yang kedua adalah redundansi lintasan. Tugas agen yang panjang tidak berjalan dalam garis lurus. Mereka bercabang: agen mencoba satu pendekatan, mundur, mencoba pendekatan lain, dan percabangan berlipat ganda seiring tugas menjadi lebih panjang dan kompleks. Sebagian besar riwayat percabangan ini mubazir, dan pelatihan mengenai semua itu akan menyia-nyiakan komputasi dan mengganggu kestabilan pembelajaran. Para penulis menggambarkan redundansi ini melumpuhkan efisiensi pelatihan dalam skala besar.
Bagaimana QwenGyre Mengatasinya
QwenGyre adalah kerangka kerja end-to-end untuk RL online jangka panjang yang dibangun berdasarkan dua mekanisme inti.
Yang pertama adalah realokasi GPU elastis. Kerangka kerja ini menggeser GPU antara sisi peluncuran (tempat agen menjalankan dan menghasilkan pengalaman) dan sisi pelatihan (tempat model diperbarui) tanpa mengganggu eksekusi langsung. Dalam pengaturan konvensional, pemisahan antara sumber daya peluncuran dan pelatihan bersifat tetap, sehingga satu sisi menganggur sementara sisi lainnya bekerja. Menjadikan batas tersebut elastis berarti fase peluncuran yang berat dapat meminjam perangkat keras pelatihan, dan sebaliknya, seiring dengan pergeseran beban kerja.
Yang kedua adalah prosesor lintasan yang mengatasi masalah percabangan. Teknologi ini merekonstruksi riwayat percabangan sehingga awalan yang dibagikan tidak diperlakukan sebagai data yang tidak terkait, menilai sebagian kemajuan pada upaya yang belum selesai — penting ketika sebagian besar peluncuran yang lama berakhir dengan kegagalan — dan menghapus duplikat jalur yang berlebihan ke biaya pelatihan yang terikat.
Perekonomian di sini sangat mudah. Dalam pembelajaran penguatan untuk model besar, komputasi merupakan pengeluaran yang dominan, dan pembagian pelatihan-peluncuran menentukan seberapa banyak armada GPU yang benar-benar memperoleh penghasilannya pada saat tertentu. Kerangka kerja yang membuat GPU tetap berfungsi dan tidak menganggur secara efektif melipatgandakan throughput perangkat keras yang sama. Untuk pelatihan agen jangka panjang — di mana makalah ini menggambarkan idling sebagai hal yang "sangat besar" — perbedaan antara pemisahan statis dan elastis dapat menentukan apakah suatu program pelatihan praktis atau tidak.
Mengapa Penting bagi Ekosistem Agen
Produk agen telah berpindah dari demo ke penerapan, dan teknik pelatihan di balik produk tersebut berlomba untuk mengikutinya. Agen pengkodean yang menyelesaikan tiket sebenarnya, atau asisten yang mengelola alur kerja multi-langkah, mungkin memerlukan ratusan interaksi sebelum mencapai hasil yang dapat diterima oleh manusia — dan sinyal penghargaan untuk hasil tersebut jarang dan sulit ditentukan. Pembelajaran penguatan online tetap menjadi pendekatan dominan untuk mempertajam perilaku agen, yang menjadikan throughput saluran RL menjadi kendala langsung dalam seberapa cepat laboratorium dapat meningkatkan agennya.
Itulah sebabnya kerangka kerja seperti QwenGyre lebih penting daripada Alibaba. Jika RL jangka panjang menjadi jauh lebih murah per poin kemampuan yang diperoleh, lebih banyak tim mampu melatih agen untuk tugas-tugas panjang dan berantakan yang menyerupai pekerjaan nyata, dibandingkan episode sintetik pendek yang murah untuk diluncurkan tetapi lemah sebagai proksi. Tim yang memecahkan masalah throughput akan mampu melakukan iterasi pada kemampuan agen jauh lebih cepat dibandingkan tim lainnya.
Hasil yang Dilaporkan
Hasil yang paling menonjol dalam makalah ini berasal dari penskalaan QwenGyre ke model andalan Qwen, Qwen 3.8 2.4T, dengan peluncuran 700,000 token. Pelatihan dengan kerangka kerja ini menghasilkan keuntungan absolut sebesar 6,0 persen pada NL2RepoBench — sebuah tolok ukur untuk menerjemahkan permintaan bahasa alami ke dalam perubahan kode tingkat repositori — meningkatkan model dari 52,5 persen menjadi 58,5 persen hanya dalam 48 langkah RL.
Dalam hal efisiensi, tim melaporkan bahwa QwenGyre memberikan peningkatan kecepatan hingga 1,85 kali pada baseline RL yang ditempatkan bersama dan 1,78 kali pada pengaturan asinkron, di seluruh evaluasi yang mencakup beragam domain pelatihan. Ini adalah angka-angka penting dalam bidang di mana peningkatan throughput biasanya diukur dalam persentase satu digit.
Peringatan dan Ketersediaan
Seperti halnya hasil yang dipublikasikan di laboratorium, angka-angka tersebut dilaporkan sendiri oleh tim Qwen dan belum direproduksi secara independen. Satu pertanyaan praktis bagi peneliti luar adalah akses: meskipun beberapa liputan menggambarkan QwenGyre sebagai open source, rilis kode publik yang jelas belum muncul pada saat penulisan artikel ini, sehingga verifikasi independen atas percepatan yang dilaporkan belum dapat dilakukan. AI Buzz Wire akan diperbarui saat rincian lebih lanjut tersedia.
Meski begitu, makalah ini merupakan sinyal yang berguna tentang arah pelatihan agen. Ketika agen mengambil tugas yang lebih lama dan lebih berharga, infrastruktur yang diperlukan untuk melatih mereka sangat berbeda dari jalur RL era obrolan — dan kesenjangan di antara keduanya akan semakin besar.
---
Tetap Terdepan dalam AIDapatkan berita, analisis, dan terobosan AI terkini — semuanya di satu tempat.
Baca berita AI selengkapnya →
