Pasukan Qwen Alibaba menarik perhatian baru minggu ini untuk QwenGyre, rangka kerja pembelajaran pengukuhan yang direka untuk melatih ejen AI mengenai tugas yang dijalankan selama berjam-jam pada satu masa. Sistem ini telah diterangkan dalam makalah bertajuk "QwenGyre: Rangka Kerja Pembelajaran Pengukuhan Elastik untuk Latihan Agen xLong-Horizon," yang dikarang oleh tiga belas penyelidik Qwen dan disiarkan ke arXiv pada akhir September, dengan liputan terperinci menyusuli seluruh akhbar AI pada 12 dan 13 Oktober.
Rangka kerja ini menyasarkan kategori beban kerja yang dipanggil oleh pasukan sebagai tugasan "xLong-horizon", di mana satu pelaksanaan merangkumi beberapa jam, melibatkan beratus-ratus interaksi antara model dan persekitarannya, dan menggunakan hampir sejuta token setiap pelancaran. Ejen pengekodan yang bekerja melalui keseluruhan repositori, atau pembantu yang menjalankan operasi berbilang langkah bagi pihak pengguna, adalah contoh biasa. Model latihan untuk melakukan ini dengan baik dengan pembelajaran pengukuhan dalam talian telah menjadi salah satu masalah infrastruktur yang lebih sukar dalam bidang ini — dan ia merupakan keutamaan semula jadi bagi pasukan di sebalik model ejen berat terbuka yang digunakan secara meluas oleh Qwen. Untuk pembaca yang menjejaki berita terbaharu AI mengenai infrastruktur latihan, QwenGyre adalah melihat bagaimana salah satu pasukan model terbuka terbesar telah merekayasa semula saluran paip RLnya di sekitar beban kerja agen.
Dua Bottleneck dalam Long-Horizon RL
Makalah ini mengenal pasti dua masalah asas dengan menerapkan pembelajaran pengukuhan dalam talian kepada tugas ejen yang sangat panjang.
Yang pertama ialah GPU melahu. Oleh kerana pelancaran berbeza-beza dalam masa pelaksanaan — satu ejen berjalan mungkin tamat dalam beberapa minit manakala yang lain berpusing selama berjam-jam — bahagian latihan saluran paip sentiasa menunggu orang yang tersesat. Hasilnya, menurut pengarang, ialah masa terbiar besar-besaran merentasi armada GPU yang mahal, yang merupakan kos tunggal terbesar dalam mana-mana latihan RL.
Yang kedua ialah redundansi trajektori. Tugas ejen yang panjang tidak diteruskan dalam garis lurus. Mereka bercabang: ejen mencuba satu pendekatan, berundur, mencuba yang lain, dan percabangan berganda apabila tugas menjadi lebih panjang dan lebih kompleks. Kebanyakan sejarah percabangan ini adalah berlebihan, dan latihan mengenai semua itu membazirkan pengiraan dan mengganggu kestabilan pembelajaran. Penulis menggambarkan lebihan ini sebagai kecekapan latihan yang melumpuhkan pada skala.
Bagaimana QwenGyre Menangani Mereka
QwenGyre ialah rangka kerja hujung ke hujung untuk RL dalam talian jangka panjang yang dibina berdasarkan dua mekanisme teras.
Yang pertama ialah pengagihan semula GPU yang anjal. Rangka kerja mengalihkan GPU antara bahagian pelancaran (tempat ejen menjalankan dan menjana pengalaman) dan bahagian latihan (tempat model dikemas kini) tanpa mengganggu pelaksanaan langsung. Dalam persediaan konvensional, pemisahan antara pelancaran dan sumber latihan ditetapkan, jadi sebelah melahu manakala sebelah lagi berfungsi. Menjadikan sempadan anjal bermakna fasa pelancaran yang berat boleh meminjam perkakasan latihan, dan sebaliknya, apabila beban kerja berubah.
Yang kedua ialah pemproses trajektori yang menjinakkan masalah cawangan. Ia membina semula sejarah percabangan supaya awalan yang dikongsi tidak dianggap sebagai data yang tidak berkaitan, menjaringkan kemajuan separa pada percubaan yang tidak lengkap — penting apabila kebanyakan pelancaran yang lama berakhir dengan kegagalan — dan menyahduplikasi laluan berlebihan kepada kos latihan terikat.
Ekonomi di sini adalah mudah. Dalam pembelajaran pengukuhan untuk model besar, pengiraan ialah perbelanjaan yang dominan, dan pembahagian latihan-pelancaran menentukan berapa banyak kumpulan GPU sebenarnya memperoleh simpanannya pada bila-bila masa tertentu. Rangka kerja yang memastikan GPU berfungsi dengan baik dan bukannya melahu dengan berkesan menggandakan daya pemprosesan perkakasan yang sama. Untuk latihan ejen ufuk panjang — di mana kertas itu menggambarkan melahu sebagai "besar" — perbezaan antara pemisahan statik dan anjal boleh menentukan sama ada program latihan adalah praktikal sama sekali.
Mengapa Ia Penting untuk Ekosistem Ejen
Produk ejen telah beralih daripada tunjuk cara kepada penggunaan, dan teknik latihan di belakangnya berlumba-lumba untuk bersaing. Ejen pengekodan yang melengkapkan tiket sebenar, atau pembantu yang menguruskan aliran kerja berbilang langkah, mungkin memerlukan ratusan interaksi sebelum mencapai hasil yang akan diterima oleh manusia — dan isyarat ganjaran untuk hasil tersebut adalah jarang dan sukar untuk ditentukan. Pembelajaran pengukuhan dalam talian kekal sebagai pendekatan dominan untuk menajamkan tingkah laku ejen, yang menjadikan daya pemprosesan saluran paip RL sebagai kekangan langsung tentang seberapa cepat makmal boleh meningkatkan ejennya.
Itulah sebabnya rangka kerja seperti QwenGyre penting di luar Alibaba. Jika RL ufuk panjang menjadi lebih murah secara mendadak bagi setiap mata keupayaan yang diperoleh, lebih banyak pasukan mampu melatih ejen mengenai tugas yang panjang dan tidak kemas yang menyerupai kerja sebenar, berbanding episod sintetik pendek yang murah untuk dilancarkan tetapi lemah sebagai proksi. Pasukan yang menyelesaikan masalah pemprosesan akan dapat mengulangi keupayaan agen dengan lebih pantas daripada orang lain.
Keputusan yang Dilaporkan
Hasil yang paling menonjol dalam kertas itu adalah daripada penskalaan QwenGyre kepada model perdana Qwen, Qwen 3.8 2.4T, dengan pelancaran 700,000 token. Latihan dengan rangka kerja tersebut menghasilkan keuntungan mutlak 6.0 peratus pada NL2RepoBench — penanda aras untuk menterjemah permintaan bahasa semula jadi ke dalam perubahan kod peringkat repositori — menaikkan model daripada 52.5 peratus kepada 58.5 peratus dalam hanya 48 langkah RL.
Mengenai kecekapan, pasukan melaporkan bahawa QwenGyre menyampaikan percepatan sehingga 1.85 kali ke atas garis dasar RL yang disusun dan 1.78 kali ke atas persediaan tak segerak, merentas penilaian yang merangkumi domain latihan yang pelbagai. Itu adalah angka yang besar dalam medan di mana keuntungan pemprosesan biasanya diukur dalam peratusan satu digit.
Kaveat dan Ketersediaan
Seperti mana-mana keputusan yang diterbitkan oleh makmal, angka-angka itu dilaporkan sendiri oleh pasukan Qwen dan masih belum diterbitkan semula secara bebas. Satu soalan praktikal untuk penyelidik luar ialah akses: sementara beberapa liputan telah menggambarkan QwenGyre sebagai sumber terbuka, keluaran kod awam yang jelas belum muncul pada masa penulisan, jadi pengesahan bebas terhadap percepatan yang dilaporkan masih belum dapat dilakukan. AI Buzz Wire akan dikemas kini apabila butiran lanjut tersedia.
Walaupun begitu, kertas itu adalah isyarat berguna tentang arah tujuan latihan ejen. Memandangkan ejen mengambil tugas yang lebih lama dan lebih berharga, infrastruktur yang diperlukan untuk melatih mereka menyimpang dengan ketara daripada saluran paip RL era sembang — dan jurang antara kedua-duanya hanya akan berkembang.
---
Kekal Mendahului AIDapatkan berita, analisis dan penemuan terkini AI — semuanya di satu tempat.
Baca lebih banyak berita AI →
