Tim Qwen Alibaba narik kawigatosan anyar minggu iki kanggo QwenGyre, kerangka belajar penguatan sing dirancang kanggo nglatih agen AI babagan tugas sing mlaku nganti pirang-pirang jam. Sistem kasebut diterangake ing makalah kanthi irah-irahan "QwenGyre: Kerangka Pembelajaran Penguatan Elastis kanggo Pelatihan Agen xLong-Horizon," sing ditulis dening telulas peneliti Qwen lan dikirim menyang arXiv ing pungkasan September, kanthi jangkoan rinci ing ngisor iki ing pers AI tanggal 12 lan 13 Oktober.

Kerangka kasebut ngarahake kategori beban kerja sing diarani tugas "xLong-horizon", ing ngendi eksekusi siji jam, kalebu atusan interaksi antarane model lan lingkungane, lan nggunakake meh siji yuta token saben rollout. Agen pengkodean sing nggarap kabeh gudang, utawa asisten sing nindakake operasi multi-langkah atas jenenge pangguna, minangka conto khas. Model latihan kanggo nindakake iki kanthi apik karo sinau penguatan online wis dadi salah sawijining masalah infrastruktur sing luwih angel ing lapangan - lan minangka prioritas alami kanggo tim konco model agen bobot mbukak Qwen sing akeh digunakake. Kanggo maca sing nelusuri breaking AI news babagan infrastruktur latihan, QwenGyre ndeleng carane salah sawijining tim model terbuka paling gedhe wis ngrancang pipa RL babagan beban kerja agen.

Loro Bottlenecks ing Long-Horizon RL

Makalah kasebut ngenali rong masalah dhasar kanthi ngetrapake pembelajaran penguatan online kanggo tugas agen sing dawa banget.

Sing pertama yaiku GPU idling. Amarga rollouts beda-beda ing wektu eksekusi - siji agen bisa rampung ing sawetara menit nalika liyane churns kanggo jam - sisih latihan saka pipa terus-terusan nunggu ing stragglers. Asil kasebut, miturut penulis, yaiku wektu nganggur gedhe ing armada GPU sing larang, sing dadi biaya paling gedhe ing latihan RL.

Kapindho yaiku redundansi lintasan. Tugas agen sing dawa ora diterusake kanthi lurus. Padha cabang: agen nyoba siji pendekatan, backtracks, nyoba liyane, lan ngepang multiplies minangka tugas saya suwe lan luwih rumit. Kathah riwayat percabangan iki keluwih-luwih, lan latihan babagan kabeh kasebut mbuwang ngitung lan ngganggu sinau. Penulis njlèntrèhaké redundansi iki minangka efisiensi latihan lumpuh ing skala.

Carane QwenGyre Ngatasi Wong-wong mau

QwenGyre minangka kerangka kerja pungkasan kanggo RL online dawa sing dibangun ing rong mekanisme inti.

Kapisan yaiku relokasi GPU elastis. Framework shifts GPUs antarane sisih rollout (ngendi agen mbukak lan generate pengalaman) lan sisih latihan (ngendi model dianyari) tanpa interrupting eksekusi urip. Ing persiyapan konvensional, pamisah antarane sumber daya lan sumber daya latihan tetep, saengga sisih siji ora aktif nalika liyane bisa digunakake. Nggawe wates elastis tegese fase rollout-heavy bisa nyilih hardware latihan, lan kosok balene, nalika beban kerja ganti.

Kapindho yaiku prosesor lintasan sing ngatasi masalah cabang. Iku reconstructs sajarah cabang supaya ater-ater sing dienggo bareng ora dianggep minangka data sing ora ana hubungane, ngetung kemajuan sebagean ing upaya sing ora lengkap - penting nalika paling rollouts dawa mungkasi gagal - lan deduplicate dalan keluwih kanggo biaya latihan bound.

Ekonomi ing kene langsung. Ing sinau penguatan kanggo model gedhe, komputasi minangka biaya sing dominan, lan pamisah latihan-rollout nemtokake jumlah armada GPU sing bener-bener entuk dhuwit ing sembarang wektu. A framework sing tansah GPUs ing karya migunani tinimbang idling èfèktif multiplies throughput saka hardware padha. Kanggo latihan agen long-horizon - ing ngendi kertas kasebut nggambarake idling minangka "massive" - ​​prabédan antarane pamisah statis lan elastis bisa mutusake apa program latihan praktis.

Napa Penting kanggo Ekosistem Agen

Produk agen wis dipindhah saka demo menyang penyebaran, lan teknik latihan sing ana ing mburi balapan terus. Agen coding sing ngrampungake tiket nyata, utawa asisten sing ngatur alur kerja multi-langkah, mbutuhake atusan interaksi sadurunge entuk asil sing bakal ditampa manungsa - lan sinyal ganjaran kanggo asil kasebut arang banget lan angel ditetepake. Pembelajaran penguatan online tetep dadi pendekatan sing dominan kanggo ngasah prilaku agen, sing ndadekake throughput pipa RL minangka kendala langsung babagan sepira cepet lab bisa nambah agen.

Pramila kerangka kaya QwenGyre penting ngluwihi Alibaba. Yen RL long-horizon dadi luwih murah saben titik kapabilitas sing dipikolehi, luwih akeh tim sing bisa nglatih agen ing tugas sing dawa lan rame sing meh padha karo karya nyata, tinimbang ing episode sintetis sing cendhak sing murah kanggo muter nanging ora kuwat minangka proxy. Tim sing ngatasi masalah throughput bakal bisa ngulang babagan kemampuan agen sing luwih cepet tinimbang wong liya.

Asil Kacarita

Asil paling penting ing kertas kasebut yaiku saka skala QwenGyre dadi model unggulan Qwen, Qwen 3.8 2.4T, kanthi 700.000 token. Latihan karo framework ngasilake 6,0 persen gain absolut ing NL2RepoBench - pathokan kanggo nerjemahake panjalukan basa alam menyang owah-owahan kode repositori-tingkat - ngangkat model saka 52,5 persen kanggo 58,5 persen mung 48 langkah RL.

Ing efisiensi, tim kasebut nglaporake yen QwenGyre ngirimake kacepetan nganti 1.85 kaping liwat garis dasar RL sing digabungake lan 1.78 kaping sajrone persiyapan asinkron, ing evaluasi sing kalebu macem-macem domain latihan. Iki minangka nomer sing cukup gedhe ing lapangan ing ngendi hasil throughput biasane diukur kanthi persentase siji digit.

Caveats lan Kasedhiyan

Kaya asil sing diterbitake ing laboratorium, nomer kasebut dilapurake dhewe dening tim Qwen lan durung direproduksi kanthi mandiri. Siji pitakonan praktis kanggo peneliti njaba yaiku akses: nalika sawetara jangkoan nggambarake QwenGyre minangka sumber terbuka, release kode umum sing jelas durung muncul nalika nulis, mula verifikasi independen saka kacepetan sing dilaporake durung bisa ditindakake. AI Buzz Wire bakal nganyari yen rincian liyane kasedhiya.

Sanajan mangkono, kertas kasebut minangka sinyal sing migunani babagan tujuan latihan agen. Nalika agen njupuk tugas sing luwih dawa lan luwih larang, prasarana sing dibutuhake kanggo nglatih dheweke beda banget saka saluran pipa RL chatting - lan jurang antarane loro mung bakal tuwuh.

---

Tetep Ahead of AI

Entuk warta, analisis, lan terobosan AI paling anyar - kabeh ing sak panggonan.

Waca liyane AI warta →