Alibaba'nın Qwen ekibi, yapay zeka temsilcilerini saatlerce süren görevler konusunda eğitmek için tasarlanmış takviyeli öğrenme çerçevesi olan QwenGyre için bu hafta yeniden dikkat çekiyor. Sistem, on üç Qwen araştırmacısı tarafından yazılan ve Eylül ayı sonlarında arXiv'de yayınlanan "QwenGyre: xLong-Horizon Ajanlarının Eğitimi için Elastik Güçlendirme Öğrenme Çerçevesi" başlıklı bir makalede açıklandı ve 12 ve 13 Ekim tarihlerinde AI basınında ayrıntılı bir şekilde yer aldı.
Çerçeve, ekibin "xLong-horizon" görevleri olarak adlandırdığı, tek bir yürütmenin saatler sürdüğü, model ile çevresi arasında yüzlerce etkileşimi içerdiği ve kullanıma sunma başına bir milyona yakın token tükettiği bir iş yükü kategorisini hedefliyor. Tüm depo boyunca çalışan kodlama aracıları veya kullanıcı adına çok adımlı işlemleri yürüten asistanlar tipik örneklerdir. Çevrimiçi takviyeli öğrenimle bunu iyi bir şekilde gerçekleştirmek için eğitim modelleri, sahadaki en zor altyapı sorunlarından biri olmuştur ve bu, Qwen'in yaygın olarak kullanılan açık ağırlıklı aracı modellerinin arkasındaki ekip için doğal bir önceliktir. QwenGyre, eğitim altyapısıyla ilgili son dakika yapay zeka haberlerini takip eden okuyucular için, en büyük açık model ekiplerden birinin RL hattını aracılı iş yükleri etrafında nasıl yeniden tasarladığına bir bakış sunuyor.
Long-Horizon RL'de İki Darboğaz
Makale, çevrimiçi takviyeli öğrenmenin son derece uzun etmen görevlerine uygulanmasıyla ilgili iki temel sorunu tanımlamaktadır.
Birincisi GPU'nun boşta kalmasıdır. Kullanıma sunma süreleri yürütme süresinde büyük farklılıklar gösterdiğinden (bir aracı çalıştırması dakikalar içinde tamamlanırken bir başkası saatlerce kesintiye uğrayabilir), üretim hattının eğitim tarafı sürekli olarak başıboş kalanları beklemektedir. Yazarlara göre sonuç, herhangi bir RL eğitim çalıştırmasındaki en büyük maliyet olan, pahalı GPU filolarında muazzam boşta kalma süresidir.
İkincisi yörünge fazlalığıdır. Uzun temsilci görevleri düz bir çizgide ilerlemez. Dallanırlar: Bir etmen bir yaklaşımı dener, geriye doğru gider, başka bir yaklaşımı dener ve görevler uzadıkça ve karmaşıklaştıkça dallanma çoğalır. Bu dallara ayrılan geçmişin çoğu gereksizdir ve bunların tümüne yönelik eğitim, bilgi işlem israfına neden olur ve öğrenmeyi istikrarsızlaştırır. Yazarlar bu fazlalığı geniş ölçekte eğitim verimliliğini olumsuz etkileyen bir durum olarak tanımlıyor.
QwenGyre Onlara Nasıl Hitap Ediyor?
QwenGyre, iki temel mekanizma etrafında oluşturulmuş, uzun vadeli çevrimiçi RL için uçtan uca bir çerçevedir.
Birincisi esnek GPU yeniden tahsisidir. Çerçeve, canlı yürütmeleri kesintiye uğratmadan GPU'ları kullanıma sunma tarafı (aracıların çalıştığı ve deneyim oluşturduğu yer) ile eğitim tarafı (modelin güncellendiği yer) arasında kaydırır. Geleneksel kurulumlarda, kullanıma sunma ve eğitim kaynakları arasındaki ayrım sabittir; böylece bir taraf çalışırken diğer taraf boşta kalır. Sınırın esnek hale getirilmesi, kullanıma sunma ağırlıklı bir aşamanın eğitim donanımını ödünç alabileceği anlamına gelir; iş yükü değiştikçe bunun tersi de geçerlidir.
İkincisi, dallanma problemini ortadan kaldıran bir yörünge işlemcisidir. Paylaşılan öneklerin ilgisiz veriler olarak değerlendirilmemesi için dallanma geçmişlerini yeniden yapılandırır, tamamlanmamış denemelerde kısmi ilerlemeyi puanlar (uzun kullanıma sunmaların çoğu başarısızlıkla sonuçlandığında önemlidir) ve sınırlı eğitim maliyetlerine giden gereksiz yolları tekilleştirir.
Buradaki ekonomi basittir. Büyük modellere yönelik takviyeli öğrenmede bilgi işlem en büyük giderdir ve kullanıma sunma-eğitim ayrımı, herhangi bir anda GPU filosunun ne kadarının geçimini sağladığını belirler. GPU'ları boşta beklemek yerine faydalı işlerde çalıştıran bir çerçeve, aynı donanımın verimini etkili bir şekilde artırır. Makalenin rölantiyi "çok büyük" olarak tanımladığı uzun ufuklu ajan eğitimi için, statik ve elastik bölünme arasındaki fark, bir eğitim programının pratik olup olmadığına karar verebilir.
Ajan Ekosistemi İçin Neden Önemlidir?
Ajan ürünleri demolardan dağıtımlara geçti ve bunların arkasındaki eğitim teknikleri de buna ayak uydurmak için yarışıyor. Gerçek bir bildirimi tamamlayan bir kodlama aracısı veya çok adımlı bir iş akışını yöneten bir asistan, bir insanın kabul edeceği bir sonuca ulaşmadan önce yüzlerce etkileşime ihtiyaç duyabilir ve bu sonuçlara ilişkin ödül sinyalleri seyrek ve tanımlanması zordur. Çevrimiçi takviyeli öğrenme, aracı davranışını keskinleştirmek için baskın yaklaşım olmaya devam ediyor; bu da RL hattının verimini, bir laboratuvarın aracılarını ne kadar hızlı geliştirebileceği konusunda doğrudan bir kısıtlama haline getiriyor.
Bu nedenle QwenGyre gibi çerçeveler Alibaba'nın ötesinde önem taşıyor. Uzun ufuklu RL, kazanılan yetenek puanı başına önemli ölçüde daha ucuz hale gelirse, daha fazla ekip, temsilcileri, piyasaya sürülmesi ucuz ancak temsili olarak zayıf olan kısa sentetik bölümler yerine, gerçek işe benzeyen uzun, karmaşık görevler konusunda eğitmeye gücü yetebilir. Üretim sorununu çözen ekipler, ajans yeteneğini herkesten çok daha hızlı bir şekilde yineleyebilecek.
Raporlanan Sonuçlar
Makaledeki en göze çarpan sonuç, QwenGyre'nin 700.000 tokenin piyasaya sürülmesiyle Qwen'in amiral gemisi modeli Qwen 3.8 2.4T'ye ölçeklendirilmesinden geliyor. Çerçeveyle eğitim, doğal dil isteklerini depo düzeyinde kod değişikliklerine dönüştürmek için bir kıyaslama olan NL2RepoBench'te yüzde 6,0 mutlak kazanç sağladı ve modeli yalnızca 48 RL adımında yüzde 52,5'ten yüzde 58,5'e çıkardı.
Ekip, verimlilik konusunda, QwenGyre'nin, farklı eğitim alanlarını kapsayan değerlendirmelerde, ortak konumlandırılmış bir RL temel çizgisi üzerinde 1,85 kata kadar ve eşzamansız bir kurulum üzerinde 1,78 kata kadar hızlanma sağladığını bildiriyor. Bunlar, üretim kazanımlarının genellikle tek haneli yüzdelerle ölçüldüğü bir alanda önemli rakamlardır.
Uyarılar ve Kullanılabilirlik
Laboratuvarda yayınlanan tüm sonuçlarda olduğu gibi, rakamlar Qwen ekibi tarafından bizzat raporlanıyor ve henüz bağımsız olarak çoğaltılmadı. Dışarıdan araştırmacılar için pratik bir soru erişimdir: Bazı yayınlar QwenGyre'yi açık kaynak olarak tanımlasa da, bu yazının yazıldığı sırada açık bir kamu kodu sürümü ortaya çıkmamıştı, bu nedenle rapor edilen hızlanmaların bağımsız olarak doğrulanması henüz mümkün değil. AI Buzz Wire, daha fazla ayrıntı mevcut oldukça güncellenecektir.
Öyle bile olsa bu makale, ajan eğitiminin nereye doğru ilerlediğini gösteren yararlı bir sinyaldir. Temsilciler daha uzun ve daha değerli görevler üstlendikçe, onları eğitmek için gereken altyapı, sohbet çağı RL hattından keskin bir şekilde farklılaşıyor ve ikisi arasındaki boşluk daha da büyüyecek.
---
Yapay Zekanın Önünde OlunEn son AI haberlerini, analizlerini ve buluşlarını tek bir yerden alın.
Daha fazla AI haberini okuyun →
