تیم Qwen علی بابا این هفته توجه تازه‌ای را به QwenGyre جلب کرده است، یک چارچوب یادگیری تقویتی که برای آموزش عوامل هوش مصنوعی در کارهایی که ساعت‌ها در یک زمان اجرا می‌شوند، طراحی شده است. این سیستم در مقاله‌ای با عنوان «QwenGyre: چارچوب یادگیری تقویت‌کننده الاستیک برای آموزش عوامل xLong-Horizon» که توسط سیزده محقق Qwen نوشته شده و در اواخر سپتامبر در arXiv ارسال شد، با پوشش مفصلی در مطبوعات هوش مصنوعی در 12 و 13 اکتبر توضیح داده شد.

این چارچوب، دسته‌ای از بارهای کاری را هدف قرار می‌دهد که تیم آن را وظایف «xLong-horizon» می‌نامد، که در آن یک اجرا تنها ساعت‌ها طول می‌کشد، صدها تعامل بین مدل و محیط آن را شامل می‌شود و نزدیک به یک میلیون توکن در هر عرضه مصرف می‌کند. عوامل کدگذاری که از طریق یک مخزن کامل کار می کنند، یا دستیارانی که عملیات چند مرحله ای را از طرف یک کاربر انجام می دهند، نمونه های معمولی هستند. آموزش مدل‌ها برای انجام این کار با یادگیری تقویتی آنلاین یکی از مشکلات زیرساختی سخت‌تر در این زمینه بوده است - و این یک اولویت طبیعی برای تیم پشت مدل‌های عامل وزن باز Qwen است. برای خوانندگانی که اخبار جدید هوش مصنوعی را در زیرساخت های آموزشی ردیابی می کنند، QwenGyre نگاهی دارد به این که چگونه یکی از بزرگترین تیم های مدل باز، خط لوله RL خود را حول بارهای کاری عاملی مهندسی مجدد کرده است.

دو گلوگاه در Long-Horizon RL

این مقاله دو مشکل اساسی را در استفاده از یادگیری تقویتی آنلاین برای وظایف بسیار طولانی عامل شناسایی می کند.

اولین مورد بیکار بودن GPU است. از آنجایی که زمان اجرا بسیار متفاوت است - اجرای یک عامل ممکن است در چند دقیقه به پایان برسد در حالی که دیگری برای ساعت ها سرگردان می شود - بخش آموزشی خط لوله به طور مداوم در انتظار افراد ناتوان است. نتیجه، به گفته نویسندگان، زمان بیکاری گسترده در ناوگان GPU گران قیمت است که بزرگترین هزینه در هر دوره آموزشی RL است.

دومی افزونگی مسیر است. وظایف طولانی مدت نماینده در یک خط مستقیم پیش نمی رود. آنها منشعب می شوند: یک نماینده یک رویکرد را امتحان می کند، پس می رود، دیگری را امتحان می کند، و با طولانی شدن و پیچیده شدن وظایف، انشعاب چند برابر می شود. بسیاری از این تاریخچه انشعاب زائد است و آموزش در مورد همه آن باعث هدر رفتن محاسبات و بی ثباتی یادگیری می شود. نویسندگان این افزونگی را به عنوان کارایی آموزشی فلج کننده در مقیاس توصیف می کنند.

چگونه QwenGyre آنها را مورد خطاب قرار می دهد

QwenGyre یک چارچوب سرتاسری برای RL آنلاین افق بلند است که حول دو مکانیسم اصلی ساخته شده است.

اولین مورد، تخصیص مجدد GPU الاستیک است. این فریم ورک، GPUها را بین سمت عرضه (جایی که عوامل اجرا می‌کنند و تجربه تولید می‌کنند) و سمت آموزشی (جایی که مدل به‌روزرسانی می‌شود) را بدون وقفه در اجرای زنده تغییر می‌دهد. در راه‌اندازی‌های معمولی، شکاف بین منابع عرضه و آموزش ثابت می‌شود، بنابراین یک طرف بیکار می‌شود در حالی که طرف دیگر کار می‌کند. الاستیک ساختن مرز به این معنی است که یک فاز سنگین می‌تواند سخت‌افزار آموزشی را قرض بگیرد، و بالعکس، با تغییر حجم کار.

دومی یک پردازنده مسیر است که مشکل انشعاب را رام می کند. تاریخچه‌های انشعاب را بازسازی می‌کند تا پیشوندهای مشترک به عنوان داده‌های نامرتبط تلقی نشوند، پیشرفت جزئی را در تلاش‌های ناقص کسب می‌کند - مهم زمانی که بیشتر عرضه‌های طولانی با شکست تمام می‌شوند - و مسیرهای اضافی برای هزینه‌های آموزشی محدود را حذف می‌کند.

اقتصاد در اینجا ساده است. در یادگیری تقویتی برای مدل‌های بزرگ، محاسبات هزینه غالب است، و تقسیم‌بندی آموزش راه‌اندازی تعیین می‌کند که در هر لحظه چه مقدار از ناوگان GPU واقعاً به دست می‌آورد. چارچوبی که پردازنده‌های گرافیکی را به جای بی‌حرکتی، در کار مفید نگه می‌دارد، به طور مؤثری توان عملیاتی همان سخت‌افزار را چند برابر می‌کند. برای آموزش عامل افق بلند - جایی که مقاله بیکاری را "عظیم" توصیف می کند - تفاوت بین یک تقسیم استاتیک و الاستیک می تواند تصمیم بگیرد که آیا یک برنامه آموزشی اصلاً عملی است یا خیر.

چرا برای اکوسیستم عامل مهم است

محصولات Agent از دمو به استقرار منتقل شده‌اند و تکنیک‌های آموزشی پشت آن‌ها برای ادامه‌دادن به مسابقه رقابت می‌کنند. یک عامل کدنویسی که یک بلیط واقعی را تکمیل می کند، یا یک دستیار که یک گردش کار چند مرحله ای را مدیریت می کند، ممکن است قبل از رسیدن به نتیجه ای که یک انسان می پذیرد به صدها تعامل نیاز داشته باشد - و سیگنال های پاداش برای آن نتایج پراکنده و به سختی قابل تعریف هستند. یادگیری تقویتی آنلاین رویکرد غالب برای تشدید رفتار عامل باقی می‌ماند، که باعث می‌شود توان عملیاتی خط لوله RL یک محدودیت مستقیم برای سرعت یک آزمایشگاه برای بهبود عوامل خود باشد.

به همین دلیل است که چارچوب هایی مانند QwenGyre فراتر از Alibaba اهمیت دارند. اگر RL افق طولانی به ازای هر امتیاز توانایی به‌طور چشمگیری ارزان‌تر شود، تیم‌های بیشتری می‌توانند به‌جای اپیزودهای مصنوعی کوتاه که عرضه آن ارزان است، اما به عنوان یک پروکسی ضعیف هستند، مأموران را در کارهای طولانی و کثیف که شبیه کار واقعی هستند، آموزش دهند. تیم‌هایی که مشکل توان عملیاتی را حل می‌کنند، می‌توانند بسیار سریع‌تر از سایرین روی قابلیت عاملی تکرار کنند.

نتایج گزارش شده

برجسته ترین نتیجه در این مقاله از مقیاس بندی QwenGyre به مدل پرچمدار Qwen، Qwen 3.8 2.4T، با عرضه 700000 توکن است. آموزش با این فریم ورک باعث افزایش 6.0 درصدی در NL2RepoBench شد - معیاری برای ترجمه درخواست‌های زبان طبیعی به تغییرات کد در سطح مخزن - که مدل را از 52.5 درصد به 58.5 درصد تنها در 48 مرحله RL ارتقا داد.

در مورد کارایی، تیم گزارش می‌دهد که QwenGyre سرعت‌هایی را تا 1.85 برابر در یک خط پایه RL و 1.78 برابر در یک راه‌اندازی ناهمزمان، در ارزیابی‌های حوزه‌های آموزشی متنوع ارائه می‌دهد. اینها اعداد قابل توجهی در زمینه ای هستند که افزایش توان عملیاتی معمولاً با درصدهای تک رقمی اندازه گیری می شود.

هشدارها و در دسترس بودن

مانند هر نتیجه منتشر شده در آزمایشگاه، اعداد توسط تیم Qwen توسط خود گزارش شده و هنوز به طور مستقل بازتولید نشده اند. یک سوال عملی برای محققان خارجی دسترسی است: در حالی که برخی پوشش‌ها QwenGyre را به عنوان منبع باز توصیف کرده‌اند، انتشار کد عمومی واضحی در زمان نگارش ظاهر نشده بود، بنابراین تأیید مستقل سرعت‌های گزارش‌شده هنوز امکان‌پذیر نیست. با در دسترس قرار گرفتن جزئیات بیشتر، AI Buzz Wire به روز می شود.

با این حال، این مقاله سیگنال مفیدی است که آموزش نماینده به کجا می رود. از آنجایی که ماموران وظایف طولانی‌تر و ارزشمندتری را بر عهده می‌گیرند، زیرساخت‌های مورد نیاز برای آموزش آنها به شدت از خط لوله RL در دوران چت فاصله می‌گیرد - و شکاف بین این دو تنها افزایش خواهد یافت.

---

از هوش مصنوعی جلوتر بمانید

آخرین اخبار، تحلیل ها و پیشرفت های هوش مصنوعی را دریافت کنید - همه در یک مکان.

بیشتر بخوانید اخبار هوش مصنوعی →