Цього тижня команда Alibaba Qwen привертає увагу до QwenGyre, підкріпленої навчальної системи, призначеної для навчання агентів ШІ завданням, які виконуються годинами. Система була описана в документі під назвою «QwenGyre: Elastic Reinforcement Learning Framework for Training xLong-Horizon Agents», написаному тринадцятьма дослідниками Qwen і опублікованому в arXiv наприкінці вересня, з детальним висвітленням у пресі ШІ 12 і 13 жовтня.
Фреймворк націлений на категорію робочих навантажень, яку команда називає завданнями «xLong-horizon», де одне виконання триває години, передбачає сотні взаємодій між моделлю та її середовищем і споживає близько мільйона токенів на розгортання. Типовими прикладами є агенти кодування, які працюють через ціле сховище, або помічники, які виконують багатоетапні операції від імені користувача. Навчання моделей для цього добре за допомогою онлайн-навчання з підкріпленням було однією з найскладніших інфраструктурних проблем у цій галузі — і це є природним пріоритетом для команди, що стоїть за широко використовуваними моделями відкритих агентів Qwen. Для читачів, які відстежують найважливіші новини штучного інтелекту про навчальну інфраструктуру, QwenGyre — це погляд на те, як одна з найбільших команд відкритої моделі реорганізувала свій конвеєр RL для агентських робочих навантажень.
Два вузькі місця в Long-Horizon RL
У статті визначено дві фундаментальні проблеми із застосуванням онлайн-навчання з підкріпленням до надзвичайно тривалих завдань агента.
По-перше, GPU простоює. Оскільки розгортання надзвичайно різняться за часом виконання — один запуск агента може завершитися за хвилини, а інший — годинами — навчальна сторона конвеєра постійно чекає на відстаючих. Результатом, за словами авторів, є величезний час простою дорогих графічних процесорів, які є найбільшими витратами в будь-якому навчальному циклі RL.
Другий – надмірність траєкторії. Тривалі завдання агента не виконуються прямолінійно. Вони розгалужуються: агент пробує один підхід, повертається назад, пробує інший, і розгалуження збільшується, коли завдання стають довшими та складнішими. Значна частина цієї розгалуженої історії є зайвою, і навчання всьому цьому витрачає обчислення та дестабілізує навчання. Автори описують цю надмірність як низьку ефективність навчання в масштабі.
Як QwenGyre звертається до них
QwenGyre — це наскрізний фреймворк для довгострокового онлайнового RL, побудований навколо двох основних механізмів.
По-перше, це еластичне перерозподіл GPU. Фреймворк перемикає графічні процесори між стороною розгортання (де агенти запускаються та створюють досвід) і стороною навчання (де оновлюється модель), не перериваючи живе виконання. У звичайних налаштуваннях розподіл між розгортанням і навчальними ресурсами є фіксованим, тому одна сторона простоює, а інша працює. Зробити межу еластичною означає, що фаза розгортання може запозичити навчальне обладнання, і навпаки, коли робоче навантаження змінюється.
Другий — траєкторний процесор, який усуває проблему розгалуження. Він реконструює історії розгалужень, щоб спільні префікси не розглядалися як непов’язані дані, оцінює частковий прогрес за незавершеними спробами — це важливо, коли більшість тривалих розгортань закінчується невдачею — і дедуплікує надлишкові шляхи до зв’язаних витрат на навчання.
Економіка тут проста. У підсилювальному навчанні для великих моделей обчислення є домінуючими витратами, а розподіл розгортання та навчання визначає, скільки графічних процесорів фактично заробляє на утримання в будь-який момент. Структура, яка підтримує корисну роботу графічних процесорів, а не простоює, ефективно збільшує пропускну здатність того самого апаратного забезпечення. Для довгострокового навчання агентів — де в документі холостий хід описується як «масовий» — різниця між статичним і еластичним розподілом може визначити, чи практична програма навчання взагалі.
Чому це важливо для екосистеми агентів
Агентські продукти перейшли від демонстрацій до розгортання, а навчальні методи, що стоять за ними, стрімко йдуть у ногу з цим. Агенту кодування, який заповнює справжній квиток, або помічнику, який керує багатоетапним робочим процесом, можуть знадобитися сотні взаємодій, перш ніж він досягне результату, прийнятного людиною, а сигнали винагороди для цих результатів рідкісні та важко визначити. Онлайн-навчання з підкріпленням залишається домінуючим підходом до вдосконалення поведінки агентів, що робить пропускну здатність конвеєра RL прямим обмеженням того, як швидко лабораторія може вдосконалювати своїх агентів.
Ось чому такі фреймворки, як QwenGyre, важливі за межі Alibaba. Якщо довгостроковий RL стане значно дешевшим за набраний бал можливостей, більше команд зможуть дозволити собі навчати агентів довгим безладним завданням, які нагадують справжню роботу, а не коротким синтетичним епізодам, які дешево розгортати, але слабкі як проксі. Команди, які вирішать проблему пропускної спроможності, зможуть ітерувати агентські можливості набагато швидше, ніж усі інші.
Повідомлені результати
Найвидатнішим результатом у статті є масштабування QwenGyre до флагманської моделі Qwen, Qwen 3.8 2.4T, з розгортанням 700 000 токенів. Навчання за допомогою фреймворку дало 6,0-відсотковий абсолютний приріст на NL2RepoBench — тесті для перекладу запитів природної мови в зміни коду на рівні репозиторію — піднявши модель з 52,5 відсотка до 58,5 відсотка лише за 48 кроків RL.
Що стосується ефективності, команда повідомляє, що QwenGyre забезпечує прискорення до 1,85 разів порівняно з базовою лінією RL і в 1,78 рази порівняно з асинхронним налаштуванням у різних областях навчання. Це значні цифри в галузі, де збільшення пропускної здатності зазвичай вимірюється однозначними відсотками.
Застереження та доступність
Як і у випадку з будь-яким результатом, опублікованим у лабораторії, командою Qwen повідомляється про цифри, які ще не були відтворені незалежно. Одним із практичних питань для зовнішніх дослідників є доступ: хоча деякі публікації описують QwenGyre як відкритий вихідний код, чіткого публічного випуску коду не з’явилося на момент написання статті, тому незалежна перевірка повідомлених прискорень поки що неможлива. AI Buzz Wire оновлюватиметься, коли стане доступною додаткова інформація.
Незважаючи на це, документ є корисним сигналом того, куди йде навчання агентів. У міру того, як агенти беруться за виконання більш тривалих і цінних завдань, інфраструктура, необхідна для їхнього навчання, різко відрізняється від конвеєра RL епохи чату — і розрив між ними лише зростатиме.
---
Будьте попереду ШІОтримуйте останні новини штучного інтелекту, аналіз і прориви — усе в одному місці.
Читати більше новин AI →
