На этой неделе команда Qwen из Alibaba привлекает новое внимание к QwenGyre, системе обучения с подкреплением, предназначенной для обучения агентов ИИ выполнению задач, которые выполняются часами. Система была описана в документе под названием «QwenGyre: эластичная система обучения с подкреплением для обучения агентов xLong Horizon», написанном тринадцатью исследователями Qwen и опубликованном на arXiv в конце сентября, а подробное освещение последовало в прессе AI 12 и 13 октября.
Платформа нацелена на категорию рабочих нагрузок, которые команда называет задачами «xLong-horizon», где одно выполнение занимает несколько часов, включает в себя сотни взаимодействий между моделью и ее средой и потребляет около миллиона токенов на одно развертывание. Типичными примерами являются агенты кодирования, работающие через весь репозиторий, или помощники, выполняющие многоэтапные операции от имени пользователя. Модели обучения, позволяющие эффективно справляться с онлайн-обучением с подкреплением, были одной из самых сложных инфраструктурных проблем в этой области — и это естественный приоритет для команды, стоящей за широко используемыми моделями агентов с открытым весом Qwen. Для читателей, отслеживающих последние новости ИИ об инфраструктуре обучения, QwenGyre — это взгляд на то, как одна из крупнейших команд открытой модели модернизировала свой конвейер RL для агентских рабочих нагрузок.
Два узких места в долгосрочном RL
В статье обозначены две фундаментальные проблемы применения онлайн-обучения с подкреплением к чрезвычайно длительным задачам агентов.
Во-первых, это простоя графического процессора. Поскольку развертывания сильно различаются по времени выполнения — один запуск агента может завершиться за считанные минуты, а другой — часами, — обучающая часть конвейера постоянно ожидает отстающих. Результатом, по мнению авторов, является огромное время простоя дорогостоящих парков графических процессоров, что является самой крупной статьей затрат при любом обучении RL.
Во-вторых, это избыточность траектории. Длинные задачи агента не выполняются по прямой линии. Они разветвляются: агент пробует один подход, возвращается назад, пробует другой, и ветвление увеличивается по мере того, как задачи становятся длиннее и сложнее. Большая часть этой истории ветвления избыточна, и обучение всему этому приводит к трате вычислительных ресурсов и дестабилизирует обучение. Авторы описывают эту избыточность как снижение эффективности обучения в больших масштабах.
Как QwenGyre обращается к ним
QwenGyre — это комплексная платформа для долгосрочного онлайн-RL, построенная на двух основных механизмах.
Первый — эластичное перераспределение графического процессора. Платформа перемещает графические процессоры между стороной развертывания (где агенты работают и генерируют опыт) и стороной обучения (где модель обновляется), не прерывая живое выполнение. В традиционных конфигурациях разделение между ресурсами развертывания и обучения фиксировано, поэтому одна сторона простаивает, а другая работает. Если сделать границы эластичными, это означает, что на этапе интенсивного развертывания может потребоваться оборудование для обучения, и наоборот, по мере изменения рабочей нагрузки.
Второй — это процессор траекторий, который решает проблему ветвления. Он реконструирует историю ветвления, чтобы общие префиксы не рассматривались как несвязанные данные, оценивает частичный прогресс при незавершенных попытках (что важно, когда большинство длительных развертываний заканчивается неудачей) и дедуплицирует избыточные пути для ограничения затрат на обучение.
Экономика здесь проста. При обучении с подкреплением для больших моделей вычислительные затраты являются основной статьей затрат, а соотношение развертывания и обучения определяет, какая часть парка графических процессоров фактически зарабатывает на жизнь в любой данный момент. Платформа, которая позволяет графическим процессорам выполнять полезную работу, а не простаивать, эффективно увеличивает пропускную способность того же оборудования. При долгосрочном обучении агентов — где в статье бездействие описывается как «массовое» — разница между статическим и эластичным разделением может решить, будет ли программа обучения вообще практичной.
Почему это важно для экосистемы агентов
Продукты агентов перешли от демонстрационных версий к развертываниям, и методы обучения, лежащие в их основе, не отстают. Агенту кодирования, заполняющему настоящий билет, или помощнику, управляющему многоэтапным рабочим процессом, могут потребоваться сотни взаимодействий, прежде чем он достигнет результата, который будет принят человеком, — а сигналы вознаграждения за эти результаты редки и их трудно определить. Онлайн-обучение с подкреплением остается доминирующим подходом к улучшению поведения агентов, что делает пропускную способность конвейера RL прямым ограничением того, насколько быстро лаборатория может улучшить своих агентов.
Вот почему такие платформы, как QwenGyre, имеют значение за пределами Alibaba. Если долгосрочное RL станет значительно дешевле на единицу полученного очка возможностей, больше команд смогут позволить себе обучать агентов длительным и запутанным задачам, которые напоминают реальную работу, а не коротким синтетическим эпизодам, которые дешевы в развертывании, но слабы в качестве прокси. Команды, решающие проблему пропускной способности, смогут совершенствовать возможности агентов гораздо быстрее, чем все остальные.
Сообщенные результаты
Самый заметный результат в статье получен в результате масштабирования QwenGyre до флагманской модели Qwen, Qwen 3.8 2.4T, с выпуском 700 000 токенов. Обучение с помощью этой платформы дало абсолютный прирост на 6,0% по NL2RepoBench — эталону для перевода запросов на естественном языке в изменения кода на уровне репозитория — подняв модель с 52,5% до 58,5% всего за 48 шагов RL.
Что касается эффективности, команда сообщает, что QwenGyre обеспечивает ускорение до 1,85 раз по сравнению с базовым уровнем совместного RL и в 1,78 раза по сравнению с асинхронной установкой при оценках, охватывающих различные области обучения. Это существенные цифры в области, где прирост пропускной способности обычно измеряется однозначными процентами.
Предостережения и доступность
Как и в случае с любыми результатами, опубликованными в лаборатории, эти цифры предоставлены командой Qwen самостоятельно и еще не были воспроизведены независимо. Одним из практических вопросов для сторонних исследователей является доступ: хотя в некоторых источниках QwenGyre описывается как открытый исходный код, на момент написания статьи не было опубликовано четкого публичного кода, поэтому независимая проверка заявленных ускорений пока невозможна. AI Buzz Wire будет обновляться по мере появления более подробной информации.
Тем не менее, эта статья является полезным сигналом о том, в каком направлении движется подготовка агентов. Поскольку агенты берутся за более длительные и ценные задачи, инфраструктура, необходимая для их обучения, резко отличается от конвейера RL эпохи чата — и разрыв между ними будет только расти.
---
Будьте впереди ИИПолучайте последние новости, анализ и открытия в области искусственного интеллекта — все в одном месте.
Подробнее новости AI →
