Alibaba의 Qwen 팀은 이번 주에 한 번에 몇 시간 동안 실행되는 작업에 대해 AI 에이전트를 교육하도록 설계된 강화 학습 프레임워크인 QwenGyre에 대해 새로운 관심을 받고 있습니다. 이 시스템은 13명의 Qwen 연구원이 작성하고 9월 말 arXiv에 게시된 "QwenGyre: xLong-Horizon 에이전트 훈련을 위한 Elastic Reinforcement Learning Framework"라는 제목의 논문에 설명되어 있으며, 10월 12일과 13일 AI 언론에 자세히 보도되었습니다.
프레임워크는 팀이 "xLong-horizon" 작업이라고 부르는 워크로드 범주를 대상으로 합니다. 여기서 단일 실행은 몇 시간에 걸쳐 이루어지며, 모델과 해당 환경 간의 수백 번의 상호 작용이 포함되며, 롤아웃당 백만 개에 가까운 토큰을 소비합니다. 전체 저장소를 통해 작업하는 코딩 에이전트나 사용자를 대신하여 다단계 작업을 수행하는 도우미가 일반적인 예입니다. 온라인 강화 학습을 통해 이를 효과적으로 수행하기 위한 훈련 모델은 현장에서 가장 어려운 인프라 문제 중 하나였으며, 이는 Qwen의 널리 사용되는 개방형 에이전트 모델 뒤에 있는 팀의 자연스러운 우선 순위입니다. 교육 인프라에 대한 AI 속보를 추적하는 독자를 위해 QwenGyre는 최대 개방형 모델 팀 중 하나가 에이전트 워크로드를 중심으로 RL 파이프라인을 어떻게 재설계했는지 살펴봅니다.
Long-Horizon RL의 두 가지 병목 현상
이 논문은 매우 긴 에이전트 작업에 온라인 강화 학습을 적용할 때 두 가지 근본적인 문제를 식별합니다.
첫 번째는 GPU 유휴 상태입니다. 롤아웃의 실행 시간은 매우 다양하기 때문에(한 에이전트 실행은 몇 분 안에 완료되고 다른 에이전트는 몇 시간 동안 이탈할 수 있음) 파이프라인의 훈련 측면은 지속적으로 낙오자를 기다리고 있습니다. 저자에 따르면 그 결과 값비싼 GPU 전체에서 막대한 유휴 시간이 발생하며 이는 모든 RL 훈련 실행에서 단일 비용으로 가장 큰 비용입니다.
두 번째는 궤적 중복성입니다. 긴 에이전트 작업은 직선으로 진행되지 않습니다. 분기됩니다. 에이전트는 한 가지 접근 방식을 시도하고, 역추적하고, 다른 접근 방식을 시도하며 작업이 길어지고 복잡해짐에 따라 분기가 증가합니다. 이러한 분기 기록의 대부분은 중복되며 이에 대한 교육은 컴퓨팅을 낭비하고 학습을 불안정하게 만듭니다. 저자는 이러한 중복이 대규모 교육 효율성을 저하시키는 것으로 설명합니다.
QwenGyre가 이를 해결하는 방법
QwenGyre는 두 가지 핵심 메커니즘을 중심으로 구축된 장거리 온라인 RL을 위한 엔드투엔드 프레임워크입니다.
첫 번째는 탄력적인 GPU 재할당입니다. 프레임워크는 라이브 실행을 중단하지 않고 롤아웃 측(에이전트가 실행되고 경험을 생성하는 곳)과 훈련 측(모델이 업데이트되는 곳) 사이에서 GPU를 이동합니다. 기존 설정에서는 롤아웃과 교육 리소스 간의 분할이 고정되어 있으므로 한쪽은 유휴 상태이고 다른 쪽은 작동합니다. 경계를 탄력적으로 만든다는 것은 워크로드가 변화함에 따라 롤아웃이 많은 단계에서 훈련 하드웨어를 빌릴 수 있고 그 반대의 경우도 가능하다는 것을 의미합니다.
두 번째는 분기 문제를 해결하는 궤도 프로세서입니다. 공유된 접두사가 관련 없는 데이터로 처리되지 않도록 분기 기록을 재구성하고, 대부분의 긴 롤아웃이 실패로 끝날 때 중요한 불완전한 시도에 대한 부분 진행률을 평가하고 제한된 교육 비용에 대한 중복 경로를 제거합니다.
여기의 경제학은 간단합니다. 대규모 모델에 대한 강화 학습에서는 컴퓨팅이 지배적인 비용이며, 출시와 훈련 분할에 따라 특정 순간에 실제로 GPU 플릿이 얼마나 많은 수익을 얻고 있는지가 결정됩니다. GPU를 유휴 상태가 아닌 유용한 작업에 유지하는 프레임워크는 동일한 하드웨어의 처리량을 효과적으로 배가시킵니다. 논문에서 유휴 상태를 "대규모"로 설명하는 장거리 에이전트 훈련의 경우 정적 분할과 탄력적 분할의 차이에 따라 훈련 프로그램이 실용적인지 여부가 결정될 수 있습니다.
에이전트 생태계에 중요한 이유
에이전트 제품은 데모에서 배포로 전환되었으며 그 뒤에 있는 교육 기술도 이에 맞춰 경쟁하고 있습니다. 실제 티켓을 완성하는 코딩 에이전트나 다단계 작업 흐름을 관리하는 어시스턴트는 인간이 받아들일 수 있는 결과에 도달하기까지 수백 번의 상호 작용이 필요할 수 있으며, 이러한 결과에 대한 보상 신호는 드물고 정의하기 어렵습니다. 온라인 강화 학습은 에이전트 행동을 선명하게 하기 위한 지배적인 접근 방식으로 남아 있으며, 이로 인해 RL 파이프라인의 처리량이 실험실에서 에이전트를 얼마나 빨리 개선할 수 있는지에 대한 직접적인 제약이 됩니다.
그렇기 때문에 QwenGyre와 같은 프레임워크가 Alibaba보다 중요합니다. 장거리 RL이 획득한 역량 포인트당 극적으로 저렴해지면 더 많은 팀이 롤아웃 비용이 저렴하지만 프록시로서 약한 짧은 합성 에피소드보다는 실제 작업과 유사한 길고 지저분한 작업에 대해 에이전트를 교육할 여유가 있습니다. 처리량 문제를 해결하는 팀은 다른 팀보다 훨씬 빠르게 에이전트 기능을 반복할 수 있습니다.
보고된 결과
이 논문에서 가장 눈에 띄는 결과는 QwenGyre를 Qwen의 주력 모델인 Qwen 3.8 2.4T로 확장하여 700,000개의 토큰을 출시한 것입니다. 프레임워크를 사용한 교육을 통해 자연어 요청을 리포지토리 수준 코드 변경으로 변환하는 벤치마크인 NL2RepoBench에서 6.0%의 절대 이득을 얻었으며 단 48개의 RL 단계만으로 모델이 52.5%에서 58.5%로 향상되었습니다.
효율성 측면에서 팀은 QwenGyre가 다양한 교육 도메인에 걸친 평가 전반에 걸쳐 공동 배치된 RL 기준에 비해 최대 1.85배, 비동기 설정에 비해 최대 1.78배의 속도 향상을 제공한다고 보고합니다. 처리량 증가가 일반적으로 한 자릿수 비율로 측정되는 분야에서는 이는 상당한 숫자입니다.
주의사항 및 가용성
실험실에서 발표된 결과와 마찬가지로 숫자는 Qwen 팀이 자체 보고하며 아직 독립적으로 재현되지 않았습니다. 외부 연구자를 위한 실용적인 질문 중 하나는 액세스입니다. 일부 보도에서는 QwenGyre를 오픈 소스로 설명했지만 글을 쓰는 시점에는 명확한 공개 코드 릴리스가 공개되지 않았기 때문에 보고된 속도 향상에 대한 독립적인 검증이 아직 불가능합니다. AI Buzz Wire는 자세한 내용이 나오는 대로 업데이트될 예정입니다.
그럼에도 불구하고 이 문서는 상담원 교육이 어디로 향하고 있는지 알려주는 유용한 신호입니다. 에이전트가 더 길고 더 가치 있는 작업을 수행함에 따라 에이전트를 교육하는 데 필요한 인프라는 채팅 시대의 RL 파이프라인과 크게 다르며 둘 사이의 격차는 더욱 커질 것입니다.
---
AI보다 앞서 나가세요최신 AI 뉴스, 분석, 획기적인 소식을 모두 한 곳에서 받아보세요.
AI 뉴스 자세히 보기 →
