Tuần này, nhóm Qwen của Alibaba đang thu hút sự chú ý mới cho QwenGyre, một khung học tập tăng cường được thiết kế để đào tạo các tác nhân AI về các nhiệm vụ chạy hàng giờ liền. Hệ thống này được mô tả trong một bài báo có tiêu đề "QwenGyre: Khung học tập tăng cường đàn hồi để đào tạo các đặc vụ xLong-Horizon", do 13 nhà nghiên cứu Qwen viết và đăng lên arXiv vào cuối tháng 9, với thông tin chi tiết được đăng tải trên báo chí AI vào ngày 12 và 13 tháng 10.
Khung này nhắm đến một loại khối lượng công việc mà nhóm gọi là nhiệm vụ "xLong-horizon", trong đó một lần thực thi kéo dài hàng giờ, bao gồm hàng trăm tương tác giữa mô hình và môi trường của nó, đồng thời tiêu thụ gần một triệu mã thông báo mỗi lần triển khai. Các tác nhân mã hóa hoạt động thông qua toàn bộ kho lưu trữ hoặc các trợ lý thực hiện các hoạt động nhiều bước thay mặt người dùng là những ví dụ điển hình. Các mô hình đào tạo để thực hiện tốt điều này với học tập tăng cường trực tuyến là một trong những vấn đề khó khăn hơn về cơ sở hạ tầng trong lĩnh vực này — và đó là ưu tiên tự nhiên của nhóm đằng sau các mô hình đại lý có trọng lượng mở được sử dụng rộng rãi của Qwen. Dành cho độc giả theo dõi tin tức AI nóng hổi về cơ sở hạ tầng đào tạo, QwenGyre xem xét cách một trong những nhóm mô hình mở lớn nhất đã thiết kế lại quy trình RL của mình xung quanh khối lượng công việc tổng đài viên.
Hai điểm nghẽn trong RL chân trời dài
Bài viết xác định hai vấn đề cơ bản khi áp dụng học tăng cường trực tuyến cho các nhiệm vụ tác nhân cực kỳ dài.
Đầu tiên là GPU chạy không tải. Bởi vì quá trình triển khai rất khác nhau về thời gian thực hiện — một lần chạy tác nhân có thể kết thúc sau vài phút trong khi một lần chạy khác chạy hàng giờ — phía đào tạo của quy trình liên tục chờ đợi những người ở lại. Theo các tác giả, kết quả là thời gian nhàn rỗi lớn trên các nhóm GPU đắt tiền, đây là chi phí lớn nhất trong bất kỳ hoạt động đào tạo RL nào.
Thứ hai là sự dư thừa quỹ đạo. Nhiệm vụ đại lý dài không tiến hành theo một đường thẳng. Chúng phân nhánh: một tác nhân thử một cách tiếp cận, quay lại, thử một cách tiếp cận khác và việc phân nhánh sẽ nhân lên khi các nhiệm vụ ngày càng dài hơn và phức tạp hơn. Phần lớn lịch sử phân nhánh này là dư thừa và việc đào tạo về tất cả những điều đó sẽ gây lãng phí cho tính toán và làm mất ổn định việc học. Các tác giả mô tả sự dư thừa này làm giảm hiệu quả đào tạo trên quy mô lớn.
QwenGyre giải quyết chúng như thế nào
QwenGyre là một khuôn khổ toàn diện dành cho RL trực tuyến dài hạn được xây dựng xung quanh hai cơ chế cốt lõi.
Đầu tiên là việc tái phân bổ GPU linh hoạt. Khung này sẽ chuyển GPU giữa phía triển khai (nơi các tác nhân chạy và tạo trải nghiệm) và phía đào tạo (nơi cập nhật mô hình) mà không làm gián đoạn quá trình thực thi trực tiếp. Trong các thiết lập thông thường, sự phân chia giữa tài nguyên triển khai và đào tạo là cố định, do đó một bên không hoạt động trong khi bên kia hoạt động. Làm cho ranh giới co giãn có nghĩa là giai đoạn triển khai nặng có thể mượn phần cứng đào tạo và ngược lại khi khối lượng công việc thay đổi.
Thứ hai là bộ xử lý quỹ đạo giúp giải quyết vấn đề phân nhánh. Nó xây dựng lại lịch sử phân nhánh để các tiền tố được chia sẻ không được coi là dữ liệu không liên quan, ghi điểm một phần tiến bộ trong những lần thử chưa hoàn thành — quan trọng khi hầu hết quá trình triển khai kéo dài đều kết thúc trong thất bại — và loại bỏ các đường dẫn dư thừa dẫn đến chi phí đào tạo bị ràng buộc.
Kinh tế ở đây rất đơn giản. Trong học tăng cường cho các mô hình lớn, điện toán là chi phí chủ yếu và việc phân chia triển khai-đào tạo xác định số lượng nhóm GPU thực sự kiếm được tiền tại bất kỳ thời điểm nào. Một khung giúp GPU hoạt động hữu ích thay vì chạy không tải sẽ nhân thông lượng của cùng một phần cứng một cách hiệu quả. Đối với việc đào tạo đặc vụ trong thời gian dài - trong đó bài báo mô tả việc chạy không tải là "lớn" - sự khác biệt giữa phân chia tĩnh và phân chia đàn hồi có thể quyết định liệu một chương trình đào tạo có thực tế hay không.
Tại sao nó lại quan trọng đối với hệ sinh thái đại lý
Các sản phẩm dành cho đại lý đã chuyển từ bản demo sang bản triển khai và các kỹ thuật đào tạo đằng sau chúng đang chạy đua để theo kịp. Một tác nhân mã hóa hoàn thành một vé thực hoặc một trợ lý quản lý quy trình làm việc gồm nhiều bước, có thể cần hàng trăm tương tác trước khi đạt được kết quả mà con người sẽ chấp nhận — và các tín hiệu khen thưởng cho những kết quả đó rất thưa thớt và khó xác định. Học tăng cường trực tuyến vẫn là phương pháp chủ đạo để nâng cao hành vi của tác nhân, điều này làm cho thông lượng của quy trình RL trở thành hạn chế trực tiếp về tốc độ mà phòng thí nghiệm có thể cải thiện tác nhân của mình.
Đó là lý do tại sao các khuôn khổ như QwenGyre lại quan trọng hơn cả Alibaba. Nếu RL trong thời gian dài trở nên rẻ hơn đáng kể trên mỗi điểm năng lực đạt được, thì nhiều nhóm có đủ khả năng đào tạo các đặc vụ thực hiện các nhiệm vụ dài, lộn xộn giống như công việc thực tế, thay vì trên các tập tổng hợp ngắn có chi phí triển khai rẻ nhưng yếu như một proxy. Các nhóm giải quyết vấn đề thông lượng sẽ có thể lặp lại khả năng tác nhân nhanh hơn nhiều so với những nhóm khác.
Kết quả được báo cáo
Kết quả nổi bật nhất trong bài báo đến từ việc mở rộng quy mô QwenGyre thành mô hình hàng đầu của Qwen, Qwen 3.8 2.4T, với số lượng phát hành là 700.000 token. Việc đào tạo với khung này đã mang lại mức tăng tuyệt đối 6,0% trên NL2RepoBench — một tiêu chuẩn để dịch các yêu cầu ngôn ngữ tự nhiên thành các thay đổi mã cấp kho lưu trữ — nâng mô hình từ 52,5% lên 58,5% chỉ trong 48 bước RL.
Về hiệu quả, nhóm báo cáo rằng QwenGyre mang lại tốc độ tăng lên tới 1,85 lần so với đường cơ sở RL được đặt cùng chỗ và 1,78 lần so với thiết lập không đồng bộ, qua các đánh giá trải rộng trên các lĩnh vực đào tạo khác nhau. Đó là những con số đáng kể trong một lĩnh vực mà mức tăng thông lượng thường được đo bằng tỷ lệ phần trăm một chữ số.
Cảnh báo và tính sẵn có
Giống như bất kỳ kết quả nào do phòng thí nghiệm công bố, các con số đều do nhóm Qwen tự báo cáo và chưa được sao chép độc lập. Một câu hỏi thực tế dành cho các nhà nghiên cứu bên ngoài là quyền truy cập: trong khi một số báo cáo đã mô tả QwenGyre là nguồn mở, một bản phát hành mã công khai rõ ràng vẫn chưa xuất hiện tại thời điểm viết bài, do đó vẫn chưa thể xác minh độc lập về tốc độ tăng tốc được báo cáo. AI Buzz Wire sẽ cập nhật khi có thêm thông tin chi tiết.
Mặc dù vậy, bài báo vẫn là một tín hiệu hữu ích về việc đào tạo đặc vụ đang hướng tới đâu. Khi các đại lý đảm nhận các nhiệm vụ dài hơn và có giá trị hơn, cơ sở hạ tầng cần thiết để đào tạo họ đang khác biệt rõ rệt so với quy trình RL thời kỳ trò chuyện — và khoảng cách giữa hai nhiệm vụ này sẽ chỉ ngày càng tăng lên.
---
Đi trước AINhận tin tức, phân tích và đột phá mới nhất về AI — tất cả ở cùng một nơi.
Đọc thêm tin tức về AI →
