ทีม Qwen ของ Alibaba กำลังดึงดูดความสนใจครั้งใหม่ในสัปดาห์นี้สำหรับ QwenGyre ซึ่งเป็นกรอบการเรียนรู้แบบเสริมกำลังที่ออกแบบมาเพื่อฝึกอบรมตัวแทน AI ในงานที่ทำงานครั้งละหลายชั่วโมง ระบบได้รับการอธิบายไว้ในบทความเรื่อง "QwenGyre: กรอบการเรียนรู้การเสริมกำลังแบบยืดหยุ่นสำหรับการฝึกอบรม xLong-Horizon Agents" ซึ่งเขียนโดยนักวิจัยของ Qwen สิบสามคน และโพสต์ไปที่ arXiv ในช่วงปลายเดือนกันยายน โดยมีการรายงานรายละเอียดในสื่อ AI เมื่อวันที่ 12 และ 13 ตุลาคม

เฟรมเวิร์กกำหนดเป้าหมายหมวดหมู่ของปริมาณงานที่ทีมเรียกว่างาน "xLong-horizon" ซึ่งการดำเนินการครั้งเดียวกินเวลาหลายชั่วโมง เกี่ยวข้องกับการโต้ตอบหลายร้อยครั้งระหว่างโมเดลและสภาพแวดล้อม และใช้เกือบล้านโทเค็นต่อการเปิดตัว ตัวแทนการเข้ารหัสที่ทำงานผ่านพื้นที่เก็บข้อมูลทั้งหมด หรือผู้ช่วยที่ดำเนินการหลายขั้นตอนในนามของผู้ใช้ เป็นตัวอย่างทั่วไป โมเดลการฝึกอบรมเพื่อให้ทำเช่นนี้ได้ดีกับการเรียนรู้แบบเสริมกำลังแบบออนไลน์ถือเป็นหนึ่งในปัญหาโครงสร้างพื้นฐานที่ยากขึ้นในภาคสนาม และถือเป็นเรื่องสำคัญอย่างยิ่งสำหรับทีมที่อยู่เบื้องหลังโมเดล Open Weight Agent ที่ใช้กันอย่างแพร่หลายของ Qwen สำหรับผู้อ่านที่ติดตาม ข่าวด่วน AI เกี่ยวกับโครงสร้างพื้นฐานการฝึกอบรม QwenGyre จะพาไปดูวิธีที่หนึ่งในทีมโมเดลเปิดที่ใหญ่ที่สุดได้ปรับโครงสร้างไปป์ไลน์ RL ของตนใหม่ตามปริมาณงานแบบเอเจนต์

สองคอขวดใน Long-Horizon RL

บทความนี้ระบุถึงปัญหาพื้นฐานสองประการในการใช้การเรียนรู้แบบเสริมกำลังแบบออนไลน์กับงานตัวแทนที่ใช้เวลานานมาก

อย่างแรกคือ GPU ไม่ทำงาน เนื่องจากการเปิดตัวแตกต่างกันไปมากในเวลาดำเนินการ — การทำงานของตัวแทนคนหนึ่งอาจเสร็จสิ้นภายในไม่กี่นาที ในขณะที่อีกคนหนึ่งปั่นป่วนเป็นเวลาหลายชั่วโมง — ด้านการฝึกอบรมของไปป์ไลน์กำลังรอผู้ที่หลงทางอยู่ตลอดเวลา ผู้เขียนระบุว่าผลลัพธ์ที่ได้คือเวลาว่างจำนวนมากในกลุ่ม GPU ราคาแพง ซึ่งเป็นต้นทุนที่ใหญ่ที่สุดเพียงครั้งเดียวในการฝึกอบรม RL ใดๆ

ประการที่สองคือความซ้ำซ้อนของวิถี งานตัวแทนระยะยาวไม่ได้ดำเนินการเป็นเส้นตรง พวกเขาแยกสาขา: เจ้าหน้าที่ลองใช้แนวทางหนึ่ง ย้อนรอย ลองอีกวิธีหนึ่ง และการแตกสาขาจะทวีคูณเมื่องานยาวขึ้นและซับซ้อนมากขึ้น ประวัติศาสตร์ที่แตกแขนงออกไปส่วนใหญ่มีความซ้ำซ้อน และการฝึกอบรมเกี่ยวกับสิ่งเหล่านี้ทำให้สิ้นเปลืองการคำนวณและทำให้การเรียนรู้ไม่มั่นคง ผู้เขียนอธิบายว่าความซ้ำซ้อนนี้เป็นการลดประสิทธิภาพการฝึกอบรมในวงกว้าง

QwenGyre พูดกับพวกเขาอย่างไร

QwenGyre เป็นเฟรมเวิร์กแบบ end-to-end สำหรับ RL ออนไลน์ในขอบเขตยาวที่สร้างขึ้นโดยใช้กลไกหลัก 2 ประการ

ประการแรกคือการจัดสรร GPU แบบยืดหยุ่น เฟรมเวิร์กจะเลื่อน GPU ระหว่างด้านการเปิดตัว (โดยที่เจ้าหน้าที่เรียกใช้และสร้างประสบการณ์) และด้านการฝึกอบรม (ซึ่งมีการอัปเดตโมเดล) โดยไม่รบกวนการดำเนินการแบบสด ในการตั้งค่าแบบเดิมๆ การแบ่งระหว่างทรัพยากรการเปิดตัวและการฝึกอบรมได้รับการแก้ไขแล้ว ดังนั้นด้านหนึ่งจะไม่ได้ใช้งานในขณะที่อีกด้านทำงานได้ การทำให้ขอบเขตยืดหยุ่นหมายถึงระยะการเปิดตัวที่หนักหน่วงสามารถยืมฮาร์ดแวร์การฝึกอบรมได้ และในทางกลับกันเมื่อปริมาณงานเปลี่ยนไป

อย่างที่สองคือตัวประมวลผลวิถีที่ช่วยลดปัญหาการแตกแขนง โดยสร้างประวัติการแตกแขนงขึ้นใหม่ เพื่อไม่ให้คำนำหน้าที่แชร์เป็นข้อมูลที่ไม่เกี่ยวข้อง ให้คะแนนความคืบหน้าบางส่วนจากความพยายามที่ไม่สมบูรณ์ ซึ่งสำคัญเมื่อการเปิดตัวที่ยาวนานส่วนใหญ่จบลงด้วยความล้มเหลว และขจัดเส้นทางที่ซ้ำซ้อนไปยังต้นทุนการฝึกอบรมที่ผูกไว้

เศรษฐศาสตร์ที่นี่ตรงไปตรงมา ในการเรียนรู้แบบเสริมกำลังสำหรับโมเดลขนาดใหญ่ การประมวลผลถือเป็นค่าใช้จ่ายหลัก และการแบ่งระหว่างการเปิดตัวและการฝึกจะกำหนดว่ากลุ่ม GPU จะได้รับรายได้จริงเท่าใดในช่วงเวลาหนึ่งๆ เฟรมเวิร์กที่ช่วยให้ GPU ทำงานที่เป็นประโยชน์แทนการไม่ทำงานอย่างมีประสิทธิภาพจะช่วยเพิ่มปริมาณงานของฮาร์ดแวร์ตัวเดียวกัน สำหรับการฝึกอบรมตัวแทนขอบฟ้าระยะไกล - โดยที่บทความนี้อธิบายว่า idling เป็น "ขนาดใหญ่" - ความแตกต่างระหว่างการแบ่งแบบคงที่และแบบยืดหยุ่นสามารถตัดสินได้ว่าโปรแกรมการฝึกอบรมนั้นใช้งานได้จริงหรือไม่

เหตุใดจึงสำคัญสำหรับระบบนิเวศของตัวแทน

ผลิตภัณฑ์ตัวแทนได้ย้ายจากการสาธิตไปสู่การใช้งาน และเทคนิคการฝึกอบรมที่อยู่เบื้องหลังผลิตภัณฑ์เหล่านี้กำลังเร่งรีบเพื่อตามให้ทัน ตัวแทนเขียนโค้ดที่ดำเนินการตามตั๋วจริงหรือผู้ช่วยที่จัดการเวิร์กโฟลว์หลายขั้นตอนอาจต้องมีการโต้ตอบหลายร้อยครั้งก่อนที่จะถึงผลลัพธ์ที่มนุษย์จะยอมรับ และสัญญาณการให้รางวัลสำหรับผลลัพธ์เหล่านั้นนั้นกระจัดกระจายและยากที่จะกำหนด การเรียนรู้การเสริมกำลังแบบออนไลน์ยังคงเป็นแนวทางหลักในการปรับปรุงพฤติกรรมของตัวแทน ซึ่งทำให้ปริมาณงานของไปป์ไลน์ RL เป็นข้อจำกัดโดยตรงว่าห้องปฏิบัติการสามารถปรับปรุงตัวแทนได้เร็วแค่ไหน

นั่นคือเหตุผลว่าทำไมเฟรมเวิร์กอย่าง QwenGyre จึงมีความสำคัญนอกเหนือจาก Alibaba หาก RL ขอบเขตยาวมีราคาถูกลงอย่างมากต่อคะแนนความสามารถที่ได้รับ ทีมจำนวนมากขึ้นก็สามารถที่จะฝึกอบรมเจ้าหน้าที่เกี่ยวกับงานที่ยาวนานและยุ่งเหยิงซึ่งคล้ายกับงานจริง แทนที่จะเป็นตอนสังเคราะห์สั้นๆ ที่มีราคาถูกในการเปิดตัวแต่อ่อนแอในฐานะพร็อกซี ทีมที่แก้ไขปัญหาปริมาณงานจะสามารถวนซ้ำความสามารถของเอเจนต์ได้เร็วกว่าทีมอื่นๆ มาก

ผลลัพธ์ที่รายงาน

ผลลัพธ์ที่โดดเด่นที่สุดในรายงานนี้มาจากการปรับขนาด QwenGyre ไปจนถึงรุ่นเรือธงของ Qwen นั่นคือ Qwen 3.8 2.4T โดยมีการเปิดตัวโทเค็น 700,000 โทเค็น การฝึกอบรมกับเฟรมเวิร์กทำให้ได้ประโยชน์เพิ่มขึ้น 6.0 เปอร์เซ็นต์จาก NL2RepoBench ซึ่งเป็นเกณฑ์มาตรฐานสำหรับการแปลคำขอภาษาธรรมชาติเป็นการเปลี่ยนแปลงโค้ดระดับพื้นที่เก็บข้อมูล โดยยกระดับโมเดลจาก 52.5 เปอร์เซ็นต์เป็น 58.5 เปอร์เซ็นต์ในเวลาเพียง 48 ขั้นตอน RL

ในด้านประสิทธิภาพ ทีมงานรายงานว่า QwenGyre ให้ความเร็วสูงสุดถึง 1.85 เท่าบนพื้นฐาน RL ที่จัดตำแหน่งไว้ และ 1.78 เท่าบนการตั้งค่าแบบอะซิงโครนัส ในการประเมินที่ครอบคลุมขอบเขตการฝึกอบรมที่หลากหลาย ตัวเลขเหล่านี้เป็นตัวเลขที่สำคัญในฟิลด์ที่ปริมาณงานที่เพิ่มขึ้นมักจะวัดเป็นเปอร์เซ็นต์หลักเดียว

คำเตือนและความพร้อมใช้งาน

เช่นเดียวกับผลลัพธ์ที่เผยแพร่ในห้องปฏิบัติการ ตัวเลขต่างๆ จะถูกรายงานด้วยตนเองโดยทีมงาน Qwen และยังไม่ได้ทำซ้ำอย่างอิสระ คำถามเชิงปฏิบัติประการหนึ่งสำหรับนักวิจัยภายนอกคือการเข้าถึง: แม้ว่ารายงานข่าวบางส่วนจะอธิบายว่า QwenGyre เป็นโอเพ่นซอร์ส แต่ยังไม่มีการเปิดเผยรหัสสาธารณะที่ชัดเจนในขณะที่เขียน ดังนั้น การตรวจสอบการเร่งความเร็วที่รายงานโดยอิสระจึงยังไม่สามารถทำได้ AI Buzz Wire จะอัปเดตเมื่อมีรายละเอียดเพิ่มเติม

อย่างไรก็ตาม บทความนี้ก็เป็นสัญญาณที่เป็นประโยชน์ว่าการฝึกอบรมตัวแทนกำลังมุ่งหน้าไปทางใด เมื่อเจ้าหน้าที่ทำงานนานขึ้นและมีคุณค่ามากขึ้น โครงสร้างพื้นฐานที่จำเป็นในการฝึกอบรมพวกเขาก็แยกออกจากไปป์ไลน์ RL ในยุคแชทอย่างมาก และช่องว่างระหว่างทั้งสองก็จะเพิ่มมากขึ้นเท่านั้น

---

ก้าวนำหน้า AI

รับข่าวสาร AI การวิเคราะห์ และความก้าวหน้าล่าสุด ทั้งหมดในที่เดียว

อ่านข่าว AI เพิ่มเติม →