Η ομάδα Qwen της Alibaba εφιστά την προσοχή αυτή την εβδομάδα για το QwenGyre, ένα πλαίσιο ενισχυτικής μάθησης που έχει σχεδιαστεί για να εκπαιδεύει πράκτορες AI σε εργασίες που εκτελούνται για ώρες τη φορά. Το σύστημα περιγράφηκε σε μια εργασία με τίτλο "QwenGyre: An Elastic Reinforcement Learning Framework for Training xLong-Horizon Agents", που συντάχθηκε από δεκατρείς ερευνητές της Qwen και δημοσιεύτηκε στο arXiv στα τέλη Σεπτεμβρίου, με λεπτομερή κάλυψη σε όλο τον τύπο AI στις 12 και 13 Οκτωβρίου.
Το πλαίσιο στοχεύει μια κατηγορία φόρτου εργασίας που η ομάδα ονομάζει εργασίες "xLong-horizon", όπου μια εκτέλεση εκτείνεται σε ώρες, περιλαμβάνει εκατοντάδες αλληλεπιδράσεις μεταξύ του μοντέλου και του περιβάλλοντός του και καταναλώνει σχεδόν ένα εκατομμύριο tokens ανά διάθεση. Χαρακτηριστικά παραδείγματα είναι οι πράκτορες κωδικοποίησης που λειτουργούν μέσω ενός ολόκληρου αποθετηρίου ή οι βοηθοί που εκτελούν λειτουργίες πολλαπλών βημάτων για λογαριασμό ενός χρήστη. Η εκπαίδευση μοντέλων για να το κάνει αυτό καλά με την online ενισχυτική μάθηση ήταν ένα από τα πιο δύσκολα προβλήματα υποδομής στο πεδίο — και αποτελεί φυσική προτεραιότητα για την ομάδα πίσω από τα ευρέως χρησιμοποιούμενα μοντέλα πρακτόρων ανοιχτού βάρους της Qwen. Για τους αναγνώστες που παρακολουθούν έκτακτες ειδήσεις τεχνητής νοημοσύνης σχετικά με την υποδομή εκπαίδευσης, το QwenGyre είναι μια ματιά στον τρόπο με τον οποίο μια από τις μεγαλύτερες ομάδες ανοιχτού μοντέλου έχει ανασχεδιάσει τη γραμμή RL της γύρω από φόρτους εργασίας αντιπροσώπων.
Δύο σημεία συμφόρησης στο Long-Horizon RL
Η εργασία προσδιορίζει δύο θεμελιώδη προβλήματα με την εφαρμογή της διαδικτυακής ενισχυτικής μάθησης σε εξαιρετικά μακροχρόνιες εργασίες πρακτόρων.
Το πρώτο είναι η GPU σε αδράνεια. Επειδή τα rollouts ποικίλλουν πολύ ως προς τον χρόνο εκτέλεσης - μια εκτέλεση agent μπορεί να ολοκληρωθεί σε λίγα λεπτά ενώ μια άλλη αναδεύεται για ώρες - η πλευρά εκπαίδευσης του αγωγού περιμένει συνεχώς τους stragglers. Το αποτέλεσμα, σύμφωνα με τους συγγραφείς, είναι ο τεράστιος χρόνος αδράνειας στους ακριβούς στόλους GPU, οι οποίοι είναι το μεγαλύτερο κόστος σε κάθε εκτέλεση εκπαίδευσης RL.
Το δεύτερο είναι ο πλεονασμός τροχιάς. Οι μακροχρόνιες εργασίες αντιπροσώπων δεν προχωρούν σε ευθεία γραμμή. Διακλαδώνονται: ένας πράκτορας δοκιμάζει μια προσέγγιση, υποχωρεί, δοκιμάζει μια άλλη και η διακλάδωση πολλαπλασιάζεται καθώς οι εργασίες γίνονται μεγαλύτερες και πιο περίπλοκες. Μεγάλο μέρος αυτής της ιστορίας διακλάδωσης είναι περιττό και η εκπαίδευση σε όλη της σπαταλά τον υπολογισμό και αποσταθεροποιεί τη μάθηση. Οι συγγραφείς περιγράφουν αυτόν τον πλεονασμό ως ακρωτηριασμό της αποτελεσματικότητας της εκπαίδευσης σε κλίμακα.
Πώς τους απευθύνεται η QwenGyre
Το QwenGyre είναι ένα πλαίσιο από άκρο σε άκρο για διαδικτυακή RL μακράς διάρκειας που βασίζεται σε δύο βασικούς μηχανισμούς.
Το πρώτο είναι η ελαστική ανακατανομή GPU. Το πλαίσιο μετατοπίζει τις GPU μεταξύ της πλευράς διάθεσης (όπου εκτελούνται οι πράκτορες και δημιουργούν εμπειρία) και της πλευράς εκπαίδευσης (όπου ενημερώνεται το μοντέλο) χωρίς να διακόπτει τις ζωντανές εκτελέσεις. Στις συμβατικές ρυθμίσεις, ο διαχωρισμός μεταξύ των πόρων διάθεσης και εκπαίδευσης διορθώνεται, επομένως η μία πλευρά λειτουργεί σε αδράνεια ενώ η άλλη λειτουργεί. Το να γίνει το όριο ελαστικό σημαίνει ότι μια βαριά φάση ανάπτυξης μπορεί να δανειστεί εξοπλισμό εκπαίδευσης και αντίστροφα, καθώς ο φόρτος εργασίας μετατοπίζεται.
Ο δεύτερος είναι ένας επεξεργαστής τροχιάς που εξημερώνει το πρόβλημα διακλάδωσης. Αναδομεί τα ιστορικά διακλάδωσης, έτσι ώστε τα κοινόχρηστα προθέματα να μην αντιμετωπίζονται ως άσχετα δεδομένα, σημειώνει μερική πρόοδο σε ημιτελείς προσπάθειες — σημαντικό όταν οι περισσότερες μεγάλες εκδόσεις καταλήγουν σε αποτυχία — και αφαιρεί τις πλεονάζουσες διαδρομές προς τα δεσμευμένα κόστη εκπαίδευσης.
Τα οικονομικά εδώ είναι ξεκάθαρα. Στην ενισχυτική μάθηση για μεγάλα μοντέλα, ο υπολογισμός είναι η κυρίαρχη δαπάνη και ο διαχωρισμός διάθεσης-εκπαίδευσης καθορίζει πόσα από έναν στόλο GPU κερδίζει πραγματικά τη διατήρησή του κάθε δεδομένη στιγμή. Ένα πλαίσιο που κρατά τις GPU σε χρήσιμη εργασία αντί για αδράνεια πολλαπλασιάζει αποτελεσματικά την απόδοση του ίδιου υλικού. Για την εκπαίδευση πράκτορα μακρού ορίζοντα - όπου το έγγραφο περιγράφει το ρελαντί ως "μαζικό" - η διαφορά μεταξύ ενός στατικού και ενός ελαστικού διαχωρισμού μπορεί να αποφασίσει εάν ένα πρόγραμμα εκπαίδευσης είναι καθόλου πρακτικό.
Γιατί έχει σημασία για το οικοσύστημα των πρακτόρων
Τα προϊόντα αντιπροσώπων έχουν μετακινηθεί από το demo σε ανάπτυξη και οι τεχνικές εκπαίδευσης πίσω από αυτά αγωνίζονται για να συμβαδίσουν. Ένας πράκτορας κωδικοποίησης που ολοκληρώνει ένα πραγματικό εισιτήριο ή ένας βοηθός που διαχειρίζεται μια ροή εργασίας πολλαπλών βημάτων, μπορεί να χρειαστεί εκατοντάδες αλληλεπιδράσεις προτού φτάσει σε ένα αποτέλεσμα που θα αποδεχόταν ένας άνθρωπος — και τα σήματα ανταμοιβής για αυτά τα αποτελέσματα είναι αραιά και δύσκολο να καθοριστούν. Η διαδικτυακή μάθηση ενίσχυσης παραμένει η κυρίαρχη προσέγγιση για τη συμπεριφορά του παράγοντα ακονίσματος, γεγονός που καθιστά τη διεκπεραίωση του αγωγού RL έναν άμεσο περιορισμό στο πόσο γρήγορα ένα εργαστήριο μπορεί να βελτιώσει τους πράκτορες του.
Αυτός είναι ο λόγος για τον οποίο πλαίσια όπως το QwenGyre έχουν σημασία πέρα από την Alibaba. Εάν το long-horizon RL γίνει δραματικά φθηνότερο ανά πόντο ικανότητας που αποκτάται, περισσότερες ομάδες μπορούν να αντέξουν οικονομικά να εκπαιδεύσουν πράκτορες σε μεγάλες, ακατάστατες εργασίες που μοιάζουν με πραγματική δουλειά, παρά σε σύντομα συνθετικά επεισόδια που είναι φθηνά στην κυκλοφορία αλλά αδύναμα ως πληρεξούσιοι. Οι ομάδες που λύνουν το πρόβλημα της διεκπεραιωτικής απόδοσης θα μπορούν να επαναλάβουν την ικανότητα του πράκτορα πολύ πιο γρήγορα από όλους τους άλλους.
Τα αναφερόμενα αποτελέσματα
Το πιο σημαντικό αποτέλεσμα στην εργασία προέρχεται από την κλιμάκωση του QwenGyre στο κορυφαίο μοντέλο της Qwen, το Qwen 3.8 2.4T, με 700.000 μάρκες. Η εκπαίδευση με το πλαίσιο απέφερε απόλυτο κέρδος 6,0 τοις εκατό στο NL2RepoBench - σημείο αναφοράς για τη μετάφραση αιτημάτων φυσικής γλώσσας σε αλλαγές κώδικα σε επίπεδο αποθετηρίου - αυξάνοντας το μοντέλο από 52,5 τοις εκατό σε 58,5 τοις εκατό σε μόλις 48 βήματα RL.
Όσον αφορά την αποτελεσματικότητα, η ομάδα αναφέρει ότι το QwenGyre παρέχει επιτάχυνση έως και 1,85 φορές σε μια ενοποιημένη γραμμή βάσης RL και 1,78 φορές σε μια ασύγχρονη ρύθμιση, σε αξιολογήσεις που καλύπτουν διαφορετικούς τομείς εκπαίδευσης. Αυτοί είναι σημαντικοί αριθμοί σε ένα πεδίο όπου τα κέρδη διεκπεραίωσης συνήθως μετρώνται σε μονοψήφια ποσοστά.
Προειδοποιήσεις και Διαθεσιμότητα
Όπως συμβαίνει με κάθε αποτέλεσμα που έχει δημοσιευτεί στο εργαστήριο, οι αριθμοί αναφέρονται από την ομάδα της Qwen και δεν έχουν ακόμη αναπαραχθεί ανεξάρτητα. Ένα πρακτικό ερώτημα για εξωτερικούς ερευνητές είναι η πρόσβαση: ενώ κάποια κάλυψη περιέγραψε το QwenGyre ως ανοιχτού κώδικα, δεν είχε εμφανιστεί σαφής δημόσια έκδοση κώδικα κατά τη στιγμή της σύνταξης, επομένως δεν είναι ακόμη δυνατή η ανεξάρτητη επαλήθευση των αναφερόμενων επιταχύνσεων. Το AI Buzz Wire θα ενημερώνεται καθώς θα είναι διαθέσιμες περισσότερες λεπτομέρειες.
Ακόμα κι έτσι, το χαρτί είναι ένα χρήσιμο μήνυμα για το πού κατευθύνεται η εκπαίδευση πρακτόρων. Καθώς οι πράκτορες αναλαμβάνουν μεγαλύτερες και πιο πολύτιμες εργασίες, η υποδομή που απαιτείται για την εκπαίδευσή τους αποκλίνει απότομα από τον αγωγό RL της εποχής συνομιλίας — και το χάσμα μεταξύ των δύο θα αυξηθεί.
---
Μείνετε μπροστά από την τεχνητή νοημοσύνηΛάβετε τα πιο πρόσφατα νέα, αναλύσεις και ανακαλύψεις για την τεχνητή νοημοσύνη — όλα σε ένα μέρος.
Διαβάστε περισσότερα νέα AI →
