Zespół Qwen Alibaba zwrócił w tym tygodniu nową uwagę na QwenGyre, platformę uczenia się przez wzmacnianie, zaprojektowaną w celu szkolenia agentów AI w zakresie zadań, które trwają godzinami. System został opisany w artykule zatytułowanym „QwenGyre: An Elastic Reinforcement Learning Framework for Training xLong-Horizon Agents”, którego autorem jest trzynastu badaczy Qwen i opublikowanym w arXiv pod koniec września, a szczegółowy opis pojawił się w prasie AI 12 i 13 października.
Platforma jest przeznaczona dla kategorii obciążeń, którą zespół nazywa zadaniami „xLong-horizon”, których pojedyncze wykonanie trwa wiele godzin, obejmuje setki interakcji między modelem a jego środowiskiem i zużywa blisko milion tokenów na wdrożenie. Typowymi przykładami są agenci kodujący pracujący w całym repozytorium lub asystenci wykonujący wieloetapowe operacje w imieniu użytkownika. Szkolenie modeli, aby dobrze radziły sobie z tym za pomocą uczenia się przez wzmacnianie online, jest jednym z trudniejszych problemów infrastrukturalnych w tej dziedzinie — i jest to naturalny priorytet dla zespołu odpowiedzialnego za szeroko stosowane modele agentów Qwen o otwartej wadze. Czytelnikom śledzącym najświeższe wiadomości o sztucznej inteligencji na temat infrastruktury szkoleniowej QwenGyre to spojrzenie na to, jak jeden z największych zespołów zajmujących się modelem otwartym przeprojektował swój potok RL pod kątem obciążeń agentowych.
Dwa wąskie gardła w Long-Horizon RL
W artykule wskazano dwa podstawowe problemy związane z zastosowaniem uczenia się przez wzmacnianie w trybie online do niezwykle długich zadań agenta.
Pierwszym z nich jest bezczynność procesora graficznego. Ponieważ wdrożenia różnią się znacznie pod względem czasu wykonania — jedno uruchomienie agenta może zakończyć się w ciągu kilku minut, a inne może trwać godzinami — strona szkoleniowa potoku nieustannie czeka na maruderów. Wynikiem tego, zdaniem autorów, są ogromne czasy bezczynności kosztownych flot procesorów graficznych, które stanowią największy pojedynczy koszt w każdym cyklu szkoleniowym RL.
Drugim jest redundancja trajektorii. Długie zadania agenta nie przebiegają w linii prostej. Rozgałęziają się: agent wypróbowuje jedno podejście, wycofuje się, próbuje innego, a rozgałęzienia mnożą się, gdy zadania stają się dłuższe i bardziej złożone. Duża część tej rozgałęzionej historii jest zbędna, a szkolenie na niej marnuje zasoby obliczeniowe i destabilizuje proces uczenia się. Autorzy opisują tę nadmiarowość jako paraliżującą efektywność szkolenia na dużą skalę.
Jak QwenGyre sobie z nimi radzi
QwenGyre to kompleksowa platforma dla długoterminowego RL online zbudowana wokół dwóch podstawowych mechanizmów.
Pierwszą z nich jest elastyczna realokacja procesora graficznego. Framework przesuwa procesory graficzne między stroną wdrożeniową (gdzie agenci działają i generują doświadczenie) a stroną szkoleniową (gdzie aktualizacja modelu) bez przerywania wykonywania na żywo. W konwencjonalnych konfiguracjach podział między zasobami wdrożeniowymi i szkoleniowymi jest stały, więc jedna strona pozostaje bezczynna, a druga pracuje. Uelastycznienie granicy oznacza, że w fazie intensywnego wdrażania można wypożyczyć sprzęt szkoleniowy i odwrotnie, w miarę zmiany obciążenia pracą.
Drugi to procesor trajektorii, który eliminuje problem rozgałęzień. Rekonstruuje historie rozgałęzień, dzięki czemu współdzielone prefiksy nie są traktowane jako niepowiązane dane, oblicza częściowy postęp w przypadku niekompletnych prób – co jest ważne, gdy większość długich wdrożeń kończy się niepowodzeniem – i deduplikuje zbędne ścieżki w celu ograniczenia kosztów szkoleń.
Ekonomia jest tutaj prosta. W przypadku uczenia się przez wzmacnianie w przypadku dużych modeli dominującym wydatkiem są obliczenia, a podział na wdrażanie i szkolenie określa, jaka część floty procesorów graficznych faktycznie zarabia na swoje utrzymanie w danym momencie. Struktura, która utrzymuje procesory graficzne w użytecznej pracy zamiast pozostawać w stanie bezczynności, skutecznie zwielokrotnia przepustowość tego samego sprzętu. W przypadku szkolenia agentów długoterminowych – gdzie w artykule praca na biegu jałowym jest określana jako „masywna” – różnica między podziałem statycznym i elastycznym może zadecydować o tym, czy program szkoleniowy jest w ogóle praktyczny.
Dlaczego jest to ważne dla ekosystemu agentów
Produkty agenta przeszły od wersji demonstracyjnych do wdrożeń, a techniki szkoleniowe stojące za nimi ścigają się, aby dotrzymać kroku. Agent kodujący, który wypełnia prawdziwy bilet, lub asystent zarządzający wieloetapowym przepływem pracy może potrzebować setek interakcji, zanim osiągnie wynik, który zaakceptowałby człowiek, a sygnały nagrody za te wyniki są rzadkie i trudne do zdefiniowania. Uczenie się przez wzmacnianie w trybie online pozostaje dominującym podejściem do doskonalenia zachowań agentów, co sprawia, że przepustowość potoku RL stanowi bezpośrednie ograniczenie szybkości, z jaką laboratorium może ulepszyć swoich agentów.
Dlatego frameworki takie jak QwenGyre mają znaczenie poza Alibaba. Jeśli długoterminowe RL stanie się dramatycznie tańsze w przeliczeniu na zdobyty punkt zdolności, więcej zespołów będzie mogło pozwolić sobie na szkolenie agentów w zakresie długich, niechlujnych zadań przypominających prawdziwą pracę, a nie krótkich, syntetycznych odcinków, które są tanie w realizacji, ale słabe jako zastępcze. Zespoły, które rozwiążą problem przepustowości, będą mogły iterować w oparciu o możliwości agenta znacznie szybciej niż wszyscy inni.
Zgłoszone wyniki
Najbardziej znaczący wynik w artykule pochodzi ze skalowania QwenGyre do flagowego modelu Qwen, Qwen 3.8 2.4T, po wdrożeniu 700 000 tokenów. Szkolenie z użyciem platformy przyniosło bezwzględny wzrost o 6,0% w przypadku narzędzia NL2RepoBench — punktu odniesienia służącego do tłumaczenia żądań w języku naturalnym na zmiany w kodzie na poziomie repozytorium — podnosząc model z 52,5% do 58,5% w zaledwie 48 krokach RL.
Jeśli chodzi o wydajność, zespół podaje, że QwenGyre zapewnia przyspieszenie do 1,85 razy w porównaniu z kolokowaną linią bazową RL i 1,78 razy w przypadku konfiguracji asynchronicznej, w ocenach obejmujących różne domeny szkoleniowe. Są to znaczące liczby w dziedzinie, w której wzrost przepustowości jest zwykle mierzony w jednocyfrowych wartościach procentowych.
Zastrzeżenia i dostępność
Podobnie jak w przypadku każdego wyniku opublikowanego w laboratorium, liczby zostały samodzielnie zgłoszone przez zespół Qwen i nie zostały jeszcze niezależnie odtworzone. Praktyczną kwestią dla zewnętrznych badaczy jest dostęp: chociaż w niektórych publikacjach QwenGyre jest opisywane jako oprogramowanie typu open source, w momencie pisania tego tekstu nie pojawiła się jeszcze jasna, publiczna wersja kodu, więc niezależna weryfikacja zgłoszonych przyspieszeń nie jest jeszcze możliwa. AI Buzz Wire będzie aktualizowany, gdy dostępnych będzie więcej szczegółów.
Mimo to artykuł stanowi użyteczny sygnał wskazujący, w jakim kierunku zmierza szkolenie agentów. W miarę jak agenci podejmują się dłuższych i bardziej wartościowych zadań, infrastruktura wymagana do ich szkolenia znacznie odbiega od infrastruktury RL z czasów czatu — a przepaść między nimi będzie tylko rosła.
---
Wyprzedź sztuczną inteligencjęOtrzymuj najnowsze wiadomości, analizy i przełomowe informacje dotyczące sztucznej inteligencji — wszystko w jednym miejscu.
Przeczytaj więcej aktualności o sztucznej inteligencji →
