Zespół badawczy z FAIR w Meta, Uniwersytetu Oksfordzkiego i University College London wprowadził modele preferencji badawczych AI (RPM), metodę podejmowania decyzji, które eksperymenty z uczeniem maszynowym powinien faktycznie przeprowadzić autonomiczny agent badawczy. Zamiast przewidywać wynik eksperymentu, RPM klasyfikuje niezrealizowanych kandydatów i wybiera najbardziej obiecującego, co zdaniem zespołu stanowi rozwiązanie rzeczywistego wąskiego gardła w badaniach opartych na sztucznej inteligencji: obliczeń weryfikacyjnych, zgodnie z raportem MarkTechPost z prac.

Pomysł pojawia się w momencie, gdy pracownicy naukowi mogą już proponować, wdrażać i oceniać własne eksperymenty. Generowanie pomysłów jest tanie; wykonanie nie. Szkolenie pojedynczego kandydata może zająć wiele godzin lub dni czasu procesora graficznego, dlatego agent nieuchronnie proponuje znacznie więcej eksperymentów, niż jest w stanie przeprowadzić. To, którzy kandydaci zostaną poddani egzekucji, stanowi, jak to określił zespół, prawdziwą dźwignię postępu badawczego. Dla laboratoriów obserwujących rosnące rachunki za obliczenia obliczeniowe właśnie to sformułowanie jest właśnie powodem, dla którego ta praca przyciąga uwagę na najnowsze osiągnięcia sztucznej inteligencji w automatyzacji badań.

Dlaczego wybór eksperymentu stanowi wąskie gardło

Zespół odkrył, że modele językowe nie są wiarygodne w przewidywaniu wskaźników bezwzględnych ani wyników wykonania. Model nie może spojrzeć na potencjalny eksperyment i dokładnie przewidzieć wynik, jaki osiągnie. Naukowcy odkryli, że potrafi ocenić, który z dwóch kandydatów jest lepszym wyborem – dokonując względnego porównania, a nie absolutnej prognozy. RPM opierają się całkowicie na tym rozróżnieniu: nigdy nie prognozują wyniku, a jedynie oceniają.

System działa w AIRA-dojo, platformie ewolucyjnego wyszukiwania drzew o otwartym kodzie źródłowym, która generuje eksperymenty z uczeniem maszynowym poprzez zachłanny wybór elementów nadrzędnych oraz operatory Draft, Improve i Debug, zwracając na końcu węzeł z najwyższym wynikiem walidacji. Benchmark AIRS-Bench jest również open source. Zarówno szkielet, jak i model preferencji opierają się na Qwen3.6-27B, co, jak zauważa zespół, to otwarte wagi.

Jak działa turniej pucharowy

Zamiast generować jeden eksperyment potomny i wykonywać go, agent stosuje operator 15 razy równolegle, aby wygenerować 15 niezrealizowanych kandydatów. Następnie RPM porównuje je parami w turnieju pucharowym i tylko zwycięzca zostaje stracony. Każde porównanie opiera się na węzłach kontekstu zebranych podczas spaceru wszerz badanego drzewa, przy czym każdy kandydat jest pokazany wraz z wynikami walidacji jego przodków, więc sędzia opiera się na rzeczywistej historii wyszukiwania agenta, a nie na próżni.

W artykule opisano dwa warianty różniące się budżetami obliczeniowymi:

  • RPM oparty tylko na wnioskach — LLM jako sędzia, który porównuje plany kandydatów, kod i historię wyszukiwania w jednym przebiegu. Jego zachęta została zoptymalizowana za pomocą MIPROv2 ze struktury DSPy i zbieżna z tym, co zespół nazywa rubryką główny-badacz: toleruje naprawialne błędy, nagradza rozszerzalność i karze za zbędne kierunki badań. Dokładność porównania offline zmierzona od 57,7 do 59,0 procent.
  • Agentic RPM — ten sam sędzia plus piaskownica, która klonuje środowisko agenta, w tym pojedynczy procesor graficzny H200, z narzędziami ograniczonymi do Pythona, Bash i akcji przesyłania rozwiązania. Przeprowadza eksperymenty pilotażowe na małą skalę, a następnie model ze sprzężeniem zwrotnym albo proponuje następny eksperyment najbardziej pouczający, albo kończy pętlę. Liczba pilotów jest ograniczona do 30 z progiem 60 sekund, a pozostały budżet czasowy jest celowo zawyżony — 2700 sekund podano w porównaniu z rzeczywistymi 300 — więc agent nie przestaje wcześnie optymalizować.

Sędzia dostrojony jak główny śledczy

Skojarzenie główny badacz i główny badacz to cicha interesująca część. Zamiast nagradzać kandydatów, którzy wyglądają maksymalnie imponująco, zoptymalizowana rubryka odzwierciedla sposób, w jaki doświadczony badacz segreguje pomysły: błędny kod, który można naprawić, pokonuje dopracowany kod prowadzący w ślepy zaułek, a wskazówki powielające istniejące drzewo są warte mniej niż nowatorskie. Ta zasada, wyuczona poprzez szybką optymalizację, a nie ręczne dostrajanie, jest tym, co przynosi poprawę, jak sugerują ablacje zespołu.

Wyniki testów porównawczych w AIRS-Bench

Ocena objęła 20 ogólnodostępnych zadań tekstowych i tabelarycznych, przy czym każde zadanie trwało 24 godziny na jednym H200 i 10 losowych nasionach. Co najważniejsze, ten sam szkielet Qwen3.6-27B zasilał zarówno operatorów eksperymentów, jak i model preferencji, więc korzyści wynikają z warstwy selekcji, a nie z silniejszego modelu sędziego. Średnie znormalizowane wyniki:

  • Brak obrotów (wybór losowy): 0,684
  • Tylko wnioskowanie RPM: 0,711
  • Obroty agenta: 0,729
  • Wyrocznia walidacyjna (pułap): 0,748
  • Wyrocznia testowa (sufit): 0,759

Prawdopodobieństwo poprawy w porównaniu z wyborem losowym wyniosło 0,5923 dla wariantu opartego wyłącznie na wnioskowaniu i 0,5913 dla wariantu agentycznego, przy dolnych granicach 95-procentowego przedziału ufności wynoszących 0,5066 i 0,5018 – powyżej progu 0,5 dla istotności statystycznej, chociaż zespół nie ukrywa, że marginesy są raczej skromne niż transformacyjne.

Wydajność jest bardziej praktycznym rezultatem. RPM wyłącznie na podstawie wniosków osiągnął końcowy wynik losowej linii bazowej wynoszący 0,684 w 14,88 godziny, co oznacza przyspieszenie 1,61x, podczas gdy wariant agentyczny potrzebował 15,50 godzin, co oznacza przyspieszenie 1,55x. Nawet po uwzględnieniu kosztów ogólnych wnioskowania sędziego prowadzonego samodzielnie, skorygowane liczby pozostały korzystne.

Otwarte ciężary i szczere zastrzeżenia

Zespół nie ukrywa, że obecnie rozwiązania RPM można wdrożyć tylko częściowo. Komponenty są otwarte — zamrożone, wstępnie wytrenowane szkielety bez dostrajania, szkielet i test porównawczy typu open source oraz modele szkieletu o otwartych masach — ale wymagania piaskownicy wariantu agenta i koszty związane z eksperymentem pilotażowym oznaczają, że większość laboratoriów zaczęłaby od wersji umożliwiającej wyłącznie wnioskowanie. Naukowcy zauważają również, że w wariancie agenta etapy debugowania powracają do wyboru losowego, ponieważ czas pilota konkuruje z zegarem agenta.

Większe znaczenie może mieć charakter kierunkowy. W miarę jak autonomiczni agenci naukowi przechodzą od wersji demonstracyjnych do codziennego użytku w laboratoriach przemysłowych, rzadkim zasobem nie są już pomysły, ale godziny pracy procesora graficznego i metody, które z czasem wyciskają większy postęp ze stałego budżetu obliczeniowego. Ranking przed biegiem to prosty pomysł, a liczby z AIRS-Bench sugerują, że jest to pomysł na tyle skuteczny, że ma znaczenie.

Wyprzedź sztuczną inteligencję

Bądź na bieżąco z badaniami, które kształtują przyszłe modele, na AI Buzz Wire.

Przeczytaj więcej aktualności o sztucznej inteligencji →