Een onderzoeksteam van FAIR bij Meta, de Universiteit van Oxford en University College London heeft AI Research Preference Models (RPM's) geïntroduceerd, een methode om te beslissen welke machine learning-experimenten een autonome onderzoeksagent daadwerkelijk zou moeten uitvoeren. In plaats van te voorspellen hoe een experiment zal scoren, rangschikt een RPM niet-uitgevoerde kandidaten en kiest de meest veelbelovende. Een verschuiving die volgens het team het echte knelpunt in AI-gestuurd onderzoek aanpakt: verificatieberekening, volgens het rapport van MarkTechPost over het werk.

Het idee komt op een moment waarop onderzoeksagenten hun eigen experimenten al kunnen voorstellen, implementeren en scoren. Het genereren van ideeën is goedkoop; executie niet. Het trainen van één enkele kandidaat kan uren tot dagen GPU-tijd in beslag nemen, dus een agent stelt onvermijdelijk veel meer experimenten voor dan hij zich kan veroorloven om uit te voeren. Welke kandidaten worden geëxecuteerd, is, zoals het team het voorstelt, de echte hefboom voor de voortgang van het onderzoek. Voor laboratoria die hun rekenrekeningen zien stijgen, is dat kader precies de reden waarom dit werk de aandacht trekt bij de nieuwste AI-ontwikkelingen op het gebied van onderzoeksautomatisering.

Waarom experimentselectie het knelpunt is

Het team ontdekte dat taalmodellen onbetrouwbaar zijn bij het voorspellen van absolute statistieken of uitvoeringsresultaten. Een model kan niet naar een kandidaat-experiment kijken en nauwkeurig voorspellen welke score het zal behalen. Wat het kan doen, zo ontdekten de onderzoekers, is beoordelen welke van de twee kandidaten de betere gok is: een relatieve vergelijking in plaats van een absolute voorspelling. RPM's zijn volledig rond dat onderscheid opgebouwd: ze voorspellen nooit een score, ze rangschikken alleen.

Het systeem draait binnen AIRA-dojo, een open-source evolutionaire boomzoekplatform dat machine learning-experimenten genereert door middel van hebzuchtige ouderselectie en Draft-, Improvement- en Debug-operatoren, waarbij aan het einde het knooppunt met de hoogste validatiescore wordt geretourneerd. De benchmark, AIRS-Bench, is ook open source. Zowel het scaffold- als het voorkeursmodel gebruiken Qwen3.6-27B als hun ruggengraat, wat volgens het team open gewichten zijn.

Hoe het knock-outtoernooi werkt

In plaats van één kindexperiment te genereren en uit te voeren, past de agent vijftien keer parallel een operator toe om vijftien niet-uitgevoerde kandidaten te produceren. De RPM vergelijkt ze vervolgens paarsgewijs in een knock-outtoernooi, en alleen de winnaar wordt uitgevoerd. Elke vergelijking is gebaseerd op contextknooppunten die zijn verzameld door een eerste breedtewandeling van de onderzochte boom, waarbij elke kandidaat wordt weergegeven naast de validatiescores van zijn voorouders, zodat de rechter redeneert op basis van de daadwerkelijke zoekgeschiedenis van de agent in plaats van in een vacuüm.

Het artikel beschrijft twee varianten met verschillende rekenbudgetten:

  • Alleen-inferentie-RPM — een LLM-als-rechter die kandidaatplannen, code en zoekgeschiedenis in één keer vergelijkt. De prompt werd geoptimaliseerd met MIPROv2 uit het DSPy-framework en convergeerde naar wat het team een ​​hoofdonderzoekerrubriek noemt: het tolereert fixeerbare bugs, beloont uitbreidbaarheid en bestraft overtollige onderzoeksrichtingen. De nauwkeurigheid van de offline vergelijking bedroeg 57,7 tot 59,0 procent.
  • Agentic RPM — dezelfde rechter plus een sandbox die de omgeving van de agent kloont, inclusief een enkele H200 GPU, met tools beperkt tot Python, Bash en een actie voor het indienen van een oplossing. Het voert kleinschalige pilot-experimenten uit, waarna een feedbackmodel het meest informatieve volgende experiment voorstelt of de lus beëindigt. Het aantal piloten is beperkt tot 30 met een drempel van 60 seconden, en het resterende tijdsbudget wordt opzettelijk overschat (2.700 seconden gerapporteerd tegen een echte 300), zodat de agent niet vroegtijdig stopt met optimaliseren.

Een rechter afgestemd als een hoofdonderzoeker

De framing van de hoofdonderzoeker is het rustig interessante deel. In plaats van kandidaten te belonen die er maximaal indrukwekkend uitzien, weerspiegelt de geoptimaliseerde rubriek de manier waarop een ervaren onderzoeker ideeën sorteert: code met fouten die gerepareerd kan worden, verslaat gepolijste code die op een doodlopende weg nastreeft, en richtingen die de bestaande boom dupliceren, zijn minder waard dan nieuwe. Die rubriek, geleerd door snelle optimalisatie in plaats van handmatige afstemming, is wat de verbetering met zich meebrengt, suggereren de ablaties van het team.

Benchmarkresultaten op AIRS-Bench

De evaluatie omvatte 20 openbare tekst- en tabeltaken, waarbij elke taak 24 uur werd gegeven op een enkele H200 en 10 willekeurige zaden. Cruciaal is dat dezelfde Qwen3.6-27B-backbone zowel de experimentoperatoren als het voorkeursmodel aandrijft, zodat de winst afkomstig is van de selectielaag in plaats van van een sterker beoordelingsmodel. De gemiddelde genormaliseerde scores:

  • Geen toerental (willekeurige keuze): 0,684
  • Alleen-inferentie-RPM: 0,711
  • Agentisch toerental: 0,729
  • Validatie-orakel (plafond): 0,748
  • Testorakel (plafond): 0,759

De kans op verbetering ten opzichte van willekeurige selectie was 0,5923 voor de alleen-inferentie-variant en 0,5913 voor de agentische variant, met een betrouwbaarheidsinterval van 95 procent ondergrenzen van 0,5066 en 0,5018 – boven de drempel van 0,5 voor statistische significantie, hoewel het team eerlijk is dat de marges eerder bescheiden dan transformatief zijn.

Efficiëntie is het meer praktische resultaat. De alleen-inferentie-RPM bereikte de eindscore van de willekeurige basislijn van 0,684 in 14,88 uur, een versnelling van 1,61x, terwijl de agentische variant 15,50 uur nodig had, een versnelling van 1,55x. Zelfs als we rekening houden met de overhead van zelfgehoste gevolgtrekkingen door rechters, bleven de aangepaste cijfers gunstig.

Open gewichten en eerlijke kanttekeningen

Het team is er duidelijk van dat RPM's momenteel slechts gedeeltelijk inzetbaar zijn. De componenten zijn open – bevroren, voorgetrainde backbones zonder fijnafstemming, een open source-scaffold en benchmark, en backbone-modellen met open gewicht – maar de sandbox-vereiste van de agentic-variant en de overhead van pilot-experimenten betekenen dat de meeste laboratoria zouden beginnen met de versie die alleen inferentie bevat. De onderzoekers merken ook op dat de Debug-stappen terugkeren naar willekeurige selectie in de agentische variant, omdat de piloottijd concurreert met de eigen klok van de agent.

De grotere betekenis kan richtinggevend zijn. Terwijl autonome onderzoeksagenten overstappen van demo's naar dagelijks gebruik in industriële laboratoria, zijn de schaarse hulpbronnen niet langer ideeën, maar GPU-uren en methoden die in de loop van de tijd meer vooruitgang uit een vast computerbudget kunnen persen. Rangschikken voordat je gaat rennen is een eenvoudig idee, en de AIRS-Bench-cijfers suggereren dat het een idee is dat goed genoeg werkt om er toe te doen.

Blijf AI een stap voor

Blijf op de hoogte van het onderzoek dat de modellen van morgen vormgeeft op AI Buzz Wire.

Lees meer AI-nieuws →