Ett forskarlag från FAIR vid Meta, University of Oxford och University College London har introducerat AI Research Preference Models (RPMs), en metod för att bestämma vilka maskininlärningsexperiment en autonom forskningsagent faktiskt ska köra. Istället för att förutsäga hur ett experiment kommer att få poäng, rankar en RPM outkörda kandidater och väljer den mest lovande, ett skifte som teamet säger tar itu med den verkliga flaskhalsen i AI-driven forskning: verifieringsberäkning, enligt MarkTechPosts rapport om arbetet.

Idén landar i ett ögonblick då forskningsagenter redan kan föreslå, implementera och poängsätta sina egna experiment. Idégenerering är billigt; utförande är det inte. Att träna en enskild kandidat kan ta timmar till dagar av GPU-tid, så en agent föreslår oundvikligen mycket fler experiment än den har råd att köra. Vilka kandidater som blir avrättade är, som teamet formulerar det, den verkliga hävstången för forskningsframsteg. För labb som ser deras beräkningsräkningar klättra, är den inramningen exakt varför detta arbete drar uppmärksamheten till den senaste AI-utvecklingen inom forskningsautomation.

Varför val av experiment är flaskhalsen

Teamet fann att språkmodeller är otillförlitliga när det gäller att förutsäga absoluta mätvärden eller exekveringsresultat. En modell kan inte titta på ett kandidatexperiment och exakt förutsäga poängen den kommer att uppnå. Vad det kan göra, fann forskarna, är att bedöma vilken av två kandidater som är bäst - en relativ jämförelse snarare än en absolut förutsägelse. RPM bygger helt och hållet kring den distinktionen: de förutsäger aldrig en poäng, de rankar bara.

Systemet körs inuti AIRA-dojo, en evolutionär trädsökningsställning med öppen källkod som genererar maskininlärningsexperiment genom girigt föräldraval och Draft, Improve och Debug-operatorer, vilket returnerar noden med högsta valideringspoäng i slutet. Riktmärket, AIRS-Bench, är också öppen källkod. Både ställningen och preferensmodellen använder Qwen3.6-27B som sin ryggrad, vilket teamet noterar är öppna vikter.

Hur knockout-turneringen fungerar

Istället för att generera ett underordnat experiment och köra det, applicerar agenten en operator 15 gånger parallellt för att producera 15 icke-exekverade kandidater. RPM jämför dem sedan parvis i en knockout-turnering, och bara vinnaren avrättas. Varje jämförelse är grundad i kontextnoder som samlats in av en bredd-första promenad av det utforskade trädet, där varje kandidat visas tillsammans med valideringspoängen för sina förfäder, så domaren resonerar utifrån agentens faktiska sökhistorik snarare än i ett vakuum.

Uppsatsen beskriver två varianter med olika beräkningsbudgetar:

  • RPM för endast slutledning — en LLM-som-domare som jämför kandidatplaner, kod och sökhistorik i ett enda pass. Dess prompt optimerades med MIPROv2 från DSPy-ramverket och konvergerade till vad teamet kallar en huvudutredarrubrik: den tolererar fixbara buggar, belönar utökningsbarhet och straffar redundanta forskningsanvisningar. Offline jämförelse noggrannhet mätte 57,7 till 59,0 procent.
  • Agentic RPM — samma domare plus en sandlåda som klonar agentens miljö, inklusive en enda H200 GPU, med verktyg begränsade till Python, Bash och en submit-lösningsåtgärd. Den kör småskaliga pilotexperiment, sedan föreslår en återkopplingsmodell antingen det mest informativa nästa experimentet eller avslutar slingan. Piloter är begränsade till 30 med en tröskel på 60 sekunder, och den återstående tidsbudgeten är medvetet överskattad - 2 700 sekunder rapporterade mot en riktig 300 - så agenten slutar inte optimera tidigt.

En domare inställd som en huvudutredare

Rektor-utredarens inramning är den tyst intressanta delen. Istället för att belöna kandidater som ser maximalt imponerande ut, speglar den optimerade rubriken hur en erfaren forskare prövar idéer: buggykod som kan fixas slår polerad kod på återvändsgränd och vägbeskrivningar som duplicerar det befintliga trädet är mindre värda än nya. Den rubriken, lärd genom snabb optimering snarare än handjustering, är det som bär på förbättringen, föreslår teamets ablationer.

Benchmark-resultat på AIRS-Bench

Utvärderingen omfattade 20 offentliga text- och tabelluppgifter, där varje uppgift gavs 24 timmar på en enda H200 och 10 slumpmässiga frön. Det är avgörande att samma Qwen3.6-27B-ryggrad drev både experimentoperatörerna och preferensmodellen, så vinsterna kommer från urvalsskiktet snarare än en starkare bedömarmodell. De genomsnittliga normaliserade poängen:

  • Inget RPM (slumpmässigt val): 0,684
  • Endast slutledning RPM: 0,711
  • Agentiskt varvtal: 0,729
  • Validering orakel (tak): 0,748
  • Testorakel (tak): 0,759

Sannolikheten för förbättring jämfört med slumpmässigt urval var 0,5923 för den enda slutledningsvarianten och 0,5913 för den agentiska, med 95 procents konfidensintervalls nedre gränser på 0,5066 och 0,5018 - över tröskeln på 0,5 för statistisk signifikans, även om laget är måttliga än marginalerna är måttliga.

Effektivitet är det mer praktiska resultatet. RPM för endast slutledning nådde den slumpmässiga baslinjens slutpoäng på 0,684 på 14,88 timmar, en hastighetsökning på 1,61 gånger, medan den agentiska varianten behövde 15,50 timmar, en hastighetsökning på 1,55 gånger. Även om man tar hänsyn till omkostnaden för domare slutsatser av egen värd, förblev de justerade siffrorna gynnsamma.

Öppna vikter och ärliga varningar

Teamet är medvetet om att RPM:er endast delvis kan distribueras idag. Komponenterna är öppna – frusna förtränade ryggrader utan finjustering, en ställning med öppen källkod och benchmark, och ryggradsmodeller med öppen vikt – men agentvariantens sandlådekrav och dess pilotexperimentoverhead innebär att de flesta laboratorier skulle börja med versionen med endast slutledning. Forskarna noterar också att felsökningsstegen återgår till slumpmässigt urval i agentvarianten eftersom pilottiden konkurrerar med agentens egen klocka.

Den större betydelsen kan vara riktad. När autonoma forskningsagenter går från demonstrationer till daglig användning i industriella laboratorier, är den knappa resursen inte längre idéer utan GPU-timmar och metoder som pressar ut mer framsteg ur en fast beräkningsbudget över tiden. Ranking före löpning är en enkel idé, och AIRS-Bench-siffrorna tyder på att det är en idé som fungerar tillräckligt bra för att spela roll.

Stay ahead of AI

Håll dig uppdaterad med forskningen som formar morgondagens modeller på AI Buzz Wire.

Läs mer AI-nyheter →