Une équipe de recherche de FAIR à Meta, de l'Université d'Oxford et de l'University College de Londres a introduit les modèles de préférences de recherche en IA (RPM), une méthode permettant de décider quelles expériences d'apprentissage automatique un agent de recherche autonome devrait réellement exécuter. Au lieu de prédire les résultats d'une expérience, un RPM classe les candidats non exécutés et sélectionne les plus prometteurs, un changement qui, selon l'équipe, résout le véritable goulot d'étranglement de la recherche basée sur l'IA : le calcul de vérification, selon le rapport de MarkTechPost sur les travaux.

L’idée arrive à un moment où les agents de recherche peuvent déjà proposer, mettre en œuvre et noter leurs propres expériences. La génération d’idées est bon marché ; l’exécution ne l’est pas. La formation d’un seul candidat peut consommer des heures, voire des jours, de temps GPU, de sorte qu’un agent propose inévitablement bien plus d’expériences qu’il ne peut se permettre d’en exécuter. Selon l’équipe, les candidats qui seront exécutés constituent le véritable levier du progrès de la recherche. Pour les laboratoires qui voient leurs factures de calcul grimper, ce cadre est exactement la raison pour laquelle ce travail attire l’attention sur les derniers développements de l’IA dans l’automatisation de la recherche.

Pourquoi la sélection des expériences est le goulot d'étranglement

L’équipe a constaté que les modèles linguistiques ne sont pas fiables pour prévoir les mesures absolues ou les résultats d’exécution. Un modèle ne peut pas examiner une expérience candidate et prédire avec précision le score qu’elle obtiendra. Selon les chercheurs, ce qu'il peut faire, c'est juger lequel des deux candidats est le meilleur pari – une comparaison relative plutôt qu'une prédiction absolue. Les RPM sont entièrement construits autour de cette distinction : ils ne prévoient jamais de score, ils se contentent de classer.

Le système fonctionne à l'intérieur d'AIRA-dojo, un échafaudage de recherche d'arbre évolutif open source qui génère des expériences d'apprentissage automatique via une sélection gourmande de parents et des opérateurs Draft, Improvement et Debug, renvoyant le nœud ayant le score de validation le plus élevé à la fin. Le benchmark, AIRS-Bench, est également open source. L'échafaudage et le modèle de préférence utilisent Qwen3.6-27B comme épine dorsale, ce que l'équipe note comme étant des poids ouverts.

Comment fonctionne le tournoi à élimination directe

Plutôt que de générer une expérience enfant et de l'exécuter, l'agent applique un opérateur 15 fois en parallèle pour produire 15 candidats non exécutés. Le RPM les compare ensuite par paires dans un tournoi à élimination directe, et seul le vainqueur est exécuté. Chaque comparaison est fondée sur des nœuds de contexte collectés par un parcours en largeur de l'arbre exploré, chaque candidat étant affiché aux côtés des scores de validation de ses ancêtres, de sorte que le juge raisonne à partir de l'historique de recherche réel de l'agent plutôt que dans le vide.

Le document décrit deux variantes avec des budgets de calcul différents :

  • RPM d'inférence uniquement — un LLM en tant que juge qui compare les plans des candidats, le code et l'historique de recherche en un seul passage. Son invite a été optimisée avec MIPROv2 du framework DSPy et a convergé vers ce que l'équipe appelle une rubrique chercheur principal : elle tolère les bogues réparables, récompense l'extensibilité et pénalise les directions de recherche redondantes. La précision de la comparaison hors ligne était comprise entre 57,7 et 59,0 pour cent.
  • Agentic RPM — le même juge plus un bac à sable qui clone l'environnement de l'agent, y compris un seul GPU H200, avec des outils limités à Python, Bash et une action de soumission de solution. Il mène des expériences pilotes à petite échelle, puis un modèle de rétroaction propose la prochaine expérience la plus informative ou termine la boucle. Les pilotes sont plafonnés à 30 avec un seuil de 60 secondes, et le budget temps restant est délibérément surestimé – 2 700 secondes signalées contre 300 réelles – de sorte que l'agent ne cesse pas d'optimiser tôt.

Un juge à l'écoute comme un enquêteur principal

Le cadrage chercheur principal est la partie discrètement intéressante. Plutôt que de récompenser les candidats qui semblent les plus impressionnants, la rubrique optimisée reflète la façon dont un chercheur expérimenté trie les idées : un code bogué qui peut être corrigé bat un code raffiné qui poursuit une impasse, et les directions qui dupliquent l'arbre existant valent moins que les nouvelles. Cette rubrique, apprise grâce à une optimisation rapide plutôt qu'à un réglage manuel, est ce qui porte l'amélioration, suggèrent les ablations de l'équipe.

Résultats de référence sur AIRS-Bench

L'évaluation a porté sur 20 tâches de textes publics et de tableaux, chaque tâche étant donnée 24 heures sur un seul H200 et 10 graines aléatoires. Fondamentalement, le même réseau fédérateur Qwen3.6-27B alimentait à la fois les opérateurs d'expérimentation et le modèle de préférence, de sorte que les gains proviennent de la couche de sélection plutôt que d'un modèle de jugement plus puissant. Les scores moyens normalisés :

  • Pas de RPM (choix aléatoire) : 0,684
  • RPM d'inférence uniquement : 0,711
  • RPM agent : 0,729
  • Oracle de validation (plafond) : 0,748
  • Test oracle (plafond) : 0,759

La probabilité d’amélioration par rapport à la sélection aléatoire était de 0,5923 pour la variante d’inférence uniquement et de 0,5913 pour la variante agentique, avec des limites inférieures de l’intervalle de confiance à 95 % de 0,5066 et 0,5018 – au-dessus du seuil de signification statistique de 0,5, bien que l’équipe affirme franchement que les marges sont modestes plutôt que transformatrices.

L’efficacité est le résultat le plus pratique. Le RPM d'inférence uniquement a atteint le score final de la ligne de base aléatoire de 0,684 en 14,88 heures, soit une accélération de 1,61x, tandis que la variante agentique a nécessité 15,50 heures, soit une accélération de 1,55x. Même en tenant compte des frais généraux liés à l’inférence du juge auto-hébergée, les chiffres ajustés sont restés favorables.

Pondérations ouvertes et mises en garde honnêtes

L’équipe reconnaît clairement que les RPM ne sont aujourd’hui que partiellement déployables. Les composants sont ouverts – des squelettes pré-entraînés gelés sans réglage fin, un échafaudage et une référence open source, et des modèles de squelette à poids ouverts – mais l'exigence de bac à sable de la variante agentique et ses frais généraux d'expérience pilote signifient que la plupart des laboratoires commenceraient avec la version d'inférence uniquement. Les chercheurs notent également que les étapes de débogage reviennent à une sélection aléatoire dans la variante agentique, car le temps du pilote entre en concurrence avec la propre horloge de l'agent.

La plus grande signification pourrait être directionnelle. Alors que les agents de recherche autonomes passent des démonstrations à une utilisation quotidienne dans les laboratoires industriels, la ressource rare n'est plus les idées mais les heures GPU et les méthodes qui permettent de faire progresser davantage un budget de calcul fixe au fil du temps. Le classement avant de courir est une idée simple, et les chiffres AIRS-Bench suggèrent que c'est une idée qui fonctionne suffisamment bien pour avoir de l'importance.

Gardez une longueur d'avance sur l'IA

Suivez les recherches qui façonnent les modèles de demain sur AI Buzz Wire.

Lire plus d'actualités sur l'IA →