Anthropic a publié des recherches montrant que les systèmes d'IA automatisés peuvent réparer de manière fiable les échecs d'alignement d'un modèle, un résultat qui pourrait remodeler la façon dont le travail de sécurité au centre de l'industrie de l'IA est effectué. Le document, intitulé « Les chercheurs automatisés peuvent atténuer de manière fiable les échecs d'alignement », a été publié vendredi et détaillé par TechCrunch.
La recherche est issue du programme de bourses d'Anthropic et a été dirigée par Chen Yueh-Han. Son affirmation centrale est frappante : lorsque les systèmes de recherche automatisés de l'entreprise ont été pointés sur dix points de référence mesurant des comportements spécifiques mal alignés, ils ont amélioré les performances sur chacun d'entre eux, sans dégrader les capacités globales du modèle. Pour un domaine qui a eu du mal à maintenir le travail de sécurité en phase avec l’échelle du modèle, il s’agit d’un résultat notable. Pour plus de contexte sur cette histoire, consultez notre couverture de l'industrie de l'IA.
L’histoire a atterri au cours d’une période chargée en matière de couverture de la sécurité de l’IA. Cela fait suite à un été au cours duquel les comportements inappropriés des agents ont fait la une des journaux, depuis le rapport interne d'OpenAI sur les agents qui piratent les récompenses jusqu'aux appels à des enquêtes indépendantes sur la violation de Hugging Face. Le nouvel article d'Anthropic aborde le problème dans la direction opposée : au lieu de se demander comment les agents se comportent mal, il se demande si on peut faire confiance à d'autres agents pour les résoudre.
Ce que rapporte réellement le journal
Le système décrit dans l’article s’appelle Automated Alignment Researcher, ou AAR. Plutôt que de remplacer le processus de recherche, l'AAR en reproduit une grande partie : chaque système automatisé recherche la littérature disponible, propose une méthode et entraîne le modèle à l'aide de cette méthode pendant environ 30 minutes. Le processus se répète ensuite sur plusieurs itérations.
Le mécanisme de sélection est simple. Les méthodes qui déplacent le benchmark sont préservées ; les méthodes qui ne le sont pas sont rejetées. Cette boucle permet au système de fonctionner rapidement et à une échelle qu’aucune équipe humaine ne pourrait égaler, en testant de nombreuses directions de recherche en parallèle et en ne conservant que ce qui fonctionne.
Selon le journal, les résultats étaient cohérents dans tous les domaines. Sur les dix tests couvrant des comportements spécifiques mal alignés, les systèmes automatisés ont produit des améliorations mesurables sans nuire aux performances globales du modèle – le compromis habituel qui rend le travail d'alignement difficile.
"Dans l'ensemble, ces résultats fournissent des preuves préliminaires que l'alignement automatisé après la formation pourrait devenir pratique à court terme", indique le document.
Battre les humains, à 1/37ème du prix
Les passages les plus cités dans le document sont ceux où l’AAR est directement comparé à ses homologues humains. Anthropic n’a pas hésité à faire la comparaison.
"La meilleure méthode AAR dépasse ce que proposent des humains expérimentés, en moyenne dans un délai de six heures", peut-on lire dans le journal. Il ajoute clairement que « les orientations de la recherche guidée par l’homme ne conduisent pas à de meilleures performances ».
Les aspects économiques sont tout aussi directs. "Un AAR coûte environ 4 dollars de l'heure en inférence API, contre 150 dollars de l'heure que nous payons à nos chercheurs humains", écrivent les auteurs. Cela représente une différence de coût de près de 40 fois supérieure, et cela explique pourquoi les laboratoires prennent au sérieux la recherche automatisée, qui est bien plus qu'une simple curiosité.
Pourquoi l'écart de coût est important
La recherche d’alignement est coûteuse et il est facile de sous-estimer. Chaque intervention candidate doit être mise en œuvre, formée et évaluée par rapport à des critères de référence, et la plupart des candidats échouent. Si un système peut exécuter cette boucle de recherche en continu pour le prix des appels d’API, le coût marginal d’essayer une idée supplémentaire approche de zéro. La contrainte passe de l’effectif au calcul.
Les limites anthropiques elles-mêmes signalées
Le document est franc sur ce que le résultat n’établit pas. Le système automatisé ne fonctionne que dans la mesure où les critères reflètent réellement les objectifs d’alignement qui comptent – et la création et le maintien de critères qui capturent les mauvais comportements du monde réel restent un problème ouvert sur le terrain.
Il existe également une dépendance qu’il est facile de négliger : les chercheurs automatisés s’appuient sur une littérature de méthodes existante. Maintenir et développer cette littérature est en soi un travail important, et un système qui ne fait que remixer des techniques connues pourrait atteindre un plafond que la créativité humaine n'atteindrait pas.
Ces mises en garde sont importantes car l’importance à long terme de la recherche en dépend. Si les indices de référence mesurent de mauvaises choses, un AAR peut optimiser son chemin vers des chiffres élevés sans que les risques sous-jacents restent intacts. Le cadre d’Anthropic – « les premières preuves », et non une solution – reflète cette incertitude.
Un pas vers l'auto-amélioration récursive
L’article alimente également un débat plus large sur l’auto-amélioration récursive, l’idée selon laquelle les systèmes d’IA pourraient éventuellement améliorer les processus de formation qui les produisent. Entraîner des modèles d'IA avec d'autres modèles d'IA est devenu un objectif populaire pour les laboratoires pionniers, et le résultat d'Anthropic est un premier aperçu concret de ce à quoi cela ressemble dans un domaine restreint.
La logique est simple. Si les modèles peuvent améliorer de manière fiable leur propre formation à l’alignement, le même mécanisme pourrait vraisemblablement être orienté vers les pratiques de formation de manière plus large – y compris le travail sur les capacités. TechCrunch note l'implication selon laquelle les chercheurs en IA humaine pourraient éventuellement devenir moins centraux dans le processus, une possibilité avec laquelle le document lui-même s'engage plutôt que d'éviter.
Que regarder ensuite
Trois questions détermineront si ce résultat se généralise. Premièrement, si l’approche tient en dehors des dix benchmarks testés par Anthropic, sur des modes de défaillance plus compliqués et moins bien définis. Deuxièmement, le problème de maintenance des références peut-il être résolu suffisamment rapidement pour que la recherche automatisée reste honnête. Troisièmement, d’autres laboratoires publient-ils des résultats comparables, ce qui transformerait un seul article en une orientation industrielle.
Pour l’instant, le constat est limité mais réel : sur les tâches d’alignement spécifiques testées par Anthropic, les chercheurs automatisés ont surpassé les humains expérimentés, plus rapidement et bien moins cher. L’aspect sécurité de l’industrie de l’IA est peut-être le premier domaine où les chercheurs en IA – et non les humains – effectuent l’essentiel du travail.
---
Restez à la Pointe de l'IALes dernières actualités, analyses et percées en IA — au même endroit.
Lire plus d'actualités IA →
