Anthropic a commencé à donner à une équipe de METR, l'organisation à but non lucratif qui évalue les modèles d'IA frontaliers, un « accès de type employé » à ses systèmes internes – matériel de l'entreprise, espace de bureau et outils à peu près équivalents à ceux utilisés par ses propres équipes d'évaluation des risques – afin que le groupe externe puisse évaluer de manière indépendante les risques des modèles frontaliers d'Anthropic et publier ce qu'il trouve.
L'accord, annoncé mercredi sur le blog d'Anthropic, va plus loin que les relations de type audit que les entreprises d'IA tolèrent généralement, et il est accompagné d'une disposition qui se démarque : le METR publiera les résultats de ses évaluations des risques, et Anthropic ne peut pas opposer son veto à la publication.
Que signifie réellement « accès de type employé »
Six employés de METR ont été intégrés avec du matériel d'entreprise, un espace de bureau et un accès aux outils et systèmes internes qu'Anthropic décrit comme étant à peu près équivalents à ce que reçoivent ses propres équipes d'évaluation des risques. En dehors d'un petit nombre de catégories clairement définies – données sur les clients, informations privilégiées entre avocat et client et informations sur les architectures modèles – Anthropic affirme que ses employés sont encouragés à partager des informations avec l'équipe METR comme ils le feraient avec un collègue travaillant sur le risque d'alignement.
L’engagement est volontairement étroit. Il couvre une petite équipe opérant dans le cadre d'accords exécutoires, et les autres employés de METR sont isolés du travail de cette équipe, y compris les chercheurs qui collaborent avec Anthropic sur d'autres projets. Anthropic note que la configuration donne à quelques personnes qualifiées, travaillant selon les normes de sécurité d'Anthropic, une vue rapprochée du fonctionnement de l'entreprise ; ce n'est pas un canal permettant à d'autres organisations d'obtenir des informations sur Anthropic ou celles de ses clients.
Droits de publication, avec garde-fous
Dans le cadre de l'accord, METR publiera son analyse des niveaux de risque, des incidents ou des pratiques d'Anthropic. Anthropic ne peut pas bloquer la publication, mais il peut exiger des suppressions lorsque les informations entrent dans les catégories prédéfinies décrites ci-dessus – et Anthropic décide lui-même de ce qui entre ou non dans ces catégories. METR, pour sa part, se réserve le droit de faire certaines déclarations sur le niveau d'accès et d'informations qu'il a reçu, un contrepoids conçu pour éviter que le pouvoir de rédaction ne devienne un bouton muet.
Pourquoi Anthropic s'ouvre
Cette décision fait suite à l'engagement pris par Anthropic le mois dernier en faveur d'une évaluation indépendante plus rigoureuse de ses modèles et de ses pratiques de sécurité, ainsi qu'à sa signature de l'accord de la Maison Blanche sur la super intelligence, dans lequel les sociétés d'IA se sont engagées à s'associer à des auditeurs ou évaluateurs externes indépendants. Cela prolonge également une relation existante : au cours de l'année écoulée, Anthropic a travaillé avec METR sur plusieurs révisions de ses rapports sur les risques.
METR n’est pas seul dans le portefeuille. Anthropic indique qu'elle travaille également avec SecureBio et Accenture en tant qu'évaluateurs (la faculté d'Accenture a été nommée premier évaluateur intégré de l'entreprise en septembre) et est en discussion initiale avec plusieurs autres organisations, dont Hugging Face. Ces partenariats à un stade précoce s'accompagnent d'un accès à l'information et de droits de publication plus limités pendant que l'entreprise apprend quels types de partenariat fonctionnent.
L'analogie entre la banque et la supervision
Le propre cadre d’Anthropic emprunte à la finance. Les banques en savent plus sur leur propre position en matière de risque que les étrangers, c'est pourquoi les régulateurs désignent des examinateurs résidents pour travailler au sein des plus grandes banques ; si la prise de risque d'une banque peut menacer le public, les tiers tentent de s'en rendre compte à l'avance. L'entreprise positionne l'évaluation intégrée comme la version de cette logique de l'industrie de l'IA – une étape vers une surveillance solide de la sécurité dans un domaine où le constructeur en sait toujours plus que le chien de garde.
À la base de tout cela se trouve un objectif déclaré : combler l’écart entre ce que les évaluateurs indépendants comprennent des systèmes d’une entreprise pionnière de l’IA et ce que l’entreprise elle-même comprend.
Ce dont les évaluateurs ont besoin
L'annonce expose également ce qu'Anthropic pense qu'une évaluation significative nécessite : une expertise dans l'évaluation des capacités des modèles frontières, y compris la compréhension de la manière dont les évaluations peuvent mal tourner à cause de phénomènes tels que la falsification d'alignement ; l'indépendance, c'est-à-dire l'absence de participation au capital ou de dépendance financière ou opérationnelle à l'égard de l'entreprise évaluée ; un accès suffisant pour évaluer les risques de manière significative, allant au-delà des derniers modèles jusqu'à la manière dont ils ont été formés et comment fonctionnent les garanties ; et la liberté de publier des observations et des évaluations d’un modèle ou d’un processus.
Un cas de test pour l'ensemble de l'industrie
L'arrangement sera jugé par son rendement. La première évaluation publiée par METR dans le cadre du nouveau régime d'accès montrera si l'accès semblable à celui des employés produit des résultats avec de véritables résultats ou des rapports découpés en catégories de rédaction définies par l'entreprise elle-même. Les sceptiques noteront qu'Anthropic contrôle les limites des catégories et que l'équipe pilote est petite ; les partisans noteront qu'un droit de publication qu'Anthropic ne peut pas veto est véritablement nouveau parmi les laboratoires frontaliers.
Quoi qu’il en soit, l’industrie est aux aguets. Si l'accès intégré du METR fait apparaître les résultats matériels et les publie sans modification, le modèle devient le modèle évident pour chaque laboratoire qui a signé l'accord de la Maison Blanche - et une référence pour les décideurs politiques qui évaluent si la surveillance volontaire peut remplacer les audits obligatoires. Pour une couverture continue de la politique de sécurité de l'IA et des actualités de l'industrie de l'IA qui la façonnent, AI Buzz Wire suit chaque développement au fur et à mesure de son apparition.
---
Gardez une longueur d'avance sur l'IARecevez les dernières actualités, analyses et avancées en matière d'IA, le tout en un seul endroit.
Lire plus d'actualités sur l'IA →
