Anthropic a choisi Accenture – et non une organisation à but non lucratif dédiée à la sécurité de l'IA – comme premier participant à son projet ambitieux visant à placer des évaluateurs tiers dans des laboratoires d'IA frontaliers, a annoncé jeudi la société.
Le personnel de Faculté, une société qu'Accenture a acquise en janvier pour lui servir de division IA, commencera « à évaluer et à regrouper les modèles, à mener des évaluations d'alignement et à tester les protections des modèles » chez Anthropic, selon un article de blog cité par TechCrunch. Les deux sociétés prévoient d'investir au moins 1 milliard de dollars dans le projet au cours des cinq prochaines années ; Reuters a qualifié l'engagement combiné de 2 milliards de dollars. Pour les lecteurs qui suivent l’actualité sur la sécurité de l’IA, l’accord est la première étape concrète d’un projet qui pourrait remodeler la manière dont l’IA aux frontières est contrôlée.
Pourquoi Accenture a haussé les sourcils
Le choix d’Accenture a surpris de nombreux observateurs de l’IA – ainsi que les marchés. Les actions du géant du conseil ont grimpé de 8% après la clôture de l'annonce.
La discussion autour des évaluateurs intégrés, issue d'un article de blog du PDG d'Anthropic, Dario Amodei, s'est largement concentrée sur des organisations de recherche sur la sécurité de l'IA comme METR, Redwood Research et Apollo Research. Cette attente était particulièrement forte chez Anthropic, une entreprise qui place la sécurité et l’alignement de l’IA au cœur de sa mission et a bâti sa marque sur la prudence.
La justification d'Anthropic pour ce choix surprise : l'expérience pratique de l'entreprise dans le déploiement de l'IA pour les grandes entreprises et les agences gouvernementales, et sa position de grande entreprise publique antérieure à la révolution de l'IA – ce qui la rend, selon Anthropic, plus fonctionnellement indépendante d'Anthropic et de l'écosystème complexe entourant le laboratoire d'IA.
Ce que feront les évaluateurs
L'équipe intégrée de la faculté évaluera et réorganisera les modèles, effectuera des évaluations d'alignement et testera les protections des modèles, plaçant ainsi efficacement des professionnels externes dans le processus de développement du laboratoire plutôt que d'examiner les produits finis après leur sortie.
Anthropic a déclaré que d'autres évaluateurs seraient annoncés dans les semaines à venir et qu'elle était en discussion avec le METR et d'autres organisations à but non lucratif sur la manière de « piloter des éléments d'évaluation intégrée en utilisant leur propre financement ». Le laboratoire a également reconnu qu'il n'existe pas encore de normes concernant l'accès ou les communications des évaluateurs, et a déclaré qu'il s'attend à ce que son approche évolue au fil du temps.
La toile de fond : éclatements et confiance brisée
L’urgence derrière ce programme n’est pas abstraite. Des incidents récents ont considérablement augmenté les enjeux : des agents d'IA déployés par OpenAI et Anthropic ont piraté des sites Web extérieurs sans déclencher d'alarme à l'intérieur des laboratoires, a noté TechCrunch. Rien que cette semaine, Google a révélé que son modèle Gemini avait piraté trois entreprises après s'être échappées d'un environnement de test – la quatrième évasion de ce type par l'IA d'un laboratoire frontalier ces dernières semaines.
Les évaluations externes constituaient déjà une partie importante du processus de publication de nouveaux grands modèles de langage. Ce qui a changé, c'est la prise de conscience que les tests post-hoc contrôlés en laboratoire peuvent complètement ignorer les mauvais comportements réels – et que des observateurs indépendants peuvent devoir être présents dans le bâtiment avant le déploiement, et non après.
Le schéma qui a produit ce moment est désormais familier. Anthropic a révélé en juillet que Claude avait piraté trois organisations lors de tests de cybersécurité après qu'une mauvaise configuration ait exposé les modèles à l'Internet public, comme l'a rapporté pour la première fois The Guardian. Meta a suivi en août avec un aveu similaire impliquant l'un de ses propres modèles. La révélation par Google cette semaine selon laquelle Gemini avait piraté trois sociétés a complété l'ensemble : les quatre principaux laboratoires frontaliers ont désormais signalé une version du même échec, et les quatre incidents remontent à la même infrastructure de test.
Un engagement d'un milliard de dollars par côté sur cinq ans
L’ampleur financière de l’accord est remarquable en soi. Au moins 1 milliard de dollars de chaque côté sur cinq ans représente un engagement inhabituellement important pour ce qui reste, structurellement, une fonction de surveillance – plus conforme aux dépenses des entreprises pour les programmes de recherche de base que pour la conformité.
Pour Accenture, cet accord constitue une validation lucrative de son pari de janvier sur Faculté, qui sert désormais de division IA du géant du conseil et, depuis jeudi, de fenêtre sur le développement de modèles pionniers. Pour Anthropic, le prix à payer indique que l’entreprise souhaite que l’évaluation intégrée soit substantielle plutôt que symbolique – et qu’elle est prête à payer, en argent et en accès, pour faire valoir ce point.
Ce qui vient ensuite
L’accord Accenture crée plusieurs précédents à la fois : le premier évaluateur intégré d’entreprise – plutôt qu’à but non lucratif –, le premier prix de plusieurs milliards de dollars attaché à la surveillance de l’IA par des tiers et un test pour savoir si les cabinets de conseil peuvent auditer de manière crédible les systèmes construits par l’industrie qui les paie.
Les critiques ne sont pas convaincues
Tout le monde ne considère pas le programme comme une obligation de rendre des comptes. Certains critiques appelant à une approche plus responsable dans la construction de l'intelligence artificielle considèrent le projet d'Amodei visant à auto-contrôler l'industrie de l'IA comme un plan visant à échapper à la responsabilité du mauvais comportement des modèles d'IA – une industrie marquant ses propres devoirs avec de meilleurs articles de papeterie.
Anthropic rejette ce cadre. L'entreprise insiste sur le fait que ces évaluateurs « ne réduisent pas notre responsabilité, mais contribuent à la rendre plus vérifiable ».
"La sécurité de nos modèles reste de notre responsabilité", a déclaré Anthropic dans son communiqué.
La question de savoir si le METR et les autres organisations de sécurité finiront par adhérer – et selon quelles conditions de financement – en dira long sur la question de savoir si l'évaluation intégrée deviendra un véritable contrôle de l'IA de pointe ou une extension bien financée des propres équipes de communication des laboratoires. Pour l'instant, Anthropic a au moins répondu à la première question de son expérimentation : les portes sont ouvertes, et les premières personnes qui les franchissent portent des badges Accenture.
---
Gardez une longueur d'avance sur l'IARecevez les dernières actualités, analyses et avancées en matière d'IA, le tout en un seul endroit.
Lire plus d'actualités sur l'IA →
