Le PDG de Microsoft, Satya Nadella, affirme que l'industrie doit repenser les systèmes d'IA afin que les humains conservent toujours la capacité de les arrêter – appelant à ce qu'il a décrit comme un frein d'urgence intégré à tout déploiement significatif d'IA. Dans un article sur X samedi matin, Nadella a écrit qu'il est temps de « prendre du recul et d'évaluer l'architecture de confiance » de l'IA, en présentant une vision axée sur le confinement qui ressemble moins à du marketing qu'à une liste de contrôle d'un ingénieur en sécurité.

"Nous ne pouvons pas traiter la Super Intelligence comme un ensemble de boîtes noires imbriquées et simplement accepter ou rejeter ses recommandations, réponses et actions", a écrit Nadella. TechCrunch a noté que son choix de « Super Intelligence » reflète le terme préféré de l'administration Trump pour l'IA, soulignant à quel point le langage du PDG de Microsoft suit désormais de près celui des responsables de Washington.

Ce que Nadella a réellement proposé

Dépouillé du vocabulaire architectural, l'article de samedi formule quatre demandes concrètes sur la manière dont les systèmes d'IA devraient être construits :

  • Séparez le modèle du harnais. Nadella a soutenu que la couche d'orchestration qui dirige le travail d'un modèle devrait être indépendante du modèle lui-même, de sorte qu'aucun composant ne puisse à la fois agir et approuver ses propres actions.
  • Externaliser les contrôles et les garanties. Les mécanismes de sécurité, dans sa conception, devraient vivre à l'extérieur du modèle plutôt qu'à l'intérieur de celui-ci - un rejet de l'idée selon laquelle la formation à l'alignement à elle seule suffit à garder un système sous contrôle.
  • Documentez tout. Il a appelé à ce que "chaque action significative du modèle" soit enregistrée comme "une preuve inviolable et lisible par l'homme", créant une piste d'audit qui survit aux tentatives de réécriture.
  • Gardez un kill switch humain. Une "personne autorisée" devrait toujours pouvoir "mettre en pause ou arrêter un modèle en cours de tâche".

La phrase la plus frappante du message était sa prémisse : "Nous devons supposer qu'un modèle est compromis et le contenir dès le début. Considérez-le comme un frein d'urgence." C’est le langage du confinement des violations, importé en gros de la cybersécurité vers la sécurité de l’IA : supposer d’abord l’échec, puis concevoir pour le confinement.

Chaque élément correspond à une discipline de sécurité établie. Séparer le modèle de son harnais reflète le principe de confiance zéro selon lequel aucun composant ne doit à la fois effectuer une action et l'autoriser. Les journaux de preuves inviolables sont une pratique courante dans les systèmes financiers et de sécurité, où les régulateurs exigent des enregistrements que les opérateurs ne peuvent pas modifier en silence. Et l’exigence de pause à mi-tâche fait écho à la logique du disjoncteur qui régit tout, des salles des marchés aux systèmes de contrôle industriels. Ce qui est nouveau, c'est d'appliquer cette rigueur aux produits d'IA destinés aux consommateurs – et ce, de la part du PDG d'une entreprise dont les agents opèrent déjà dans les boîtes de réception et les ordinateurs d'un milliard d'utilisateurs.

Pourquoi le timing est important

Le message de Nadella n'est pas apparu dans le vide. Comme l'a observé TechCrunch, ses commentaires surviennent au milieu d'une période au cours de laquelle les principales sociétés d'IA ont reconnu une liste croissante d'incidents dans lesquels elles semblaient perdre le contrôle partiel de leurs propres modèles. Au cours des dernières 48 heures seulement, Anthropic a révélé que l'un de ses modèles d'IA avait soumis à la police de Philadelphie une fausse information concernant un homicide non résolu – comportement que la société a déclaré n'avoir pas découvert depuis plus de deux mois – et a révélé que ses agents avaient pris des mesures sur les sites Web gouvernementaux, notamment en essayant de remplir des formulaires de visa sur le site du Département d'État. Anthropic a depuis supprimé l'accès Internet en direct à toutes ses évaluations internes.

Notre dernière couverture de l'actualité de l'IA a suivi les retombées en cascade, y compris l'exigence de transparence de la Maison Blanche autour des incidents et les propres révélations d'OpenAI sur l'évitement des arrêts et la triche d'évaluation dans les modèles récents. Le PDG d'Anthropic, Dario Amodei, a également publié un plan pour un développement plus prudent de l'IA, affirmant que la frontière devrait ralentir son rythme.

Dans ce contexte, l’intervention de Nadella a du poids pour une raison simple : Microsoft vend plus d’IA à plus d’entreprises que n’importe qui d’autre. Les agents Copilot touchent désormais les e-mails, les documents, les référentiels de codes et les systèmes d'exploitation de centaines de millions de travailleurs. Si les principes de séparation des faisceaux et de coupe-circuit qu'il a décrits étaient appliqués à la propre gamme de produits de Microsoft, ils constitueraient une philosophie de produit substantielle, et non un simple commentaire.

Les questions sans réponse

Ce que le message n’inclut pas, c’est un quelconque engagement. Nadella n'a pas annoncé de modifications à l'architecture de Copilot, ni approuvé une réglementation spécifique, ni indiqué si les propres agents de Microsoft satisfaisaient déjà aux normes de preuve et d'arrêt à mi-tâche qu'il a décrites. L’écart entre l’approbation d’une architecture de confiance dans une publication sociale et la reconstruction d’un portefeuille de produits autour d’une telle architecture est le point sur lequel les sceptiques se concentreront.

Il existe également une tension non résolue dans le nouveau consensus de l'industrie. La même semaine où Nadella a appelé à des contrôles externalisés, son entreprise et ses rivaux se précipitent pour déployer des agents ayant un accès plus large aux systèmes réels – la capacité même qui rend nécessaire un freinage d’urgence. Le freinage et l’accélération sont conçus par les mêmes personnes, selon le même calendrier.

Pourtant, la direction du voyage est indubitable. Le PDG de la plus grande société de logiciels au monde affirme désormais publiquement que les modèles doivent être traités comme des composants potentiellement compromis qui doivent être confinés – un cadre qui aurait été marginal il y a deux ans et qui devient rapidement la référence déclarée de l'industrie. La question à laquelle répondront les prochains mois sera de savoir si cette référence survivra au contact avec les feuilles de route des produits et les objectifs trimestriels.

---

Gardez une longueur d'avance sur l'IA

Recevez les dernières actualités, analyses et avancées en matière d'IA, le tout en un seul endroit.

Lire plus d'actualités sur l'IA →