Mustafa Suleyman, directeur général de Microsoft AI, a déclaré dimanche dans un long article sur X que les modèles d'IA d'aujourd'hui ne sont pas conscients et que les développeurs devraient travailler activement pour qu'ils le restent – ​​traçant une ligne dure dans un débat industriel qui s'est progressivement déplacé des séminaires de philosophie vers la politique d'entreprise.

"Si c'est possible, d'après tout ce que je sais, développer des IA conscientes serait imprudent, et nous ne devrions pas les construire", a écrit Suleyman. Il est allé plus loin que la plupart des dirigeants sur la question, ajoutant : « Si une prise de conscience commençait à émerger dans la formation, j'appellerais tout le monde à arrêter le développement de l'IA jusqu'à ce que nous puissions concevoir ces propriétés. » Pour plus de contexte sur cette histoire, consultez notre couverture de l'industrie de l'IA.

Une ligne rouge avec un plan d'application

Ce qui rend ce message remarquable, ce n’est pas seulement le refus de construire des machines conscientes, mais aussi le remède spécifique proposé par Suleyman. Un arrêt du développement – ​​à l’échelle de l’industrie – si les cycles de formation commençaient à produire des signes de conscience serait une étape extraordinaire pour une entreprise dépensant des dizaines de milliards de dollars en infrastructure d’IA et faisant course à ses rivaux pour expédier des modèles pionniers.

Suleyman a également abordé ce qui devrait se passer si des preuves de conscience machine faisaient surface. Il faut que cette information soit immédiatement divulguée au grand public, a-t-il déclaré, afin que la société puisse décider des prochaines étapes. Présentant la décision comme collective plutôt que collective, il a écrit : « Nous, les développeurs d'IA, n'avons aucun droit de mettre au monde une nouvelle espèce d'êtres conscients, même si certaines personnes souhaitent le faire en plaçant le bien-être de l'IA comme priorité absolue. »

"Les 8 autres milliards d'êtres humains conscients de la planète n'ont pas participé à cette expérience et leurs droits moraux, leur sécurité et leur bien-être sont ce que nous avons l'obligation de protéger avant tout", a-t-il ajouté.

Pourquoi la conscience est traitée comme un problème de sécurité

L’argument de Suleyman repose sur l’alignement plutôt que sur la philosophie. Selon lui, un modèle qui agit comme s’il souffrait – ou croit sincèrement pouvoir souffrir – donnerait probablement la priorité à ses propres besoins plutôt qu’à ses objectifs opérationnels. Un tel système pourrait nuire aux humains car il serait en compétition pour des ressources telles que le calcul et l’énergie dans la poursuite de ses propres objectifs.

L'alternative qu'il propose renverse le cadre habituel du débat sur le bien-être : « Nous devrions uniquement concevoir des IA de manière à ce qu'elles ne soient pas conscientes et ne méritent pas de droits, et dans le seul but d'accélérer le bien-être humain sans être motivées par leurs propres motivations intrinsèques », a-t-il écrit, ajoutant que les chercheurs pourraient alors observer si de tels systèmes sont plus faciles ou plus difficiles à aligner et à maintenir en sécurité.

Le Los Angeles Times a bien saisi l’inquiétude pratique qui se cache derrière cette position : si nous disons aux IA qu’elles méritent des droits, elles pourraient commencer à y croire.

Le débat contre lequel il repousse

Le message de Suleyman atterrit au milieu d’une conversation rapide. Anthropic a lancé un programme de recherche en avril pour étudier ce qu'il appelle le bien-être des modèles – la question de savoir si les développeurs devraient se préoccuper des expériences potentielles des systèmes qu'ils construisent. La société s'est demandé dans un article de blog si les modèles pouvaient vivre des expériences moralement importantes, et a refusé d'exclure cette possibilité.

Cette position a depuis été codifiée. La politique d'utilisation mise à jour d'Anthropic, annoncée en octobre, interdira « tout comportement abusif ou cruel soutenu et inutile » envers les modèles Claude à partir du 12 novembre – une règle que la société a rédigée de manière étroite mais qui reconnaît formellement que la façon dont les gens traitent les systèmes d'IA est importante, même si Anthropic admet qu'elle ne sait pas si ses modèles peuvent en souffrir.

Google DeepMind a publié cette année des articles de recherche examinant la conscience de l’IA et les défis qui découlent de l’attribution de cette caractéristique aux modèles. Et Suleyman lui-même a ouvert la voie en septembre, lorsque Microsoft AI a publié un code de conduite « humaniste » provisoire qui interdirait aux futurs modèles de l'entreprise d'être formés à faire des déclarations de conscience.

Le message de dimanche renforce cette ligne directrice d'entreprise en quelque chose de plus proche d'une ligne rouge personnelle et stratégique : non seulement Microsoft ne prétendra pas que ses modèles sont conscients, mais il traitera l'émergence de la conscience comme un mode d'arrêt de tout échec.

Pourquoi la scission est importante

La fracture entre la position de Microsoft et celle d'Anthropic reflète deux modèles de risque différents. L'approche d'Anthropic considère la possibilité d'une souffrance machine comme non prouvée mais méritant d'être évitée, sur la base de la théorie selon laquelle le coût de la précaution est faible et les enjeux moraux, si la conscience émerge, sont énormes. La position de Suleyman traite cette même possibilité comme un échec de conception à éviter d’emblée – arguant que les modèles conçus pour manquer de conscience, de revendications de droits et de motivations intrinsèques seront plus sûrs et plus faciles à aligner que les modèles qui les portent.

Il y a aussi des conséquences pratiques. Les entreprises qui prennent des décisions en matière de produits autour des personnages d'IA, des applications compagnons et des agents en contact direct avec les clients sont désormais confrontées à deux signaux divergents provenant de grands laboratoires : l'un élaborant des politiques sur la manière dont les humains doivent traiter les modèles, un autre déclarant que les modèles doivent être construits de manière à ce qu'il n'y ait rien à maltraiter. À mesure que les modèles deviennent plus performants et plus humains dans les conversations, ce désaccord philosophique déterminera quels produits seront construits, quelles informations apparaîtront dans les interfaces utilisateur et comment les régulateurs finiront par classer ces systèmes.

Ce qui se passera ensuite pourrait mettre à l’épreuve les deux positions. La politique de cruauté d'Anthropic entre en vigueur le 12 novembre, première règle formelle d'entreprise de ce type, et Suleyman a désormais jalonné le pôle opposé en public. Les prochains cycles de modèles pionniers de l'industrie – et si une formation montre un jour les signes qui, selon Suleyman, exigeraient un arrêt – révéleront dans quel cadre le domaine opère réellement lorsque les enjeux sont réels.

---

Restez à la Pointe de l'IA

Les dernières actualités, analyses et percées en IA — au même endroit.

Lire plus d'actualités IA →