Une vague d’avertissements publics au sein d’Anthropic s’est intensifiée cette semaine alors que plusieurs chercheurs de la société d’IA ont fait écho à l’évaluation apocalyptique d’un ancien collègue sur l’intelligence artificielle – suscitant une réponse méprisante de la part d’Elon Musk, qui a suggéré que le tollé était une « opération psychologique » coordonnée.
Selon The Guardian, l'escalade est survenue un jour après que le chercheur d'Anthropic Jacob Coxon a annoncé sa démission dans un message viral, écrivant que ni Anthropic ni OpenAI – son ancien employeur – ne construisaient des modèles d'IA de manière responsable et ne « jouaient avec nos vies ». Plutôt que de s'estomper, la controverse s'est intensifiée à mesure que le personnel actuel d'Anthropic a publié ses propres évaluations désastreuses en guise de soutien. Pour plus de contexte sur cette histoire, consultez notre dernières avancées en IA.
Les avertissements s'accumulent
Anna Wang, qui travaille sur la sécurité de l'intelligence artificielle générale chez Anthropic et a précédemment travaillé chez DeepMind de Google, a déclaré jeudi que de nombreuses personnes au sein de l'entreprise souhaitaient ralentir le développement afin de planifier les risques posés par des modèles de plus en plus performants.
"Il n'existe pas encore de plan scientifique viable pour résoudre les risques liés à l'IA qui s'améliore de manière récursive", a écrit Wang sur X.
Un autre employé d'Anthropic, Drake Thomas, a déclaré qu'il respectait la décision de Coxon de s'éloigner du développement de la technologie. "Les choses évoluent beaucoup trop vite, nous n'avons pas le degré d'assurance que nous souhaitons pour l'ASI [superintelligence artificielle]", a écrit Thomas.
Samuel Marks, qui travaille sur la recherche en matière de sécurité au sein de l'entreprise, a fait valoir que les préoccupations sont largement partagées au sein de l'industrie – et que l'ancienneté est en corrélation avec l'alarme. "Les développeurs d'IA pensent que leur technologie pourrait provoquer l'extinction de l'humanité (ou des conséquences tout aussi néfastes)", a écrit Marks. "Cela pourrait arriver dans les prochaines années. En général, plus le salarié est ancien, plus il est inquiet."
Evan Hubinger, qui se décrit comme un responsable de la division alignement d'Anthropic, est allé le plus loin. "Nous croyons sincèrement que l'IA pourrait tuer tous les humains !" Hubinger a écrit, ajoutant qu'il estime personnellement que la probabilité sera supérieure à 10 % au cours de la prochaine décennie.
Les notes d'Insider font suite à un reportage de CBS News selon lequel un chercheur d'Anthropic a attribué plus de 10 % de chances que l'IA provoque l'extinction de l'humanité, et à une couverture du Japan Times selon laquelle les avertissements ont renouvelé les appels en faveur de nouvelles règles sur l'IA aux États-Unis.
Musk : "On dirait un coup monté"
Elon Musk a adopté un point de vue nettement contradictoire. "Cela ressemble à un coup monté", a écrit l'homme le plus riche du monde sur X, sa propre plateforme sociale.
Coxon a répondu avec un selfie : "Je suis réel et ce sont mes vraies convictions. Vous pourriez poser des questions sur moi à vos chercheurs xAI si vous ne les aviez pas virés."
Musk et d'autres voix sympathiques ont amplifié une théorie avancée par Parker Thayer, chercheur au groupe de réflexion conservateur Capital Research, qui a suggéré – avec peu de preuves, note The Guardian – que le message de Coxon était le premier pas d'une « opération de relations publiques TRÈS sophistiquée et bien financée pour obtenir le soutien des démocrates pour réglementer l'IA jusqu'à l'oubli ».
Le gestionnaire de fonds spéculatifs milliardaire Bill Ackman a cité le message de Thayer avec une réponse en un mot : « Intéressant ».
Musk a précisé plus tard. "Je pense que les bases de cette opération psychologique (faute d'un meilleur terme) ont été préparées depuis longtemps", a-t-il posté. "C'est justement l'allumette qui a allumé le feu."
Anthropic défend son approche
Pris entre les avertissements de ses propres employés et les attaques extérieures, Anthropic a proposé une réponse publique mesurée.
"Nous avons toujours été transparents sur le fait que l'IA apporterait à la fois d'énormes avantages et des risques sans précédent", a déclaré un porte-parole de l'entreprise au Guardian. "Pour faire face à ces risques, nous continuons à construire des modèles dotés de certaines des protections les plus solides du secteur."
La société a souligné ses antécédents en matière de documentation et de perturbation des utilisations abusives. Le même jour où les avertissements sont devenus viraux, Anthropic a publié son rapport de renseignement sur les menaces de septembre, qui détaille comment l'entreprise a démantelé une opération tentant de fabriquer une arme biologique à l'aide de ses modèles d'IA – parallèlement à des campagnes perturbées couvrant des cyberattaques et des opérations d'influence. Al Jazeera et la BBC figuraient parmi les médias qui ont souligné vendredi les découvertes sur les armes biologiques.
Les sceptiques voient un risque différent
Tout le monde n’accepte pas le cadre de l’extinction. Gary Marcus, scientifique et critique de longue date de l’IA, a fait valoir que la technologie cause déjà des dommages qui justifient une action quels que soient les scénarios de superintelligence – appelant au boycott de l’IA face aux dommages actuels.
Plus que l'extinction, Marcus a déclaré au Guardian qu'il s'inquiétait du « risque de catastrophe » dû aux « agents pathogènes générés par l'IA, aux guerres déclenchées ou intensifiées par la désinformation générée par l'IA, aux piratages qui détruisent les infrastructures critiques, etc. Rien de ce que j'ai vu ne donne d'indication que tout cela soit sous contrôle. »
Sa position souligne une division au sein même du débat sur la sécurité de l’IA : entre ceux qui se concentrent sur les risques à long terme et à l’échelle de la civilisation liés aux systèmes futurs, et ceux qui se concentrent sur les dommages concrets des modèles actuels.
Un débat qui refuse de rester interne
Ce qui a commencé comme une lettre de démission d'un chercheur est devenu un référendum très public sur la manière dont l'industrie de l'IA construit ses systèmes les plus puissants. Au sein d'Anthropic, les employés se demandent ouvertement si leurs propres délais de développement en toute sécurité ont été dépassés. À l’extérieur, les avertissements s’intègrent dans une lutte politique de plus en plus polarisée sur la question de savoir si et comment les gouvernements doivent intervenir.
Les reportages du Guardian suggèrent que de nombreux employés d'Anthropic partagent ces préoccupations en privé mais ne se sont pas exprimés publiquement. Si davantage d’entre eux suivent Coxon, Wang, Thomas, Marks et Hubinger, la pression sur les principaux laboratoires d’IA pour qu’ils ralentissent – et sur les régulateurs pour qu’ils agissent – ne fera que croître.
_Cet article est basé sur un reportage du Guardian, avec un contexte supplémentaire de CBS News, The Japan Times, Al Jazeera et la BBC._
---
Restez à la Pointe de l'IALes dernières actualités, analyses et percées en IA — au même endroit.
Lire plus d'actualités IA →
