Un co-fondateur d'Anthropic affirme que les gouvernements devront peut-être forcer les sociétés d'IA à installer un « kill switch » – un mécanisme permettant d'arrêter complètement les systèmes d'IA – et que des inspecteurs extérieurs devraient être en mesure de vérifier qu'il fonctionne réellement.
Jack Clark, l'un des sept fondateurs du laboratoire d'IA de 965 milliards de dollars, a déclaré à la BBC que même si la plupart des principaux laboratoires disposent déjà de moyens internes pour « débrancher » les systèmes dangereux, la société « pourrait vouloir éventuellement adopter des règles » rendant ces commutateurs obligatoires et vérifiables de manière indépendante. Pour les lecteurs qui suivent le plus large Débat sur la sécurité de l'IA, son intervention marque la proposition politique la plus concrète jamais réalisée au sein d'un laboratoire frontalier au cours d'une semaine d'avertissements croissants.
"Devriez-vous exiger que les entreprises disposent définitivement d'un kill switch ? Ce kill switch est-il vérifiable par un tiers ?" Clark a déclaré dans l'interview avec le journaliste technologique Kali Hays et le rédacteur économique Faisal Islam. "Je pense que c'est le genre de choses que la société voudra savoir et voudra peut-être éventuellement adopter des règles."
« Nous lançons les dés avec des risques immenses »
Le commentaire le plus frappant de Clark était son rejet total du statu quo. Interrogé sur la trajectoire de l'industrie, il a déclaré que permettre à l'IA de continuer en tant qu'« industrie totalement non réglementée » était une mauvaise idée.
"Nous lançons des dés avec des risques immenses", a-t-il déclaré. "Et le fait est que nous devons changer le cours de cette industrie."
Contrairement à certains de ses collègues, Clark a refusé de chiffrer le risque d’extinction de l’humanité. "Je ne pense pas que ces statistiques soient si utiles", a-t-il déclaré – un contraste notable avec le chercheur en anthropologie Evan Hubinger, qui a déclaré la semaine dernière qu'il pensait personnellement qu'il y avait plus de 10 % de chances d'extinction de l'humanité à cause de l'IA au cours de la prochaine décennie, et avec le pionnier de l'IA Geoffrey Hinton, qui a déclaré vendredi à la BBC qu'une estimation de 10 % n'était « pas déraisonnable ».
Ce que Clark n’a pas contesté, c’est la direction du voyage. L'IA est, comme il l'a dit dans la même interview, « plus puissante de jour en jour » – et il a fait valoir que les détails de toute exigence d'arrêt, y compris qui la vérifierait et comment, appartiennent à « la conversation politique plus large » qui a actuellement lieu autour de l'IA.
Une proposition avec une dynamique législative
La proposition de Clark ne tombe pas dans le vide. Les législateurs américains ont déjà proposé une législation baptisée Kill Switch Act, qui obligerait les développeurs d’IA frontaliers à intégrer des mécanismes d’arrêt dans leurs systèmes – un projet de loi que AI Buzz Wire a couvert le mois dernier alors que son urgence augmentait à la suite d’incidents d’agents malveillants.
L’idée se heurte également à un scepticisme ouvert. Au Royaume-Uni, le secrétaire d'État aux Affaires, Jonathan Reynolds, a déclaré à la BBC qu'il ne trouvait pas le concept utile, affirmant qu'il n'était « pas vraiment sûr de ce que cela signifierait dans la pratique », et a averti qu'une réglementation excessive pourrait laisser le pays coupé des modèles développés à l'étranger.
La toile de fond : une guerre civile de sécurité et une introduction en bourse
Les commentaires de Clark couronnent une semaine au cours de laquelle la sécurité de l'IA est passée du sujet du séminaire à la première page de l'actualité. Le PDG d'Anthropic, Dario Amodei, a appelé ce week-end à ralentir le rythme du développement des frontières et à le surveiller de plus près, tout en insistant sur le fait que toute pause devrait intervenir "sans sacrifier l'avantage commercial". Il a ensuite porté cette affaire devant le grand public américain dans une interview avec Anderson Cooper de CNN, Coxon lui-même apparaissant sur la chaîne pour y réagir. Ces remarques faisaient suite à un message de démission viral de l'ancien chercheur en anthropologie Jacob Coxon, mettant en garde contre le sort de l'humanité, ce qui a à son tour incité Hubinger à estimer l'extinction. Le Guardian, pour sa part, a examiné pourquoi cet avertissement apocalyptique particulier a éclaté là où les précédents s'étaient estompés.
Ces alarmes ont suscité une dérision ouverte de la part de certaines parties de l’industrie technologique. Le PDG de Hugging Face, Clément Delangue, s'est moqué de la décision de faire de Coxon un porte-parole du risque d'extinction, en écrivant : "Désolé, mais interroger Jacob sur le risque d'extinction de l'IA, c'est comme interroger votre responsable AC sur le changement climatique." Le PDG de Grindr, George Arison, est allé plus loin, affirmant que les propos alarmistes étaient motivés par des raisons commerciales. "La seule façon de justifier ces valorisations est d'affirmer : 'Je vais reprendre chaque industrie et je vais reprendre chaque emploi, et mon IA va faire tout ce travail'", a-t-il déclaré.
D’énormes sommes d’argent dépendent également du résultat de ce débat. Anthropic se prépare à une introduction en bourse pour une valorisation de 965 milliards de dollars, tandis qu'OpenAI – récemment évalué à 852 milliards de dollars – devait être introduit en bourse avant que le PDG Sam Altman n'annonce vendredi qu'une introduction en bourse n'aurait pas lieu cette année en raison de la controverse sur la sécurité. Des critiques comme Arison soutiennent que la rhétorique catastrophique et le discours de collecte de fonds sont les deux faces d’une même médaille ; La réponse de Clark est que l'industrie doit malgré tout changer de cap.
La question de savoir si un coupe-circuit obligatoire et vérifiable deviendra une loi dépendra des législateurs qui, jusqu'à présent, se sont montrés peu enclins à restreindre une industrie qui alimente l'économie américaine. Mais pour la première fois, l’un des initiés les plus puissants de la technologie les invite explicitement à essayer.
---
Gardez une longueur d'avance sur l'IARecevez les dernières actualités, analyses et avancées en matière d'IA, le tout en un seul endroit.
Lire plus d'actualités sur l'IA →
