Plus de 20 chercheurs – parmi lesquels le prix Nobel Geoffrey Hinton, le pionnier de l'IA Yoshua Bengio, le co-fondateur d'Anthropic Jack Clark et le scientifique en chef d'OpenAI Jakub Pachocki – ont averti les gouvernements de se préparer à une « explosion du renseignement » de l'IA qui, selon eux, pourrait être le développement technologique le plus conséquent de l'histoire, a rapporté lundi le Guardian.

Le document, intitulé "Et si l'automatisation de la R&D en IA déclenchait une explosion du renseignement", exhorte les politiciens à agir avant que la technologie ne progresse de manière incontrôlable. Ses auteurs décrivent le scénario comme une « accélération spectaculaire des progrès de l’IA, pilotée par l’IA, compressant des avancées qui autrement prendraient des années en mois ou moins ». Pour les lecteurs qui suivent les dernières actualités en matière de recherche sur l’IA, le rapport est moins remarquable par son inquiétude que par celui qui l’a signé : des chiffres provenant de l’ensemble du monde universitaire et des laboratoires pionniers rivaux, démontrant conjointement que la recherche automatisée est le scénario auquel les décideurs politiques sont le moins préparés.

Que signifierait une explosion du renseignement

La préoccupation centrale des auteurs est la perspective que les systèmes d’IA s’améliorent eux-mêmes sans intervention humaine – un processus connu sous le nom d’auto-amélioration récursive, largement appelé dans l’article recherche et développement automatisés en IA.

Une fois que les systèmes d'IA auront atteint des capacités de niveau expert en matière de R&D en IA, affirme le document, un seul développeur pourrait diriger une main-d'œuvre équivalente à « des millions » de chercheurs humains de haut niveau. Selon les auteurs, l’automatisation de la R&D en IA est le déclencheur le plus probable d’une explosion du renseignement, car les systèmes d’IA contribuent déjà à améliorer leur propre technologie – et les systèmes améliorés qu’ils contribuent à créer peuvent être rapidement déployés une fois construits.

"Une explosion du renseignement pourrait être le développement technologique le plus conséquent de l'histoire de l'humanité, compressant des années de progrès en mois ou moins, menaçant le contrôle humain sur les systèmes d'IA et érodant gravement les contrôles sur le pouvoir au sein et entre les États, les entreprises et les branches du gouvernement", indique le journal, selon The Guardian.

Pourquoi les auteurs disent que la fenêtre se ferme

L'urgence du rapport repose sur une affirmation chronologique : les systèmes d'IA qui semblent défectueux aujourd'hui pourraient automatiser entièrement les projets de R&D qui prennent actuellement des mois aux équipes humaines d'ici 2028.

"Les gains de productivité issus de l'automatisation de la R&D en IA n'ont pas encore atteint le seuil nécessaire pour déclencher une explosion de l'intelligence, mais les gains des systèmes plus récents approchent probablement de ce seuil", écrivent les auteurs. "Une fois qu'une explosion du renseignement commence, la fenêtre d'action peut se fermer."

Le document ajoute que « des preuves préliminaires suggèrent qu’une explosion du renseignement pilotée par logiciel est possible », ce qui pourrait conduire au « développement extrêmement rapide de systèmes d’IA hautement performants ou surhumains ».

Les risques qu'ils signalent

Même si une explosion du renseignement pourrait produire des percées médicales et des progrès technologiques rapides, les auteurs soulignent trois dangers principaux :

  • Menaces incontrôlables. Des systèmes puissants pourraient permettre des menaces biologiques et cybernétiques qui se développent plus rapidement que les mesures nécessaires pour les contrer.
  • Contrôle perdu. À mesure que les humains s'impliquent moins dans la R&D en IA, ils pourraient perdre l'opportunité de diriger et de contraindre les systèmes qu'ils construisent.
  • Instabilité stratégique. Les États pourraient utiliser une explosion du renseignement pour convertir une avance modeste – dans le cyberespace, par exemple – en un avantage national décisif.

Le rapport affirme franchement que ces impacts sont « incertains ». Une avancée technologique pourrait prendre du temps pour mettre en œuvre des chaînes d’approvisionnement données pour des matériaux spécialisés ou des exigences réglementaires, et les systèmes d’IA pourraient également accélérer la vitesse à laquelle les risques sont atténués.

Ce que les gouvernements devraient faire

Les auteurs affirment que se préparer à une explosion des services de renseignement « devrait être une priorité urgente, y compris aux plus hauts niveaux de leadership gouvernemental », et présentent un ensemble de politiques possibles :

  • Exiger des rapports d'avancement transparents sur la R&D liée à l'IA, y compris l'intégration d'auditeurs indépendants au sein des entreprises d'IA
  • Limiter la vitesse à laquelle un système d'IA peut s'améliorer sur une période de temps donnée
  • Travailler avec des centres de données pour permettre la pause de certains projets de R&D en IA
  • Veiller à ce que les systèmes automatisés de R&D en IA soient entièrement isolés et ne puissent échapper au contrôle humain
  • Créer des « plans d'intervention d'urgence » pour l'éventail de scénarios qu'une explosion du renseignement pourrait produire

Les propositions étendent les idées déjà en cours dans la politique occidentale en matière d’IA – déclaration obligatoire des incidents, évaluation par des tiers et gouvernance informatique – mais les appliquent à un point final spécifique : l’automatisation de la recherche elle-même.

Pourquoi ces auteurs, et pourquoi maintenant

Les signataires donnent au document un poids inhabituel. Hinton et Bengio sont deux des « parrains » de l'IA moderne, reconnus pour leurs travaux fondamentaux sur les réseaux neuronaux ; tous deux sont devenus des voix éminentes mettant en garde contre la technologie qu’ils ont contribué à créer. Clark a cofondé Anthropic et Pachocki est scientifique en chef chez OpenAI.

Leur avertissement tombe au milieu d’un mouvement mesurable de l’industrie dans cette direction. Anthropic a déclaré que l'IA produit désormais 80 % de son propre code, tandis qu'OpenAI utilise des agents d'IA autonomes dans des domaines tels que la formation de nouveaux modèles, selon The Guardian. Les deux laboratoires ont également convenu de confier à des évaluateurs indépendants l’évaluation de leurs modèles après avoir averti que le développement de l’IA atteignait un stade critique en termes de sécurité.

La question de savoir si les gouvernements évolueront au rythme souhaité par les auteurs est une autre question. Mais l'argument central du journal – selon lequel il faut construire les freins avant que la voiture n'en ait besoin – est désormais soutenu par les personnes les plus proches de la machine.

---

Gardez une longueur d'avance sur l'IA

Recevez les dernières actualités, analyses et avancées en matière d'IA, le tout en un seul endroit.

Lire plus d'actualités sur l'IA →