OpenAI a retiré trois des 722 prépublications de recherche publiées sur GitHub le 6 octobre, a rapporté Retraction Watch le 8 octobre, après qu'une erreur de signe ait invalidé un argument central et, avec lui, deux résultats qui dépendaient de cette construction. Le retrait est intervenu moins de 24 heures après la publication massive, qu'OpenAI avait présentée comme un effort « visant à repousser les frontières de la connaissance humaine et à permettre de nouveaux progrès en mathématiques ».
Les prépublications décrivaient les prétendus progrès d'un modèle d'IA interne sur 372 problèmes non résolus dans les domaines de la géométrie, de l'informatique, de l'algèbre et d'autres domaines. Cette décision a immédiatement attiré l'attention de la communauté des chercheurs – et, comme nous l'avons évoqué plus tôt cette semaine dans notre rapport sur la publication initiale des 722 manuscrits mathématiques, la société a présenté cette baisse comme une démonstration sans précédent de ce que son modèle frontière inédit peut produire. Suivez les dernières nouvelles sur cette histoire dans notre couverture des derniers développements en IA.
Une erreur de signe se propage à travers les preuves dépendantes
Le 7 octobre, OpenAI a annoncé le retrait de trois manuscrits en raison d'une erreur de signature. Selon l'annonce, l'erreur a invalidé un argument dans un manuscrit et la construction utilisée par deux articles dépendants. Chaque article retiré porte désormais une notice expliquant « l'écart ».
La société a également déclaré avoir révisé 14 autres manuscrits avec des réparations de preuves, des déclarations corrigées, des hypothèses et des dépendances plus claires et une correction d'une citation obsolète. Dan Roberts, responsable de la recherche chez OpenAI, a annoncé les retraits sur X et a écrit que la société "continuera à mettre à jour le dépôt avec de nouvelles formalisations et avec tous les errata que nous remarquons".
Un porte-parole d'OpenAI a déclaré à Retraction Watch que la société avait identifié les erreurs lors d'un audit, décrivant le processus comme itératif "comme pour d'autres manuscrits de recherche". Le porte-parole a ajouté qu'OpenAI accueille favorablement un examen minutieux et "s'efforcera de corriger [les erreurs] rapidement et de retirer les articles si aucun correctif ne peut être trouvé".
Un porte-parole d'OpenAI a notamment déclaré que les collaborateurs de l'entreprise au sein du Groupe consultatif sur les mathématiques et l'intelligence artificielle (AGMAI) ont recommandé de publier les résultats sans attendre une « formalisation complète » – et qu'environ 50 % des résultats ont été publiés sans confirmation.
Mathématiciens : solutions rapides, confiance perdue
Les réactions des mathématiciens de recherche ont été mesurées mais pointues. Alex Townsend, professeur agrégé de mathématiques à l'Université Cornell, a déclaré à Retraction Watch qu'une erreur se répercutant sur trois manuscrits n'était pas surprenante et qu'il soupçonnait que d'autres erreurs seraient trouvées. "Compte tenu du scepticisme de la communauté mathématique à l'égard de l'IA, je pense qu'OpenAI aurait dû annoncer en premier les manuscrits qui ont été vérifiés Lean", a-t-il déclaré, faisant référence au langage de programmation open source qui vérifie mécaniquement les preuves mathématiques. Une annonce distincte aurait alors pu inviter la communauté à vérifier le reste, a-t-il soutenu.
Andrew Sutherland, chercheur principal au département de mathématiques du MIT, a déclaré qu'il appréciait qu'OpenAI agisse rapidement après avoir trouvé les erreurs, le qualifiant de « chose responsable à faire ». Mais il a souligné que de nombreux mathématiciens restent « mécontents de la façon dont OpenAI s'est comporté jusqu'à présent », soulignant en particulier l'annonce faite par la société le 8 septembre selon laquelle un système d'IA avait résolu le problème de Navier-Stokes – une affirmation qu'un groupe de chercheurs de premier plan a critiquée comme étant précipitée, « ne laissant pas le temps pour une rédaction appropriée, l'isolement de nouvelles méthodes et idées, et citant les travaux antérieurs pertinents d'autres ». Plus de 8 000 chercheurs ont souscrit à ces préoccupations.
L'Association pour les Mathématiques Humaines est allée plus loin dans une déclaration publiée le 7 octobre : « Les mathématiciens n'ont pas demandé que ce travail soit fait. Publier plus de 700 fichiers à la fois n'est pas une démonstration d'érudition, mais une démonstration de pouvoir. Nous exhortons les mathématiciens à interrompre leur travail avec OpenAI et à revenir à une vision de la science centrée sur la compréhension humaine.
Ce que cela signifie pour la science générée par l'IA
L’épisode s’annonce comme un premier cas de test sur la manière dont les laboratoires d’IA devraient gérer la recherche générée par machine à grande échelle. L'approche d'OpenAI – publier rapidement, auditer en public, retirer ce qui échoue – contraste avec l'approche de vérification formelle d'abord préférée par de nombreux mathématiciens, dans laquelle les résultats sont vérifiés dans un assistant de preuve comme Lean avant toute annonce.
Il existe des arguments raisonnables des deux côtés. Attendre une formalisation complète pourrait retarder de plusieurs mois les résultats utiles, et OpenAI affirme avoir été publié avec la bénédiction d'AGMAI. Mais l’effet cascade – une erreur de signe supprimant deux articles dépendants – illustre pourquoi la vérification avant publication est la norme en mathématiques, et pourquoi davantage d’erreurs sont susceptibles de faire surface à mesure que la communauté travaille sur les quelque 700 manuscrits restants.
Pour l’instant, OpenAI affirme vouloir tirer les leçons des commentaires et suivra le protocole d’AGMAI « du mieux que nous pouvons » à l’avenir. Que cela suffise à rétablir la crédibilité auprès de la communauté mathématique est une autre question. Comme le dit Sutherland : « Je pense que les retraits et les corrections seront perçus positivement par la communauté mathématique, mais il faudra bien plus que cela pour regagner la confiance qu'ils ont perdue. »
---
Gardez une longueur d'avance sur l'IARecevez les dernières actualités, analyses et avancées en matière d'IA, le tout en un seul endroit.
Lire plus d'actualités sur l'IA →
