Un deuxième mathématicien a publiquement accusé OpenAI de comportement contraire à l'éthique et « malhonnête » concernant les données derrière ses célèbres avancées mathématiques, affirmant que la société n'avait pas réussi à prouver que ses interactions privées avec ChatGPT n'avaient pas contribué aux résultats annoncés en grande pompe le mois dernier.
Dans une série d'articles sur Mastodon rapportés par The Verge mercredi, le mathématicien Andreas Thom a fait part de ses inquiétudes quant au fait que les conversations que lui et ses collègues ont eues avec ChatGPT avant l'annonce d'OpenAI pourraient avoir contribué au succès du modèle. Son intervention intervient quelques jours seulement après que le professeur de mathématiques Tristan Buckmaster de l'Université de New York s'est publiquement demandé si les modèles d'OpenAI avaient bénéficié de sa propre utilisation de l'outil Codex de l'entreprise, transformant un moment de triomphe du laboratoire en un conflit permanent sur la provenance des données de formation. Pour plus de contexte sur cette histoire, consultez notre couverture de l'industrie de l'IA.
De la percée au contrecoup
En août, OpenAI a annoncé que son système avait produit dix résultats significatifs en mathématiques et en informatique théorique, chacun vérifié avec des preuves Lean vérifiées par machine – une étape couverte par ce site à l'époque, parallèlement à la solution revendiquée par l'entreprise à un problème du Prix du Millénaire. L'un des dix résultats a établi l'existence de ce que l'on appelle les groupes non sofiques, une question longtemps ouverte en théorie des groupes.
Ce résultat est au centre de la nouvelle controverse. Selon The Verge, OpenAI a reconnu que la preuve s'appuyait largement sur les travaux antérieurs de Thom et de son collègue mathématicien Gábor Kun – et après les critiques des cercles mathématiques pour avoir initialement omis de reconnaître leurs récentes contributions, la société a discrètement modifié son article.
Pour Thom, cette reconnaissance soulevait une question inconfortable : comment le modèle en est-il arrivé à maîtriser ses techniques et celles de Kun avec autant de détails ?
La question posée par Thom est restée sans réponse
Thom s'est dit frappé par « la maîtrise détaillée de nos techniques par OpenAI », qui, selon lui, n'étaient ni les voies les plus évidentes ni les plus prometteuses vers une solution à l'époque. Il a écrit des e-mails aux chercheurs d'OpenAI Sébastien Bubeck et Mark Sellke — ce dernier également statisticien à Harvard — leur demandant si ses interactions avec ChatGPT avaient fait « partie des données d'entraînement ou étaient accessibles au processus de raisonnement » et auraient donc pu contribuer au résultat.
La réponse qu'il a reçue portait uniquement sur la question de savoir si ses conversations étaient accessibles directement, et non si elles avaient pénétré dans les vastes pools de données utilisées pour former et améliorer les modèles de l'entreprise. "Aucune qualification, explication ou preuve de ce type n'a été donnée", a écrit Thom. "Je considère cela comme de la malhonnêteté, c'est le moins qu'on puisse dire."
Dans un suivi cité par The Verge, il a aiguisé l'accusation : « La réponse catégorique de Sellke était, au minimum, injustifiablement large et matériellement trompeuse ; avec le recul, elle était clairement malhonnête. »
L’argument de Thom porte moins sur ce qu’OpenAI a fait que sur qui supporte la charge de la preuve. Les chercheurs, a-t-il déclaré, ne sont pas équipés pour procéder à une rétro-ingénierie du pipeline de formation de l'entreprise. "Seule OpenAI dispose des données pertinentes pour cela", a-t-il écrit. Ainsi, si l'entreprise veut nier que les données des utilisateurs ont contribué à ses résultats, il incombe à OpenAI de le prouver en divulguant les ensembles de données pertinents et en clarifiant la manière dont elle utilise les interactions avec les clients.
Les démentis prudents d'OpenAI
Le différend fait écho à la gestion par l'entreprise de sa prétendue percée Navier-Stokes, travail sur lequel Buckmaster avait poursuivi avec le chercheur anthropique Levent Alpöge à titre personnel, selon The Verge. Dans le billet de blog annonçant ce résultat, OpenAI a déclaré : « Nous (les chercheurs et les agents) n'avons vu aucun de leurs travaux par quelque moyen que ce soit jusqu'à ce qu'ils les rendent publics — en particulier, aucune donnée utilisateur spécifique n'a été consultée afin de résoudre ce problème. »
Mais le même article concède un canal indirect : « Bien que cela soit peu probable, nous ne pouvons pas exclure que des données anonymisées dérivées de leur utilisation de nos produits aient contribué à améliorer nos modèles. »
Pour Thom, cette distinction est tout le problème. "La désidentification peut supprimer un nom ; elle ne supprime pas le contenu intellectuel d'une idée mathématique", a-t-il écrit. OpenAI n'a pas immédiatement répondu à la demande de commentaires de The Verge.
Il a ajouté qu'il « serait éthiquement indéfendable » si les recherches non publiques fournies par les utilisateurs contribuaient à améliorer les modèles que l'entreprise utilisait ensuite pour inciter ces mêmes utilisateurs à la publication – sans consentement, divulgation appropriée ou crédit.
Un frisson pour les mathématiques
Les circonstances de la campagne pour le Prix du Millénaire n’ont guère contribué à calmer les nerfs. OpenAI a déclaré avoir poursuivi le problème après avoir entendu des rumeurs en ligne selon lesquelles d'autres chercheurs avaient réalisé des progrès majeurs, conduisant ainsi les universitaires à un résultat auquel ils avaient passé des années.
De nombreux chercheurs ont déclaré à The Verge qu'ils craignaient qu'un tel comportement ne pousse les mathématiques dans un état plus secret, si les mathématiciens en viennent à croire que même les rumeurs d'une percée imminente pourraient déclencher une course contre un géant de la technologie bien doté en ressources et avide de gloire. La couverture connexe de The Verge – « La percée mathématique sournoise d’OpenAI envoie un froid dans le monde universitaire » – a capturé l’ambiance sur le terrain.
L’épisode arrive à un moment délicat pour les entreprises d’IA et les communautés de recherche qu’elles affrontent de plus en plus. Quels que soient les mérites d’un résultat individuel, l’asymétrie décrite par Thom est structurelle : les laboratoires peuvent ingérer les interactions des utilisateurs à grande échelle, tandis que les personnes qui génèrent ces données n’ont aucun moyen de vérifier ce qui a été pris. Jusqu'à ce que les entreprises ouvrent leurs pipelines de formation à un examen minutieux ou imposent des pare-feu durs et vérifiables entre les conversations des clients et la formation des modèles, chaque déclaration « nous n'avons pas utilisé vos données » portera un astérisque implicite – et chaque avancée viendra avec des mathématiciens, et de plus en plus de chercheurs dans d'autres domaines, qui en demanderont la preuve.
---
Restez à la Pointe de l'IALes dernières actualités, analyses et percées en IA — au même endroit.
Lire plus d'actualités IA →
