John Schulman, co-fondateur d'OpenAI et aujourd'hui scientifique en chef chez Thinking Machines, a déclaré qu'il s'attend à une auto-amélioration récursive – les systèmes d'IA accélérant leur propre développement – ​​dans environ trois à quatre ans, un calendrier qui le place parmi les prévisionnistes les plus agressifs dans le domaine. Schulman a donné cette estimation lors d'un épisode de table ronde du Dwarkesh Podcast publié vendredi, dans lequel trois chercheurs de laboratoires frontaliers ont ouvertement débattu de la proximité réelle de l'industrie avec son plafond.

La conversation a offert un rare regard spontané sur la manière dont les chercheurs proches de la frontière envisagent le progrès, arrivant au milieu d'une semaine bruyante au cours de laquelle le PDG de Nvidia, Jensen Huang, a déclaré que "l'AGI est arrivé" et un groupe de 25 médaillés Fields ont averti que la recherche de référence en matière d'IA nuit aux mathématiques. Pour les lecteurs qui suivent les derniers développements de l’IA, l’épisode est un contrepoids utile : ce sont des gens qui construisent les systèmes, et ils sont en profond désaccord les uns avec les autres.

Qui était à la table

L'animateur Dwarkesh Patel a déclaré qu'il avait réuni le panel parce que les invités travaillaient dans ce qu'il a appelé « des laboratoires et des entreprises quelque peu ouverts », ce qui signifie qu'ils pouvaient s'exprimer officiellement. Beren Millidge, directeur de la technologie chez Zyphra, une startup développant des modèles open source, et Charlie O'Neill, responsable de la formation des modèles chez Baseten, ont rejoint Schulman.

Les références de Schulman donnent à son discours sur la chronologie un poids particulier. Il a cofondé OpenAI et dirigé l'apprentissage par renforcement issu de la recherche sur la rétroaction humaine qui a produit les techniques derrière ChatGPT, avant de partir pour Thinking Machines, où il occupe désormais le poste de scientifique en chef.

L'affaire contre la singularité, en acier

Patel a commencé par une question pointue : si 2036 arrive sans que des milliards de systèmes superintelligents ne transforment le monde, quelle en aura été la raison technique ? Millidge a présenté les arguments les plus solides en faveur du scepticisme, décrivant ce qu'il a appelé un modèle presque semblable au paradoxe de Moravec dans lequel les modèles réussissent à tous les critères que les chercheurs leur soumettent, mais leur impact dans le monde réel est décevant.

"Il existe encore un écart persistant entre la simulation et la réalité qui, d'une manière ou d'une autre, bloque tout", a déclaré Millidge, décrivant un monde dans lequel l'IA devient "extrêmement bonne dans tout ce que les gens mettent dans un benchmark", sans généraliser davantage. Il a ajouté qu'il considère ce résultat comme improbable, soulignant que l'apprentissage par renforcement se généralise déjà dans la pratique.

Schulman est largement d’accord sur le fait que le progrès n’est pas automatique. Les humains détiennent de réels avantages par rapport aux modèles d'aujourd'hui, a-t-il déclaré, et chaque nouveau modèle rattrape son retard dans certains domaines tout en restant un goulot d'étranglement dans d'autres – le modèle qui a défini les derniers cycles de produits.

Délais rapides : deux ans, trois à quatre, cinq à dix

Lorsque Patel a appuyé sur des chiffres, le panneau s'est divisé. Lorsqu'on lui a demandé quand l'IA pourrait décupler la productivité d'un employé compétent, Schulman a d'abord refusé de donner un seul chiffre, puis a répondu "Je dirais deux ans". Millidge a déclaré qu'il pouvait "en quelque sorte voir cela, en fait", arguant que le gain dépassait déjà 10x pour certaines catégories de travail. O'Neill était le plus conservateur, répondant « 5 à 10 » ans.

Patel est ensuite allé plus loin, qualifiant le scénario de « fondamentalement juste ASI ». Réponse de Schulman : "Je dirais 3-4 ans", ajoutant que l'automatisation de la recherche sur l'IA elle-même n'est "pas l'une des choses les plus difficiles pour l'IA, car elle implique beaucoup" de travail que les techniques actuelles peuvent déjà aborder. L’échange a été remarquable par le peu de réticences que l’estimation a suscitée de la part des autres chercheurs.

Comment les chercheurs automatisés seraient réellement formés

Une partie importante de l'épisode traitait des mécanismes du scénario que Schulman envisageait. Lorsqu'on lui a demandé comment les systèmes d'IA capables d'automatiser la recherche sur l'IA seraient formés, Schulman a décrit « une combinaison d'apprentissage à partir des commentaires humains pour absorber le goût des chercheurs, et simplement la création de nombreux environnements de pratique qui impliquent des recherches en plusieurs étapes ».

Cette réponse est liée à la destination de l’argent de l’industrie. L'accord récemment conclu par Google pour Mechanize, une startup qui crée des environnements de travail simulés pour la formation des agents, reflète exactement ce pari selon lequel de meilleurs terrains de formation – et pas seulement des modèles plus grands – entraîneront la prochaine série de gains de capacités. Schulman a également signalé une difficulté fondamentale : les fonctions de récompense basées sur des données naturelles sont difficiles à spécifier, et des signaux superficiels, comme si un utilisateur a accepté une modification de code, peuvent induire en erreur la formation.

Distillation versus centralisation

L’une des prédictions les plus concrètes de Schulman concernait la structure industrielle. "Je pense que la distillation est la principale chose qui lutte contre la force centralisatrice", a-t-il déclaré, affirmant que les capacités acquises grâce à l'apprentissage par renforcement peuvent être transférées relativement facilement à des modèles plus petits, étendant ainsi les compétences frontalières au-delà des quelques entreprises qui peuvent se permettre des formations à la frontière.

Sur la question de savoir ce qui reste aux humains, Schulman s’est montré catégorique. "Je dirais que la dernière tâche des humains, ou le rôle qui durera le plus longtemps, consiste à définir l'objectif et à décider de ce que nous voulons réellement", a-t-il déclaré. Lorsque Patel a résumé que « l'alignement est le travail final », Schulman a confirmé : « L'alignement est en quelque sorte la réponse », tout en notant qu'il se décompose en la détermination du bon objectif, puis en l'atteignant.

Où se situe l'épisode dans le débat sur la chronologie

Le sous-titre de l'épisode – « Nous sommes loin du plafond » – reflète bien la teneur générale de l'épisode : des chercheurs voient un chemin important à parcourir, même s'ils contestent à quel point le chemin sera semé d'embûches. La discussion a porté sur ce qui motive les progrès des laboratoires chinois, sur la question de savoir si l'apprentissage par renforcement à long terme peut générer une intelligence générale et sur les raisons pour lesquelles RL a commencé à fonctionner aussi bien.

Le débat public sur les délais s’est intensifié de tous côtés ce mois-ci. La proclamation de Huang « AGI est arrivée » a suscité le scepticisme des analystes qui l'ont interprétée comme une analyse de rentabilisation plutôt que comme une affirmation scientifique, tandis que le PDG d'OpenAI, Sam Altman, a déclaré au personnel que la société était disposée à ralentir le développement de pointe à mesure que les problèmes de sécurité s'accentuaient, selon Bloomberg. La fenêtre de trois à quatre ans de Schulman pour l'auto-amélioration récursive se situe quelque part entre le marketing et le moratoire - une estimation de travail d'une personne ayant une expérience dans la création des techniques qui dominent actuellement le domaine.

Qu'il ait raison dépendra des questions que le panel a seulement encerclées : si l'apprentissage par renforcement continue de se généraliser au-delà de ses environnements de formation, et si l'écart entre les performances de référence et la valeur économique réelle continue de se réduire.

Gardez une longueur d'avance sur l'IA

Les chercheurs pionniers débattent en public des limites de l’IA – suivez l’histoire au fur et à mesure de son évolution.

Lisez plus d'actualités sur l'IA sur AI Buzz Wire