Des chercheurs de l’Université de Tel Aviv et de l’Université de Stanford rapportent que les systèmes d’intelligence artificielle peuvent développer de véritables compétences d’apprentissage grâce à du matériel de formation entièrement généré par d’autres modèles d’IA – sans texte écrit par l’homme, photographies ou toute autre donnée externe impliquée.

Les résultats, publiés sur la plateforme de prépublication scientifique arXiv et décrits par The Media Line, suggèrent qu'un modèle peut développer ses capacités prédictives de base avant même de rencontrer du matériel du monde réel – un résultat qui pourrait changer la façon dont les futurs systèmes d'IA sont formés. Pour une couverture plus approfondie des recherches, consultez la page d'accueil d'AI Buzz Wire.

Comment fonctionne la boucle d'auto-formation

L'équipe a testé le concept avec un système de formation construit à partir de deux modèles d'IA. L'un était chargé de générer des séquences de symboles ; l'autre tentait de prédire quel symbole apparaîtrait ensuite. Aucun des deux modèles n’a consulté de documents écrits, de photographies ou toute autre source externe : chaque exercice du programme a été produit à l’intérieur du système lui-même.

Au fur et à mesure que les exercices progressaient, le générateur est devenu de plus en plus sophistiqué pour créer des défis qui amélioraient les performances de son partenaire, tandis que le prédicteur développait des capacités plus fortes en tentant à plusieurs reprises de résoudre ces problèmes. Cette approche permet effectivement à un système d’IA d’affiner sa façon d’apprendre grâce à une boucle continue de génération et de résolution d’exercices de difficulté croissante.

Compétences sans connaissances

Pour déterminer si ces compétences pouvaient être appliquées au-delà de l’environnement de formation artificiel, les chercheurs ont évalué le modèle résultant par rapport à plusieurs types d’informations réelles : langage écrit, images, audio, musique, code informatique et séquences d’ADN.

Les expériences ont démontré que la précision prédictive ne cessait d’augmenter à mesure que des ressources informatiques supplémentaires étaient allouées à la formation – preuve que la méthode évolue et pourrait devenir plus efficace à mesure que la capacité de calcul augmente.

Les résultats tracent également une ligne importante. Les modèles ont développé la capacité de reconnaître des modèles, mais ils n’ont pas acquis de manière indépendante des informations factuelles sur des sujets du monde réel ; Ce type de connaissances, ont découvert les chercheurs, nécessite toujours une exposition à des données réelles. En d’autres termes, la formation auto-générée peut enseigner à un modèle comment apprendre, mais pas ce que contient le monde.

Les chercheurs pensent que cette technique pourrait néanmoins rendre les futurs systèmes d’IA plus efficaces, en renforçant leurs capacités d’apprentissage sous-jacentes avant qu’ils ne commencent à traiter des informations du monde réel – réduisant potentiellement la quantité de matériel de formation à la frontière générée par l’homme qui nécessite en amont du pipeline.

Pourquoi « Apprendre à apprendre » est important

Il existe une analogie utile avec l’éducation humaine : un étudiant qui s’est entraîné à résoudre des problèmes inconnus tire généralement davantage d’un manuel fixe qu’un étudiant qui l’a simplement mémorisé. Ce que démontre le dispositif Tel Aviv-Stanford, dans cette lecture, est une version machine de cette séparation – une phase au cours de laquelle un modèle acquiert des compétences prédictives générales à partir d’exercices fabriqués, avant qu’un corpus réel n’entre en scène.

Cette découverte rappelle également que la pré-formation et les connaissances ne sont pas la même chose, une distinction qui est devenue plus importante à mesure que les laboratoires mélangent des données synthétiques dans leurs pipelines. Si un modèle peut arriver au stade des données réelles en sachant déjà comment extraire le signal des séquences, le même corpus pourrait vraisemblablement aller plus loin – bien que cela reste une hypothèse jusqu'à ce que de futurs travaux le testent.

Comme pour toute prépublication, le résultat attend d'être reproduit et examiné par la communauté de recherche au sens large, et l'évaluation a porté sur des tâches prédictives plutôt que sur la génération ouverte qui définit les chatbots commerciaux.

Une industrie avide de données en prend note

Le résultat arrive au milieu d’un débat actif sur les données d’entraînement. Le pool accessible de textes humains de haute qualité a été largement exploité, et des accords de licence, des données synthétiques et des méthodes d'auto-jeu ont tous été lancés comme moyens de continuer à améliorer les modèles lorsque l'offre du Web ouvert s'amenuise. La démonstration que des compétences d’apprentissage utiles peuvent émerger d’exercices purement générés par des machines ajoute des données concrètes à cet argument.

La propre mise en garde des chercheurs marque la limite de cette affirmation : la connaissance du monde nécessite toujours des données réelles. Selon ces preuves, l’auto-formation est un moyen d’améliorer les modèles d’apprentissage – et non un moyen de remplacer la vérité fondamentale issue du monde réel.

Israël se tourne vers l'IA

Cette annonce intervient alors qu’Israël s’efforce de renforcer sa position dans le domaine de l’intelligence artificielle. Le 3 novembre, le président Isaac Herzog a convoqué la séance inaugurale du forum « Au-delà de l'intelligence », créé avec la Direction nationale de l'IA du cabinet du Premier ministre et le Mosaic Institute for AI Policy pour examiner l'impact de l'IA sur l'emploi, la sécurité économique et la société.

"Israël doit prendre sa place à l'avant-garde de l'intelligence artificielle", a insisté Herzog lors de la session, selon The Media Line. "Ce train ne nous attendra pas et le monde entier regarde dans notre direction."

Pour l'instant, le résultat de Tel Aviv-Stanford figure carrément dans la colonne de la recherche : une prépublication en attente d'un examen minutieux par le domaine, décrivant un principe de formation plutôt qu'un produit. Mais si les programmes d’études auto-générés peuvent remplacer de manière significative une partie du pipeline de données, l’apport le plus contesté de l’industrie – les données créées par l’homme – pourrait avoir moins d’importance que le plus rare : le calcul.

---

Gardez une longueur d'avance sur l'IA

Recevez les dernières actualités, analyses et avancées en matière d'IA, le tout en un seul endroit.

Lire plus d'actualités sur l'IA →