I ricercatori dell’Università di Tel Aviv e dell’Università di Stanford riferiscono che i sistemi di intelligenza artificiale possono sviluppare autentiche capacità di apprendimento attraverso materiale di formazione generato interamente da altri modelli di intelligenza artificiale, senza testo scritto da persone, fotografie o altri dati esterni coinvolti.
I risultati, pubblicati sulla piattaforma scientifica di prestampa arXiv e descritti da The Media Line, suggeriscono che un modello può sviluppare le sue principali capacità predittive prima ancora di incontrare materiale del mondo reale, un risultato che potrebbe cambiare il modo in cui i futuri sistemi di intelligenza artificiale verranno addestrati. Per una copertura più approfondita delle ricerche, consultare la home page di AI Buzz Wire.
Come funziona il ciclo di autoformazione
Il team ha testato il concetto con un sistema di addestramento costruito a partire da due modelli di intelligenza artificiale. Uno aveva il compito di generare sequenze di simboli; l'altro ha tentato di prevedere quale simbolo sarebbe apparso dopo. Nessuno dei due modelli ha consultato documenti scritti, fotografie o qualsiasi altra fonte esterna: ogni esercizio del curriculum è stato prodotto all’interno del sistema stesso.
Con il progredire degli esercizi, il generatore è diventato sempre più sofisticato nel creare sfide che miglioravano le prestazioni del suo partner, mentre il predittore ha sviluppato abilità più forti tentando ripetutamente di risolvere quei problemi. L’approccio consente effettivamente a un sistema di intelligenza artificiale di affinare il modo in cui apprende attraverso un ciclo continuo di generazione e risoluzione di esercizi di difficoltà crescente.
Abilità senza conoscenza
Per determinare se tali abilità potessero essere applicate oltre l’ambiente di allenamento artificiale, i ricercatori hanno valutato il modello risultante rispetto a diversi tipi di informazioni reali: linguaggio scritto, immagini, audio, musica, codice informatico e sequenze di DNA.
Gli esperimenti hanno dimostrato che l’accuratezza predittiva continuava ad aumentare man mano che ulteriori risorse informatiche venivano assegnate alla formazione: prova che il metodo è scalabile e potrebbe diventare più efficace con l’espansione della capacità computazionale.
Anche i risultati tracciano una linea importante. I modelli hanno sviluppato la capacità di riconoscere modelli, ma non hanno acquisito in modo indipendente informazioni fattuali su argomenti del mondo reale; questo tipo di conoscenza, hanno scoperto i ricercatori, richiede ancora l’esposizione a dati reali. In altre parole, la formazione autogenerata può insegnare a un modello come apprendere, ma non cosa contiene il mondo.
I ricercatori ritengono che la tecnica potrebbe tuttavia rendere i futuri sistemi di intelligenza artificiale più efficienti, rafforzando le loro capacità di apprendimento sottostanti prima che inizino a elaborare le informazioni del mondo reale, riducendo potenzialmente la quantità di corsi di formazione sulla frontiera dei materiali generati dall’uomo richiesti nella parte anteriore della pipeline.
Perché è importante "imparare a imparare".
Esiste un’utile analogia con l’educazione umana: uno studente che si è esercitato a risolvere problemi non familiari generalmente estrae di più da un libro di testo fisso rispetto a uno che lo ha semplicemente memorizzato. Ciò che l’impostazione Tel Aviv-Stanford dimostra, in questa lettura, è una versione automatica di quella separazione: una fase in cui un modello acquisisce capacità predittive generali da esercizi preconfezionati, prima che qualsiasi corpus reale entri in scena.
La scoperta ci ricorda anche che la pre-formazione e la conoscenza non sono la stessa cosa, una distinzione che è diventata più importante man mano che i laboratori mescolano dati sintetici nelle loro pipeline. Se un modello può arrivare alla fase dei dati reali sapendo già come estrarre il segnale dalle sequenze, lo stesso corpus potrebbe plausibilmente andare oltre, anche se questa rimane un’ipotesi fino a quando il lavoro futuro non lo metterà alla prova.
Come per qualsiasi prestampa, il risultato attende la replica e l’esame da parte della più ampia comunità di ricerca, e la valutazione ha riguardato compiti predittivi piuttosto che la generazione illimitata che definisce i chatbot commerciali.
Un settore affamato di dati prende nota
Il risultato finisce nel mezzo di un dibattito attivo sui dati di addestramento. Il pool accessibile di testo umano di alta qualità è stato pesantemente minato e accordi di licenza, dati sintetici e metodi di gioco autonomo sono stati tutti lanciati come modi per continuare a migliorare i modelli quando l'offerta del web aperto si esaurisce. La dimostrazione che utili capacità di apprendimento possono emergere da esercizi puramente generati dalla macchina aggiunge un dato concreto a tale argomento.
L'avvertimento dei ricercatori segna il confine di questa affermazione: la conoscenza del mondo richiede ancora dati reali. L’autoformazione, secondo queste prove, è un modo per migliorare l’apprendimento dei modelli, non un modo per sostituire la verità fondamentale che proviene dal mondo reale.
Israele punta sull'intelligenza artificiale
L’annuncio arriva mentre Israele lavora per rafforzare la propria posizione nel campo dell’intelligenza artificiale. Il 3 novembre, il presidente Isaac Herzog ha convocato la sessione inaugurale del forum “Beyond Intelligence”, istituito con la direzione nazionale dell’intelligenza artificiale presso l’ufficio del primo ministro e il Mosaic Institute for AI Policy per esaminare l’impatto dell’intelligenza artificiale sull’occupazione, sulla sicurezza economica e sulla società.
"Israele deve prendere il suo posto in prima linea nel campo dell'intelligenza artificiale", ha esortato Herzog durante la sessione, secondo The Media Line. "Questo treno non ci aspetterà e il mondo intero guarda nella nostra direzione."
Per ora, il risultato di Tel Aviv-Stanford si trova esattamente nella colonna della ricerca: una prestampa in attesa dell'esame approfondito del campo, che descrive un principio di formazione piuttosto che un prodotto. Ma se i programmi di studio autogenerati possono sostituire in modo significativo parte della pipeline di dati, l’input più contestato del settore – i dati creati dall’uomo – potrebbe avere un po’ meno importanza di quello più scarso: l’elaborazione.
---
Stai al passo con l'intelligenza artificialeRicevi le ultime notizie, analisi e scoperte sull'intelligenza artificiale, tutto in un unico posto.
Leggi altre notizie sull'AI →
