Un nuovo studio che ha monitorato circa 27.000 studenti in Cina ha prodotto alcune delle prove più preoccupanti finora sull’intelligenza artificiale generativa nell’istruzione: gli alunni che hanno utilizzato strumenti di intelligenza artificiale hanno visto i punteggi dei loro compiti aumentare del 18% e finire i compiti in molto meno tempo – poi hanno ottenuto punteggi inferiori del 20% ai loro compagni di classe negli esami sostenuti senza l’assistenza dell’intelligenza artificiale. La ricerca, condotta da David Strömberg dell’Università di Stoccolma insieme a Victor Lei e Wu Yanhui dell’Università di Hong Kong, è stata segnalata da The Economist il 18 agosto e sta circolando come documento di lavoro sulla SSRN. Per i lettori che seguono le ultime notizie sull'intelligenza artificiale, si tratta di un punto dati che educatori e genitori non ignoreranno facilmente.

L'installazione e lo shock

I ricercatori hanno cercato di rispondere a una domanda su cui la maggior parte delle scuole si è interrogata: l’intelligenza artificiale aiuta gli studenti a imparare o li aiuta a finire? Seguendo decine di migliaia di alunni in tutte le materie per sei mesi, il team ha potuto confrontare le prestazioni dei compiti con i successivi risultati degli esami sia per gli utenti dell'intelligenza artificiale che per i non utenti.

I principali risultati, riassunti da The Economist: dopo sei mesi, gli alunni che utilizzavano l’intelligenza artificiale hanno visto il punteggio medio dei compiti aumentare del 18% in tutte le materie, mentre il tempo dedicato a ciascun compito è sceso da una media di 64 minuti a 45. Ma quando è arrivato il momento degli esami, gli stessi studenti hanno ottenuto punteggi inferiori del 20% rispetto ai compagni di classe che non avevano mai usato l’intelligenza artificiale per i compiti.

La scoperta più profonda è più sottile e preoccupante. "Un tempo i punteggi dei compiti erano indicativi del rendimento degli esami; ora coloro che ottengono i punteggi più alti hanno, perversamente, maggiori probabilità di ottenere risultati peggiori negli esami", osserva l'analisi dell'Economist. In altre parole, il tradizionale segnale su cui fanno affidamento gli insegnanti – i voti dei compiti come indicatore della comprensione – è stato silenziosamente infranto. Gli studenti i cui compiti sembrano migliori potrebbero essere quelli che comprendono meno il materiale.

Outsourcing, non apprendimento

Perché i punteggi dei compiti sono aumentati vertiginosamente mentre i punteggi degli esami sono crollati? I dati indicano ciò che i ricercatori descrivono come outsourcing: gli studenti affidano il lavoro stesso al modello invece di usarlo come tutor. I dati del documento citato nella discussione pubblica suggeriscono che circa l’81% degli utenti di intelligenza artificiale nello studio delegavano effettivamente i propri compiti ai modelli linguistici – e che il tasso di outsourcing aumentava quanto più a lungo gli studenti erano stati esposti agli strumenti.

Il modello è emerso gradualmente. All’inizio dello studio, alcuni studenti che utilizzavano l’intelligenza artificiale trascorrevano ancora più di 65 minuti per compito – più o meno lo stesso tempo dei non utenti – e i risultati dei loro compiti e degli esami erano simili a quelli dei compagni che evitavano l’intelligenza artificiale. I ricercatori hanno dedotto che questi studenti utilizzavano a malapena i modelli. Ma sei mesi dopo l’adozione, nessuno studente esposto all’intelligenza artificiale dedicava ancora più di 65 minuti ai compiti. Ciò che inizia come assistenza occasionale sembra scivolare, incarico dopo incarico, in una delega completa.

Questa escalation è ciò che rende i risultati così difficili da respingere. Non è che il tutoraggio basato sull’intelligenza artificiale non possa funzionare: usata deliberatamente, come un partner socratico che spiega e pone domande, è dimostrato che la tecnologia può aiutare le persone ad apprendere. È che in condizioni naturalistiche, con adolescenti e incarichi in ritardo, il percorso di minor resistenza corre dritto attraverso la risposta.

Perché la Cina costituisce un caso di prova pulito

L'impostazione dello studio rafforza le sue conclusioni. In Cina, l’ammissione all’università avviene attraverso esami standardizzati ad alto rischio, e i voti dei compiti a casa non gonfiano i risultati dei corsi come possono fare altrove. Gli esami sono valutati esternamente e brutalmente consequenziali, il che rende il divario del 20% più difficile da spiegare con voti facili o clemenza degli insegnanti. Lo studio ha effettivamente isolato il canale che interessa ai ricercatori: l’intelligenza artificiale ha cambiato il modo in cui venivano prodotti i compiti e gli esami misuravano ciò che era stato effettivamente appreso.

La discussione del documento su Hacker News, dove ha raccolto centinaia di punti, ha affrontato l’ovvia domanda successiva: se l’intelligenza artificiale sia un “amplificatore” che rende migliori gli studenti diligenti e peggiori quelli disimpegnati. L’analisi dello studio si spinge indietro su questo quadro confortante: i dati sull’uso del tempo suggeriscono che anche gli studenti che hanno iniziato a usare l’intelligenza artificiale si sono spostati responsabilmente verso la delega nel corso dei mesi, il che implica che il rischio non è limitato a coloro che non avevano mai avuto intenzione di imparare.

Il dilemma politico per le scuole

I risultati arrivano in un momento imbarazzante. I governi e le aziende di tecnologia educativa stanno facendo a gara per mettere tutor di intelligenza artificiale davanti agli studenti, scommettendo che l’assistenza personalizzata dell’intelligenza artificiale colmerà le lacune nei risultati. Questo studio suggerisce che il risultato opposto è possibile su larga scala: i compiti diventano fluidi, i voti migliorano e l’apprendimento misurato al di sotto di essi si erode silenziosamente, scoperto solo quando è troppo tardi per correggere.

Per le scuole le implicazioni sono concrete. Se i compiti a casa non possono più servire come prova dell’apprendimento, la valutazione deve spostarsi in classe e supervisionata. Se l’uso dell’intelligenza artificiale è inevitabile, potrebbe essere necessario riprogettare i compiti in base alla tecnologia: difese orali, sessioni di problemi in classe e valutazioni basate su processi che premiano la difficoltà che lo studio ha riscontrato che gli studenti saltavano. E se l’outsourcing si intensifica con l’esposizione, il ritardo non è neutrale: ogni mese di accesso non strutturato all’intelligenza artificiale sembra aggravare l’abitudine.

Il contributo dei ricercatori è quello di sostituire il panico aneddotico dell'era ChatGPT in classe con numeri longitudinali, e i numeri sono desolanti. Un miglioramento del 18% nei compiti a casa acquistato al costo di un calo dell’esame del 20% non è un guadagno di apprendimento: è un trasferimento di lavoro dallo studente alla macchina, con gli interessi dovuti il ​​giorno dell’esame.

Stai al passo con l'intelligenza artificiale

Per scoperte scientifiche, ricadute politiche e analisi oneste dell'intelligenza artificiale nell'istruzione, aggiungi AI Buzz Wire ai preferiti.

Leggi altre notizie sull'AI →