John Schulman mette l'auto-miglioramento ricorsivo a 3-4 anni di distanza nel dibattito di Frank sul limite dell'intelligenza artificiale

John Schulman, il co-fondatore di OpenAI che ora ricopre il ruolo di capo scienziato presso Thinking Machines, ha affermato di aspettarsi un auto-miglioramento ricorsivo – sistemi di intelligenza artificiale che accelerano il proprio sviluppo – in circa tre o quattro anni, una sequenza temporale che lo colloca tra i meteorologi più aggressivi nel campo. Schulman ha fornito la stima durante una tavola rotonda del Dwarkesh Podcast pubblicata venerdì, in cui tre ricercatori di laboratori di frontiera hanno discusso apertamente quanto il settore sia effettivamente vicino al suo limite massimo.

La conversazione ha offerto uno sguardo raro e incauto su come i ricercatori vicini alla frontiera pensano al progresso, arrivando nel mezzo di una settimana rumorosa che ha visto il CEO di Nvidia Jensen Huang dichiarare che "l'AGI è arrivata" e un gruppo di 25 medaglie Fields avvertire che la caccia ai benchmark dell'IA sta danneggiando la matematica. Per i lettori che seguono gli ultimi sviluppi dell’intelligenza artificiale, l’episodio è un utile contrappeso: si tratta di persone che costruiscono i sistemi e sono in netto disaccordo tra loro.

Chi era al tavolo

Il conduttore Dwarkesh Patel ha detto di aver assemblato il panel perché gli ospiti lavorano in quelli che ha definito "laboratori e aziende un po' aperti", nel senso che potrebbero parlare a verbale. Insieme a Schulman c'erano Beren Millidge, responsabile della tecnologia presso Zyphra, una startup che sviluppa modelli open source, e Charlie O'Neill, responsabile della formazione sui modelli presso Baseten.

Le credenziali di Schulman danno un peso particolare al suo discorso sulla cronologia. Ha co-fondato OpenAI e ha guidato l'apprendimento di rinforzo dalla ricerca sul feedback umano che ha prodotto le tecniche alla base di ChatGPT, prima di partire per Thinking Machines, dove ora ricopre il ruolo di capo scienziato.

Il caso contro la singolarità, Steelmanned

Patel ha aperto con una domanda mirata: se il 2036 arriva senza che miliardi di sistemi superintelligenti trasformino il mondo, quale sarà stata la ragione tecnica? Millidge ha offerto le ragioni più forti per lo scetticismo, descrivendo quello che ha definito un modello quasi in stile paradosso di Moravec in cui i modelli superano qualunque benchmark i ricercatori pongano loro di fronte, ma l'impatto nel mondo reale delude.

"C'è ancora un persistente divario tra simulazione e realtà che in qualche modo blocca tutto", ha detto Millidge, descrivendo un mondo in cui l'intelligenza artificiale diventa "estremamente brava in tutto ciò che le persone mettono in un benchmark" senza generalizzare ulteriormente. Ha aggiunto che considera questo risultato improbabile, sottolineando l’evidenza che l’apprendimento per rinforzo si generalizza già nella pratica.

Schulman concorda ampiamente sul fatto che il progresso non è automatico. Gli esseri umani hanno reali vantaggi rispetto ai modelli odierni, ha detto, e ogni nuovo modello recupera terreno in alcune aree rimanendo bloccato in altre: lo schema che ha definito gli ultimi cicli di prodotto.

Tempistiche rapide: due anni, da tre a quattro, da cinque a dieci

Quando Patel premette per inserire i numeri, il pannello si divise. Alla domanda su quando l’intelligenza artificiale potrebbe fornire un aumento di produttività di dieci volte per un impiegato competente, Schulman prima ha rifiutato di fornire una singola cifra, poi ha detto: “Direi due anni”. Millidge ha detto che potrebbe "in un certo senso vederlo, in realtà", sostenendo che il guadagno supera già 10 volte per alcune categorie di lavoro. O'Neill è stato il più conservatore, rispondendo da "5 a 10" anni.

Patel si è poi spinto oltre, definendo lo scenario "fondamentalmente solo ASI". La risposta di Schulman: "Direi 3-4 anni", aggiungendo che l'automazione della ricerca sull'intelligenza artificiale in sé "non è una delle cose più difficili per l'intelligenza artificiale, perché comporta molto" lavoro che le tecniche attuali possono già affrontare. Lo scambio è stato notevole per la scarsa resistenza che la stima ha suscitato da parte degli altri ricercatori.

Come verrebbero effettivamente formati i ricercatori automatizzati

Una parte sostanziale dell'episodio riguardava i meccanismi dello scenario che Schulman stava valutando. Alla domanda su come sarebbero stati addestrati i sistemi di intelligenza artificiale in grado di automatizzare la ricerca sull'intelligenza artificiale, Schulman ha descritto "una combinazione di apprendimento dal feedback umano per assorbire il gusto dei ricercatori e semplicemente la creazione di molti ambienti pratici che implicano la ricerca in più fasi".

Questa risposta si collega alla destinazione dei soldi del settore. L'accordo recentemente concluso da Google per Mechanize, una startup che costruisce ambienti di lavoro simulati per agenti di formazione, riflette esattamente questa scommessa secondo cui campi di addestramento migliori - e non solo modelli più grandi - guideranno il prossimo round di guadagni di capacità. Schulman ha anche segnalato una difficoltà fondamentale: le funzioni di ricompensa basate su dati naturali sono difficili da specificare e segnali superficiali, come se un utente ha accettato una modifica del codice, possono fuorviare la formazione.

Distillazione contro centralizzazione

Una delle previsioni più concrete di Schulman riguardava la struttura dell'industria. "Penso che la distillazione sia la cosa principale che combatte contro la forza centralizzante", ha detto, sostenendo che le capacità apprese attraverso l'apprendimento per rinforzo possono essere trasferite a modelli più piccoli in modo relativamente semplice, diffondendo le competenze adiacenti alla frontiera oltre le poche aziende che possono permettersi corsi di formazione di frontiera.

Sulla questione di cosa resta all’uomo Schulman è stato categorico. "Direi che l'ultimo lavoro per gli esseri umani, o il ruolo che durerà più a lungo, è definire l'obiettivo e decidere cosa vogliamo veramente", ha detto. Quando Patel ha riassunto che "l'allineamento è il lavoro finale", Schulman è d'accordo: "L'allineamento è una sorta di risposta", pur notando che si scompone nell'individuare l'obiettivo giusto e quindi nel raggiungerlo effettivamente.

Dove si inserisce l'episodio nel dibattito sulla cronologia

Il sottotitolo dell'episodio - "Non siamo neanche lontanamente vicini al soffitto" - ne cattura il tenore generale: i ricercatori che vedono una sostanziale pista da percorrere, anche se contestano quanto sarà accidentato il percorso. La discussione ha spaziato da ciò che sta guidando il progresso dei laboratori cinesi, se l’apprendimento di rinforzo a lungo orizzonte può suscitare intelligenza generale e perché RL ha iniziato a funzionare così bene.

Il dibattito pubblico sulle tempistiche si è intensificato da tutte le parti questo mese. Il proclama di Huang "AGI è arrivato" ha suscitato scetticismo da parte degli analisti che lo leggono come un caso aziendale piuttosto che come un'affermazione scientifica, mentre il CEO di OpenAI Sam Altman ha detto allo staff che la società è disposta a rallentare lo sviluppo all'avanguardia man mano che aumentano le preoccupazioni sulla sicurezza, secondo Bloomberg. La finestra di tre-quattro anni di Schulman per l'auto-miglioramento ricorsivo si colloca a metà tra il marketing e la moratoria: una stima operativa da parte di qualcuno con un track record nello sviluppo delle tecniche che ora guidano il campo.

Se avrà ragione dipenderà dalle domande che il panel ha solo circoscritto: se l’apprendimento per rinforzo continua a generalizzarsi oltre i suoi ambienti di formazione e se il divario tra prestazioni di riferimento e valore economico reale continua a colmarsi.

Stai al passo con l'intelligenza artificiale

I ricercatori di frontiera stanno discutendo in pubblico sui limiti dell’intelligenza artificiale: segui la storia mentre si sviluppa.

Leggi altre notizie sull'intelligenza artificiale su AI Buzz Wire