Un secondo matematico ha accusato pubblicamente OpenAI di comportamento non etico e "disonesto" riguardo ai dati alla base delle sue celebri scoperte matematiche, affermando che la società non è riuscita a dimostrare che le sue interazioni private con ChatGPT non abbiano contribuito ai risultati annunciati in pompa magna il mese scorso.
In una serie di post su Mastodon riportati da The Verge mercoledì, il matematico Andreas Thom ha sollevato preoccupazioni sul fatto che le conversazioni che lui e i suoi colleghi hanno avuto con ChatGPT prima dell'annuncio di OpenAI potrebbero aver contribuito al successo del modello. Il suo intervento è arrivato pochi giorni dopo che il professore di matematica della New York University Tristan Buckmaster ha pubblicamente messo in dubbio se i modelli di OpenAI avessero beneficiato del suo utilizzo dello strumento Codex dell'azienda, trasformando un momento di trionfo per il laboratorio in una disputa continua sulla provenienza dei dati di addestramento. Per maggiori informazioni su questa storia, consulta la nostra copertura dell'industria IA.
Dalla svolta alla reazione negativa
Ad agosto, OpenAI annunciò che il suo sistema aveva prodotto dieci risultati significativi in matematica e informatica teorica, ciascuno controllato con prove Lean verificate dalla macchina: una pietra miliare che questo sito copriva all'epoca, insieme alla presunta soluzione dell'azienda a un problema del Premio del Millennio. Uno dei dieci risultati ha stabilito l’esistenza dei cosiddetti gruppi non sofici, una questione aperta da tempo nella teoria dei gruppi.
Questo risultato è al centro della nuova controversia. Secondo The Verge, OpenAI ha riconosciuto che la dimostrazione si basava in gran parte sul lavoro precedente di Thom e del collega matematico Gábor Kun - e dopo le critiche da parte dei circoli matematici per aver inizialmente mancato di riconoscere i loro recenti contributi, la società ha tranquillamente modificato il suo articolo.
Per Thom, il riconoscimento ha sollevato una domanda scomoda: come ha fatto il modello a padroneggiare le tecniche sue e di Kun in modo così dettagliato?
La domanda che Thom dice è rimasta senza risposta
Thom ha detto di essere rimasto colpito dalla "padronanza dettagliata delle nostre tecniche da parte di OpenAI", che secondo lui non erano né la strada più ovvia né quella più promettente per una soluzione in quel momento. Ha scritto e-mail ai ricercatori OpenAI Sébastien Bubeck e Mark Sellke — quest'ultimo anche lui statistico ad Harvard — chiedendo se le sue interazioni con ChatGPT fossero state "parte dei dati di addestramento o accessibili al processo di ragionamento" e avrebbero quindi potuto contribuire al risultato.
La risposta che ha ricevuto riguardava solo se fosse possibile accedere direttamente alle sue conversazioni, non se fossero entrate nei vasti pool di dati utilizzati per addestrare e migliorare i modelli dell'azienda. "Non è stata fornita alcuna qualifica, spiegazione o prova", ha scritto Thom. "Lo considero a dir poco una disonestà."
In un seguito citato da The Verge, ha inasprito l'accusa: "La risposta categorica di Sellke è stata, come minimo, ingiustificatamente ampia e materialmente fuorviante; guardando indietro era chiaramente disonesta".
L'argomentazione di Thom non riguarda tanto ciò che ha fatto OpenAI quanto chi ha l'onere della prova. I ricercatori, ha detto, non sono attrezzati per effettuare il reverse engineering del percorso formativo dell'azienda. "Solo OpenAI ha i dati rilevanti per questo", ha scritto, quindi se l'azienda vuole negare che i dati degli utenti abbiano contribuito ai suoi risultati, spetta a OpenAI dimostrarlo divulgando i set di dati rilevanti e chiarendo come utilizza le interazioni con i clienti.
Le attente smentite di OpenAI
La controversia riecheggia la gestione da parte della società della presunta svolta Navier-Stokes, lavoro su cui Buckmaster aveva portato avanti con il ricercatore antropico Levent Alpöge a titolo personale, secondo The Verge. Nel post sul blog che annunciava quel risultato, OpenAI ha dichiarato: "Noi (i ricercatori e gli agenti) non abbiamo visto il loro lavoro in alcun modo finché non lo hanno reso pubblico - in particolare, non è stato effettuato l'accesso a dati specifici dell'utente per risolvere questo problema."
Ma lo stesso post ammetteva un canale indiretto: "Sebbene improbabile, non possiamo escludere che i dati anonimi derivati dal loro utilizzo dei nostri prodotti abbiano contribuito a migliorare i nostri modelli".
Per Thom, questa distinzione è l’intero problema. "La deidentificazione può rimuovere un nome; non rimuove il contenuto intellettuale di un'idea matematica", ha scritto. OpenAI non ha risposto immediatamente alla richiesta di commento di The Verge.
Ha aggiunto che "sarebbe eticamente indifendibile" se la ricerca non pubblica fornita dagli utenti aiutasse a migliorare i modelli che l'azienda ha poi utilizzato per spingere quegli stessi utenti alla pubblicazione, senza consenso, corretta divulgazione o credito.
Un brivido per la matematica
Le circostanze della convocazione del Premio Millennio hanno fatto ben poco per calmare i nervi. OpenAI ha affermato di aver affrontato il problema dopo aver sentito voci online secondo cui altri ricercatori avevano compiuto importanti progressi, spingendo effettivamente gli accademici a un risultato a cui si erano avvicinati per anni.
Numerosi ricercatori hanno detto a The Verge di temere che tale comportamento spingerà la matematica in uno stato più segreto, se i matematici arrivassero a credere che anche le voci di una svolta imminente potrebbero innescare una corsa contro un gigante tecnologico dotato di risorse e desideroso di gloria. La copertura correlata di The Verge - "L'astuta svolta matematica di OpenAI manda un brivido nel mondo accademico" - ha catturato l'atmosfera sul campo.
L’episodio arriva in un momento delicato per le aziende di intelligenza artificiale e le comunità di ricerca con cui si scontrano sempre più. Qualunque siano i meriti di ogni singolo risultato, l’asimmetria descritta da Thom è strutturale: i laboratori possono acquisire le interazioni degli utenti su larga scala, mentre le persone che generano tali dati non hanno modo di verificare ciò che è stato preso. Fino a quando le aziende non apriranno i loro percorsi di formazione al controllo o imporranno firewall rigidi e verificabili tra le conversazioni dei clienti e la formazione dei modelli, ogni affermazione "non abbiamo utilizzato i tuoi dati" porterà un asterisco implicito - e ogni svolta arriverà con i matematici, e sempre più ricercatori in altri campi, chiedendone la prova.
---
Rimani Aggiornato sull'IALe ultime notizie, analisi e scoperte sull'intelligenza artificiale — tutto in un posto.
Leggi altre notizie sull'IA →
