OpenAI ha ritirato tre dei 722 preprint di ricerca pubblicati su GitHub il 6 ottobre, ha riferito Retraction Watch l'8 ottobre, dopo che un errore di segno ha invalidato un argomento centrale e, con esso, due risultati che dipendevano da quella costruzione. Il ritiro è avvenuto meno di 24 ore dopo il rilascio di massa, che OpenAI aveva presentato come uno sforzo "per allargare la frontiera della conoscenza umana e consentire ulteriori progressi nella matematica".
I preprint descrivevano i presunti progressi di un modello interno di intelligenza artificiale su 372 problemi irrisolti in geometria, informatica, algebra e altri campi. La mossa ha attirato l’attenzione immediata delle comunità di ricerca e, come abbiamo spiegato all’inizio di questa settimana nel nostro rapporto sul rilascio iniziale dei 722 manoscritti di matematica, la società ha definito il calo come una dimostrazione senza precedenti di ciò che il suo modello di frontiera inedito può produrre. Segui le ultime novità su questa storia nella nostra copertura sugli ultimi sviluppi dell'intelligenza artificiale.
Un errore di segno si estende attraverso dimostrazioni dipendenti
Il 7 ottobre OpenAI ha annunciato il ritiro di tre manoscritti a causa di un errore di segno. Secondo l'annuncio, l'errore invalidava un'argomentazione in un manoscritto e la costruzione utilizzata in due documenti dipendenti. Ogni documento ritirato ora riporta un avviso che spiega "il divario".
La società ha inoltre affermato di aver rivisto altri 14 manoscritti con correzioni di prove, dichiarazioni corrette, ipotesi e dipendenze più chiare e una correzione a una citazione obsoleta. Dan Roberts, responsabile della ricerca presso OpenAI, ha annunciato i ritiri su X e ha scritto che la società "continuerà ad aggiornare il repository con nuove formalizzazioni e con eventuali errori che noteremo".
Un portavoce di OpenAI ha detto a Retraction Watch che la società ha identificato gli errori durante un audit, descrivendo il processo come iterativo "come con altri manoscritti di ricerca". Il portavoce ha aggiunto che OpenAI accoglie con favore il controllo e "lavorerà per correggere [errori] tempestivamente e ritirerà i documenti se non è possibile trovare soluzioni".
In particolare, un portavoce di OpenAI ha affermato che i collaboratori dell'azienda presso il gruppo consultivo sulla matematica e l'intelligenza artificiale (AGMAI) hanno raccomandato di pubblicare i risultati senza attendere la "formalizzazione completa" e che circa il 50% dei risultati sono stati rilasciati non confermati.
Matematici: soluzioni rapide, fiducia persa
Le reazioni dei matematici ricercatori sono state misurate ma mirate. Alex Townsend, professore associato di matematica alla Cornell University, ha detto a Retraction Watch che un errore che si estende su tre manoscritti non è sorprendente e che sospetta che verranno trovati più errori. "Dato lo scetticismo nei confronti dell'intelligenza artificiale nella comunità matematica, penso che OpenAI avrebbe dovuto annunciare per primi i manoscritti verificati tramite Lean", ha affermato, riferendosi al linguaggio di programmazione open source che controlla meccanicamente le dimostrazioni matematiche. Un annuncio separato avrebbe poi potuto invitare l'aiuto della comunità a verificare il resto, ha sostenuto.
Andrew Sutherland, ricercatore senior presso il dipartimento di matematica del MIT, ha affermato di aver apprezzato il fatto che OpenAI abbia agito rapidamente dopo aver individuato gli errori, definendola "la cosa responsabile da fare". Ma ha sottolineato che molti matematici rimangono "scontenti di come OpenAI si è comportata fino a questo punto", riferendosi in particolare all'annuncio della società dell'8 settembre secondo cui un sistema di intelligenza artificiale aveva risolto il problema di Navier-Stokes - un'affermazione che un gruppo di importanti ricercatori ha criticato come affrettata, "che non lasciava tempo per un resoconto adeguato, per l'isolamento di nuovi metodi e idee e per citare importanti lavori precedenti di altri". Più di 8.000 ricercatori hanno sostenuto queste preoccupazioni.
L'Association for Human Mathematics è andata oltre in una dichiarazione rilasciata il 7 ottobre: "I matematici non hanno chiesto che questo lavoro fosse svolto. Il rilascio di oltre 700 file contemporaneamente non è una dimostrazione di erudizione, ma una dimostrazione di potere. Esortiamo i matematici a interrompere il loro lavoro con OpenAI e a tornare a una visione della scienza che metta al centro la comprensione umana."
Cosa significa per la scienza generata dall'intelligenza artificiale
L’episodio si preannuncia come un primo caso di prova su come i laboratori di intelligenza artificiale dovrebbero gestire la ricerca generata dalle macchine su larga scala. L'approccio di OpenAI (rilascio rapido, verifica in pubblico, ritiro di ciò che fallisce) contrasta con l'approccio basato innanzitutto sulla verifica formale che molti matematici preferiscono, in cui i risultati vengono controllati in un assistente di dimostrazione come Lean prima di qualsiasi annuncio.
Ci sono argomenti ragionevoli da entrambe le parti. Attendere la completa formalizzazione potrebbe ritardare di mesi risultati utili e OpenAI afferma di essere stato rilasciato con la benedizione di AGMAI. Ma l’effetto a cascata – un errore di segno che elimina due documenti dipendenti – illustra perché la verifica prima della pubblicazione è stata la norma in matematica, e perché è probabile che emergano più errori mentre la comunità lavora sui restanti circa 700 manoscritti.
Per ora, OpenAI afferma di voler imparare dal feedback e di seguire il protocollo AGMAI "nel miglior modo possibile" in futuro. Se ciò sia sufficiente per ricostruire la credibilità presso la comunità matematica è un’altra questione. Come ha affermato Sutherland: "Penso che i ritiri e le correzioni saranno visti positivamente dalla comunità dei matematici, ma ci vorrà molto di più per riconquistare la fiducia che hanno perso".
---
Stai al passo con l'intelligenza artificialeRicevi le ultime notizie, analisi e scoperte sull'intelligenza artificiale, tutto in un unico posto.
Leggi altre notizie sull'AI →
