OpenAI har dragit tillbaka tre av de 722 forskningsförtryck som den publicerade på GitHub den 6 oktober, rapporterade Retraction Watch den 8 oktober, efter att ett teckenfel ogiltigförklarade ett centralt argument och, med det, två resultat som berodde på den konstruktionen. Återkallandet kom mindre än 24 timmar efter masssläppet, som OpenAI hade fakturerat som ett försök "att tänja på gränsen för mänsklig kunskap och möjliggöra ytterligare framsteg inom matematik."
Förtrycken beskrev påstådda framsteg av en intern AI-modell på 372 olösta problem inom geometri, datavetenskap, algebra och andra områden. Flytten fick omedelbar granskning från forskargrupper – och som vi diskuterade tidigare i veckan i vår rapport om den första releasen av de 722 matematiska manuskripten, inramade företaget nedgången som en aldrig tidigare skådad demonstration av vad dess outgivna frontiermodell kan producera. Följ det senaste om den här historien i vår senaste AI-utvecklingen täckning.
Ett teckenfel går igenom beroende bevis
Den 7 oktober meddelade OpenAI att tre manuskript dras tillbaka på grund av ett teckenfel. Enligt tillkännagivandet ogiltigförklarade felet ett argument i ett manuskript och den konstruktion som användes av två beroende tidningar. Varje tillbakadraget papper har nu ett meddelande som förklarar "gapet".
Företaget sa också att det har reviderat 14 andra manuskript med korrekturreparationer, korrigerade uttalanden, tydligare hypoteser och beroenden och en korrigering av ett föråldrat citat. Dan Roberts, en forskningsledare på OpenAI, tillkännagav uttagna den X och skrev att företaget kommer att "fortsätta att uppdatera repet med nya formaliseringar och med eventuella fel vi märker."
En talesperson för OpenAI sa till Retraction Watch att företaget identifierade felen under en revision, och beskrev processen som iterativ "som med andra forskningsmanuskript." Talesmannen tillade att OpenAI välkomnar granskning och kommer att "arbeta för att korrigera [fel] omedelbart och dra tillbaka papper om inga korrigeringar kan hittas."
En talesperson för OpenAI sa att företagets medarbetare vid Advisory Group on Mathematics and Artificial Intelligence (AGMAI) rekommenderade att släppa resultaten utan att vänta på "full formalisering" - och att ungefär 50% av resultaten släpptes obekräftade.
Matematiker: Snabbfixar, förlorat förtroende
Reaktioner från forskningsmatematiker mättes men tillspetsade. Alex Townsend, en docent i matematik vid Cornell University, sa till Retraction Watch att ett fel som gick in i tre manuskript inte var förvånande, och att han misstänker att fler fel kommer att hittas. "Med tanke på skepsisen till AI i matematikcommunityt, tycker jag att OpenAI borde ha tillkännagett manuskripten som Lean-verifierades först", sa han och syftade på programmeringsspråket med öppen källkod som mekaniskt kontrollerar matematiska bevis. Ett separat tillkännagivande kunde då ha bjudit in gemenskapshjälp för att verifiera resten, hävdade han.
Andrew Sutherland, en senior forskare vid MIT:s matematikavdelning, sa att han uppskattade att OpenAI agerade snabbt efter att ha hittat felen och kallade det "det ansvarsfulla att göra." Men han betonade att många matematiker fortfarande är "missnöjda med hur OpenAI har betett sig fram till denna punkt", och pekade särskilt på företagets tillkännagivande den 8 september att ett AI-system hade löst Navier-Stokes-problemet - ett påstående som en grupp ledande forskare kritiserade som överhastade, "som inte lämnade någon tid för en ordentlig uppskrivning, isoleringen av tidigare arbetsmetoder och andra relevanta idéer och andra." Mer än 8 000 forskare har ställt sig bakom dessa farhågor.
Association for Human Mathematics gick vidare i ett uttalande som släpptes den 7 oktober: "Matematiker bad inte om att detta arbete skulle göras. Att släppa över 700 filer på en gång är inte en demonstration av stipendium, utan en demonstration av makt. Vi uppmanar matematiker att avbryta sitt arbete med OpenAI och att återgå till en vision av vetenskap som centrerar mänsklig förståelse."
Vad detta betyder för AI-genererad vetenskap
Avsnittet formas som ett tidigt testfall för hur AI-labb ska hantera maskingenererad forskning i stor skala. OpenAI:s tillvägagångssätt – släpp snabbt, granska offentligt, dra tillbaka det som misslyckas – står i kontrast till den formella-verifiering-först-metoden många matematiker föredrar, där resultaten kontrolleras i en korrekturassistent som Lean före något tillkännagivande.
Det finns rimliga argument på båda sidor. Att vänta på full formalisering kan försena användbara resultat med månader, och OpenAI säger att det släpptes med AGMAI:s välsignelse. Men kaskadeffekten - ett teckenfel som tar ner två beroende papper - illustrerar varför verifiering före publicering har varit normen i matematik, och varför fler fel sannolikt kommer att dyka upp när samhället arbetar genom de återstående cirka 700 manuskripten.
För nu säger OpenAI att de vill lära sig av feedbacken och kommer att följa AGMAI:s protokoll "så gott vi kan" framöver. Huruvida det räcker för att återuppbygga trovärdigheten hos den matematiska gemenskapen är en annan fråga. Som Sutherland uttryckte det: "Jag tror att uttag och korrigeringar kommer att ses positivt av matematikgemenskapen, men det kommer att krävas mycket mer än så för att tjäna tillbaka det förtroende de har förlorat."
---
Stay ahead of AIFå de senaste AI-nyheterna, analyserna och genombrotten – allt på ett ställe.
Läs mer AI-nyheter →
