OpenAI heeft drie van de 722 onderzoeksvoordrukken ingetrokken die het op 6 oktober op GitHub publiceerde, meldde Retraction Watch op 8 oktober, nadat een tekenfout een centraal argument ontkrachtte en daarmee twee resultaten die van die constructie afhingen. De intrekking kwam minder dan 24 uur na de massale release, die OpenAI had aangekondigd als een poging "om de grenzen van de menselijke kennis te verleggen en verdere vooruitgang in de wiskunde mogelijk te maken."

De preprints beschreven de vermeende vooruitgang van een intern AI-model op 372 onopgeloste problemen op het gebied van meetkunde, informatica, algebra en andere gebieden. Deze stap trok onmiddellijk aandacht van onderzoeksgemeenschappen – en zoals we eerder deze week hebben besproken in ons rapport over de [eerste vrijgave van de 722 wiskundemanuscripten] (https://aibuzzwire.news), heeft het bedrijf de daling ingelijst als een ongekende demonstratie van wat zijn nog niet vrijgegeven grensmodel kan opleveren. Volg het laatste nieuws over dit verhaal in onze laatste AI-ontwikkelingen dekking.

Een tekenfout loopt via afhankelijke bewijzen

Op 7 oktober kondigde OpenAI de intrekking van drie manuscripten aan vanwege een tekenfout. Volgens de aankondiging ontkrachtte de fout een argument in één manuscript en de constructie die in twee afhankelijke artikelen werd gebruikt. Bij elk ingetrokken artikel staat nu een mededeling waarin 'de kloof' wordt uitgelegd.

Het bedrijf zei ook dat het veertien andere manuscripten heeft herzien met proefreparaties, gecorrigeerde verklaringen, duidelijkere hypothesen en afhankelijkheden, en één correctie op een verouderd citaat. Dan Roberts, onderzoeksleider bij OpenAI, kondigde de terugtrekkingen op X aan en schreef dat het bedrijf "de repository zal blijven updaten met nieuwe formalisaties en met eventuele errata die we opmerken."

Een woordvoerder van OpenAI vertelde aan Retraction Watch dat het bedrijf de fouten tijdens een audit had geïdentificeerd en het proces als iteratief omschreef "net als bij andere onderzoeksmanuscripten." De woordvoerder voegde eraan toe dat OpenAI kritisch onderzoek verwelkomt en "er alles aan zal doen om [fouten] onmiddellijk te corrigeren en papieren in te trekken als er geen oplossingen kunnen worden gevonden."

Een woordvoerder van OpenAI zei met name dat de medewerkers van het bedrijf bij de Adviesgroep voor Wiskunde en Kunstmatige Intelligentie (AGMAI) hebben aanbevolen de resultaten vrij te geven zonder te wachten op "volledige formalisering" - en dat ongeveer 50% van de resultaten onbevestigd werd vrijgegeven.

Wiskundigen: snelle oplossingen, verloren vertrouwen

Reacties van onderzoekswiskundigen waren afgemeten maar gericht. Alex Townsend, universitair hoofddocent wiskunde aan de Cornell University, vertelde Retraction Watch dat een fout die in drie manuscripten terechtkwam, niet verrassend was, en dat hij vermoedt dat er nog meer fouten zullen worden gevonden. "Gezien het scepticisme over AI in de wiskundegemeenschap, denk ik dat OpenAI eerst de manuscripten had moeten aankondigen die Lean-geverifieerd waren", zei hij, verwijzend naar de open-source programmeertaal die wiskundige bewijzen mechanisch controleert. Een afzonderlijke aankondiging had dan de hulp van de gemeenschap kunnen oproepen om de rest te verifiëren, betoogde hij.

Andrew Sutherland, een senior onderzoekswetenschapper op de wiskundeafdeling van MIT, zei dat hij het op prijs stelde dat OpenAI snel handelde nadat hij de fouten had gevonden, en noemde het 'het verantwoordelijke om te doen'. Maar hij benadrukte dat veel wiskundigen ‘ontevreden zijn over de manier waarop OpenAI zich tot nu toe heeft gedragen’, waarbij hij in het bijzonder wees op de aankondiging van het bedrijf op 8 september dat een AI-systeem het Navier-Stokes-probleem had opgelost – een bewering die door een groep vooraanstaande onderzoekers werd bekritiseerd als overhaast, ‘waardoor er geen tijd overblijft voor een goed verslag, het isoleren van nieuwe methoden en ideeën, en het citeren van relevant eerder werk van anderen.’ Meer dan 8.000 onderzoekers hebben deze zorgen onderschreven.

De Association for Human Mathematics ging verder in een verklaring van 7 oktober: "Wiskundigen hebben niet gevraagd dat dit werk gedaan zou worden. Het in één keer vrijgeven van meer dan 700 bestanden is geen demonstratie van wetenschappelijke kennis, maar een demonstratie van macht. We dringen er bij wiskundigen op aan om hun werk met OpenAI stop te zetten en terug te keren naar een visie op wetenschap waarin het menselijk begrip centraal staat."

Wat dit betekent voor door AI gegenereerde wetenschap

De aflevering ontwikkelt zich als een vroege testcase voor hoe AI-laboratoria op grote schaal met door machines gegenereerd onderzoek moeten omgaan. De aanpak van OpenAI – snel vrijgeven, publiekelijk auditeren, terugtrekken wat mislukt – staat in schril contrast met de formele-verificatie-eerst-benadering waar veel wiskundigen de voorkeur aan geven, waarbij resultaten vóór enige aankondiging worden gecontroleerd in een proefassistent als Lean.

Er zijn redelijke argumenten van beide kanten. Wachten op volledige formalisering zou bruikbare resultaten met maanden kunnen vertragen, en OpenAI zegt dat het met de zegen van AGMAI is vrijgegeven. Maar het cascade-effect – één tekenfout die twee afhankelijke artikelen onbruikbaar maakt – illustreert waarom verificatie vóór publicatie de norm is in de wiskunde, en waarom er waarschijnlijk nog meer fouten aan het licht zullen komen als de gemeenschap de resterende ongeveer 700 manuscripten doorwerkt.

Voorlopig zegt OpenAI dat het wil leren van de feedback en in de toekomst het AGMAI-protocol "zo goed als we kunnen" zal volgen. Of dat voldoende is om de geloofwaardigheid bij de wiskundige gemeenschap weer op te bouwen is een andere vraag. Zoals Sutherland het verwoordde: "Ik denk dat de intrekkingen en correcties positief zullen worden beoordeeld door de wiskundegemeenschap, maar er zal veel meer nodig zijn om het verloren vertrouwen terug te winnen."

---

Blijf AI een stap voor

Ontvang het laatste AI-nieuws, analyses en doorbraken – allemaal op één plek.

Lees meer AI-nieuws →