OpenAI zieht drei seiner 722 KI-Mathe-Manuskripte zurück, nachdem ein Vorzeichenfehler aufgetaucht ist

OpenAI hat drei der 722 Forschungsvorabdrucke, die es am 6. Oktober auf GitHub veröffentlichte, zurückgezogen, berichtete Retraction Watch am 8. Oktober, nachdem ein Vorzeichenfehler ein zentrales Argument und damit zwei Ergebnisse, die von dieser Konstruktion abhingen, ungültig machte. Der Rückzug erfolgte weniger als 24 Stunden nach der Massenveröffentlichung, die OpenAI als Versuch bezeichnet hatte, „die Grenzen des menschlichen Wissens zu erweitern und weitere Fortschritte in der Mathematik zu ermöglichen“.

Die Vorabdrucke beschrieben angebliche Fortschritte eines internen KI-Modells bei 372 ungelösten Problemen in Geometrie, Informatik, Algebra und anderen Bereichen. Der Schritt zog sofort die Aufmerksamkeit der Forschungsgemeinschaften auf sich – und wie wir Anfang dieser Woche in unserem Bericht über die Erstveröffentlichung der 722 Mathe-Manuskripte berichteten, bezeichnete das Unternehmen den Rückgang als eine beispiellose Demonstration dessen, was sein unveröffentlichtes Grenzmodell bewirken kann. Verfolgen Sie das Neueste zu dieser Geschichte in unserer Berichterstattung über neueste KI-Entwicklungen.

Ein Vorzeichenfehler kaskadiert durch abhängige Beweise

Am 7. Oktober gab OpenAI bekannt, dass drei Manuskripte wegen eines Vorzeichenfehlers zurückgezogen wurden. Der Ankündigung zufolge machte der Fehler ein Argument in einem Manuskript und die Konstruktion zweier abhängiger Arbeiten ungültig. Jedes zurückgezogene Papier trägt jetzt einen Hinweis, in dem „die Lücke“ erläutert wird.

Das Unternehmen teilte außerdem mit, dass es 14 weitere Manuskripte mit Beweisreparaturen, korrigierten Aussagen, klareren Hypothesen und Abhängigkeiten sowie einer Korrektur eines veralteten Zitats überarbeitet habe. Dan Roberts, Forschungsleiter bei OpenAI, kündigte die Rücknahmen auf X an und schrieb, dass das Unternehmen „das Repo weiterhin mit neuen Formalisierungen und allen Errata, die uns auffallen, aktualisieren wird“.

Ein OpenAI-Sprecher sagte gegenüber Retraction Watch, das Unternehmen habe die Fehler während einer Prüfung identifiziert und beschrieb den Prozess als iterativ „wie bei anderen Forschungsmanuskripten“. Der Sprecher fügte hinzu, dass OpenAI eine Prüfung begrüße und „daran arbeiten werde, [Fehler] umgehend zu korrigieren und Dokumente zurückzuziehen, wenn keine Korrekturen gefunden werden könnten“.

Insbesondere sagte ein OpenAI-Sprecher, dass die Mitarbeiter des Unternehmens bei der Advisory Group on Mathematics and Artificial Intelligence (AGMAI) empfohlen hätten, die Ergebnisse zu veröffentlichen, ohne auf die „vollständige Formalisierung“ zu warten – und dass etwa 50 % der Ergebnisse unbestätigt veröffentlicht wurden.

Mathematiker: Schnelle Lösungen, verlorenes Vertrauen

Die Reaktionen der Forschungsmathematiker waren maßvoll, aber pointiert. Alex Townsend, außerordentlicher Professor für Mathematik an der Cornell University, sagte gegenüber Retraction Watch, dass ein Fehler, der sich auf drei Manuskripte verteilte, nicht überraschend sei und dass er vermutet, dass weitere Fehler gefunden werden. „Angesichts der Skepsis gegenüber KI in der Mathematik-Community denke ich, dass OpenAI die Manuskripte hätte bekannt geben sollen, die zuerst Lean-verifiziert wurden“, sagte er und bezog sich dabei auf die Open-Source-Programmiersprache, die mathematische Beweise mechanisch prüft. Er argumentierte, dass eine separate Ankündigung dann dazu hätte beitragen können, dass die Gemeinschaft den Rest verifiziert.

Andrew Sutherland, ein leitender Forschungswissenschaftler in der Mathematikabteilung des MIT, sagte, er schätze die schnelle Reaktion von OpenAI nach dem Finden der Fehler und nannte es „die verantwortungsvolle Vorgehensweise“. Er betonte jedoch, dass viele Mathematiker nach wie vor „unzufrieden damit sind, wie sich OpenAI bisher verhalten hat“, und verwies insbesondere auf die Ankündigung des Unternehmens vom 8. September, dass ein KI-System das Navier-Stokes-Problem gelöst habe – eine Behauptung, die eine Gruppe führender Forscher als überstürzt kritisierte, da „keine Zeit für eine ordnungsgemäße Beschreibung, die Isolierung neuer Methoden und Ideen und die Zitierung relevanter früherer Arbeiten anderer blieb“. Mehr als 8.000 Forscher haben diese Bedenken unterstützt.

Die Association for Human Mathematics ging in einer am 7. Oktober veröffentlichten Erklärung noch weiter: „Mathematiker haben nicht darum gebeten, dass diese Arbeit erledigt wird. Die gleichzeitige Veröffentlichung von über 700 Dateien ist keine Demonstration von Gelehrsamkeit, sondern eine Demonstration von Macht. Wir fordern Mathematiker dringend auf, ihre Arbeit mit OpenAI einzustellen und zu einer Vision der Wissenschaft zurückzukehren, die das menschliche Verständnis in den Mittelpunkt stellt.“

Was das für die KI-generierte Wissenschaft bedeutet

Die Episode entwickelt sich zu einem ersten Testfall dafür, wie KI-Labore mit maschinengenerierter Forschung in großem Maßstab umgehen sollten. Der Ansatz von OpenAI – schnell veröffentlichen, öffentlich prüfen, zurückziehen, was fehlschlägt – steht im Gegensatz zu dem von vielen Mathematikern bevorzugten Ansatz, bei dem die formale Verifizierung an erster Stelle steht und bei dem die Ergebnisse vor jeder Ankündigung in einem Beweisassistenten wie Lean überprüft werden.

Es gibt auf beiden Seiten vernünftige Argumente. Das Warten auf die vollständige Formalisierung könnte nützliche Ergebnisse um Monate verzögern, und OpenAI gibt an, dass die Veröffentlichung mit dem Segen der AGMAI erfolgte. Aber der Kaskadeneffekt – ein Vorzeichenfehler, der zwei abhängige Arbeiten zunichte macht – verdeutlicht, warum die Überprüfung vor der Veröffentlichung in der Mathematik die Norm ist und warum wahrscheinlich mehr Fehler auftauchen, während die Community die verbleibenden etwa 700 Manuskripte durcharbeitet.

OpenAI sagt, dass es vorerst aus dem Feedback lernen möchte und das AGMAI-Protokoll „so gut wir können“ in Zukunft befolgen wird. Ob das ausreicht, um die Glaubwürdigkeit in der mathematischen Gemeinschaft wiederherzustellen, ist eine andere Frage. Wie Sutherland es ausdrückte: „Ich denke, dass die Zurückziehungen und Korrekturen von der Mathematikgemeinschaft positiv aufgenommen werden, aber es wird noch viel mehr als das erfordern, um das verlorene Vertrauen zurückzugewinnen.“

---

Der KI einen Schritt voraus sein

Erhalten Sie die neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.

Weitere KI-Neuigkeiten lesen →