Das dezentrale KI-Labor Prime Intellect hat die Ergebnisse eines groß angelegten Experiments veröffentlicht, in dem getestet wurde, wie gut heutige Spitzen-KI-Modelle autonome maschinelle Lernforschung durchführen können – und die besten von ihnen kamen dem menschlichen Weltrekord bei einem gefeierten Community-Benchmark bemerkenswert nahe.

Das Projekt mit dem Namen NanoGPT Speedrun Frontier, das am 22. August veröffentlicht wurde, bestand aus 153 autonomen Läufen über 18 Grenzmodelle mit dem nanoGPT-Optimierer Speedrun – einem Wettbewerb, bei dem Forscher nach der effizientesten Möglichkeit suchen, ein kleines Sprachmodell auf ein festes Qualitätsziel zu trainieren. Die Geschichte gelangte schnell auf die Titelseite von Hacker News, wo sie Dutzende von Kommentaren hervorrief, in denen diskutiert wurde, was die Ergebnisse über die Fähigkeit der KI zu echten wissenschaftlichen Entdeckungen aussagen. Weitere Informationen zu dieser Geschichte finden Sie in unserer aktuelle KI-Trends.

Was der NanoGPT Speedrun eigentlich ist

Der Benchmark stammt aus dem modded-nanogpt-Repository, das von Keller Jordan und einer langen Liste von Community-Mitwirkenden verwaltet wird. Die Herausforderung ist täuschend einfach zu formulieren: Trainieren Sie mit 8 NVIDIA H100-GPUs so schnell wie möglich ein Sprachmodell, das im FineWeb-Validierungssatz einen Kreuzentropieverlust von 3,28 erreicht – das Leistungsniveau, das Andrej Karpathys ursprüngliche GPT-2-Replikation nach 45 Minuten erreichte.

Durch Hunderte von Community-Beiträgen in den letzten zwei Jahren konnte der menschliche Rekord auf unter 75 Sekunden und unter 400 Millionen Trainingstokens gesenkt werden, was einer mehr als 30-fachen Verbesserung gegenüber dem Originalrezept entspricht. Die Gewinnerlösungen lesen sich wie ein Katalog moderner ML-Technik: der Muon-Optimierer, rotierende Einbettungen mit QK-Norm, ReLU-Quadrat-Aktivierungen, FP8-Quantisierung auf Aufmerksamkeit und MLP-Durchgänge, Flash Attention 3 mit Schiebefenstermustern und Dutzende anderer übereinander gestapelter Techniken.

Beim Test von Prime Intellect wurde der Optimierer-Track des Benchmarks verwendet, der – laut Dokumentation des Repositorys – die Anzahl der Trainingsschritte minimiert, die erforderlich sind, um den Zielverlust zu erreichen, abhängig von einer festen Architektur, einem festen Datensatz und einer festen Stapelgröße, mit einem praktisch unbegrenzten Budget. Das macht es zu einem reinen Test der Algorithmuserkennung und nicht der reinen Hardwaregeschwindigkeit.

Wie das Experiment funktionierte

Jedem der 18 Modelle wurde die Aufgabe autonom übertragen: Änderungen am Trainingsrezept vorschlagen, Experimente durchführen, die Ergebnisse überprüfen und iterieren – mit einem festen Verifizierungsskript und festen Zufallsstartwerten, die sicherstellen, dass eine behauptete Verbesserung real und kein Zufall ist. Ein Kommentator von Hacker News fasste es so zusammen: Die Modelle wurden gebeten, zu erforschen, wie sie das Training eines kleinen Modells verbessern könnten, indem sie wiederholt Änderungen ausprobierten, sie testeten und anhand der Ergebnisse entschieden, was sie als Nächstes versuchen sollten.

Die Modelle arbeiteten mit einer Vielzahl von Agentensystemen – darunter Claude-Code, OpenAIs Codex, Kimi-Code, Grok-Cli, Qwen-Code und Prime Intellects eigenem Prime-Agent – ​​und das Team verfolgte bei jedem Lauf den Token-Verbrauch, die Anzahl der Experimente, Tool-Aufrufe und die verstrichene Agentenzeit. Insgesamt verbrauchte das Experiment Hunderte Millionen Token pro Topmodell und Milliarden im gesamten Raster.

Die Bestenliste: Fable 5 führt das Feld an

Das Hauptergebnis: Das als Fable 5 identifizierte Modell schloss beim Durchlaufen des Claude-Code-Systems 81,7 Prozent der Lücke zwischen dem Basisrezept und der menschlichen Aufzeichnung, mit einem besten validierten Ergebnis von 2.726 in der Bestenlisten-Metrik. Der Weg dorthin erforderte insgesamt 8,7 Tage Agentenzeit, rund 800 Millionen Token, 811 Experimente und rund 3.000 Toolaufrufe.

Die Verfolgergruppe wurde von Opus 5 angeführt, das 53,6 Prozent der Lücke schloss, dicht gefolgt von Kimi K3 mit 52,2 Prozent, angetrieben durch das Prime-Agent-System von Prime Intellect (und 45,8 Prozent über Kimi-Code). Opus 4.8 erreichte 39,4 Prozent, mehrere GPT-5.6-Varianten landeten zwischen etwa 11 und 36 Prozent, Sonnet 5 schloss 26,8 Prozent ab und Grok 4.5 und Qwen3.8 Max erreichten jeweils etwa 24,6 Prozent.

Weiter unten schloss DeepSeek V4 Pro 12,3 Prozent der Lücke, GPT-5.5 erreichte 8,1 Prozent und der ältere Kimi K2.7 kam auf 7,2 Prozent. Bemerkenswert ist, dass ein kürzlich veröffentlichtes Modell – GLM 5.3 – zum Zeitpunkt der Veröffentlichung noch ohne validierte Aufzeichnungen lief, eine Erinnerung daran, dass der Benchmark Modelle bestraft, die ihre eigenen Verbesserungen nicht zuverlässig validieren können.

Warum es wichtig ist

Benchmarks wie dieser sind wichtig, weil sie etwas messen, was Codierungs-Bestenlisten nicht können: die Fähigkeit, eine echte Forschungsschleife – Hypothese, Experiment, Analyse, Überarbeitung – über Tage statt über Minuten laufen zu lassen. Diese Fähigkeit ist die Grundlage des aufstrebenden Bereichs der autonomen KI-Forschung, in der Agenten nicht die Aufgabe haben, Code nach Spezifikation zu schreiben, sondern Dinge zu entdecken, die ihnen niemand gezeigt hat.

Die Streuung der Ergebnisse ist an sich schon informativ. Fast jedes Modell im Experiment fand die gleichen zentralen Erfolgsideen, heißt es in der Beschreibung des Projekts – was die besten Durchläufe trennte, war das, was ein Experiment zurücklässt: Stärkere Agenten bewahrten schwache Signale in verrauschten Ergebnissen lange genug, um sie zu validieren, und verstanden ihre eigenen experimentellen Daten besser.

Vorbehalte der Community

Kommentatoren von Hacker News brachten berechtigte methodische Punkte vor. Die Aufwandseinstellungen und Gurte waren von Modell zu Modell unterschiedlich – Fable 5 lief mit einer hohen Argumentationseinstellung, während Opus 5 mit maximaler Einstellung lief – und die Berechnung von 153 Durchläufen über 18 Modelle impliziert, dass einige Modelle mehr Versuche erhielten als andere. Ob das Ranking eines Modells seine reinen Forschungsfähigkeiten oder die Qualität seiner Ausstattung widerspiegelt, bleibt eine offene Frage.

Dennoch ist die Fahrtrichtung klar. Während die schnellsten menschlichen Hände jahrelange gemeinsame Anstrengungen brauchten, um den aktuellen Rekord zu erreichen, schließen die besten autonomen Agenten jetzt den größten Teil dieser Lücke in etwas mehr als einer Woche Rechenzeit. Die nächste Frage – ob irgendein Modell die verbleibenden 18,3 Prozent erreichen kann – könnte früher als erwartet beantwortet werden.

Weitere Informationen zu den Benchmarks und Forschungsergebnissen, die die Grenzen der KI prägen, finden Sie in der fortlaufenden Berichterstattung von AI Buzz Wire.

---

Bleib vorne bei KI

Die neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.

Mehr KI-Nachrichten lesen →