Het gedecentraliseerde AI-lab Prime Intellect heeft de resultaten gepubliceerd van een grootschalig experiment waarin wordt getest hoe goed de hedendaagse AI-modellen autonoom machine learning-onderzoek kunnen uitvoeren – en de beste daarvan kwamen opmerkelijk dicht in de buurt van het evenaren van het menselijke wereldrecord op een gevierde gemeenschapsbenchmark.
Het project, genaamd NanoGPT Speedrun Frontier en gepubliceerd op 22 augustus, bestond uit 153 autonome runs over 18 frontier-modellen die de nanoGPT optimizer speedrun probeerden – een wedstrijd waarin onderzoekers zoeken naar de meest efficiënte manier om een klein taalmodel te trainen tot een vast kwaliteitsdoel. Het verhaal bereikte al snel de voorpagina van Hacker News, waar het tientallen commentaren trok waarin werd gedebatteerd over wat de resultaten zeggen over het vermogen van AI om echte wetenschappelijke ontdekkingen te doen. Voor meer context over dit verhaal, zie ons meer AI-verhalen.
Wat de NanoGPT Speedrun eigenlijk is
De benchmark is afkomstig van de modded-nanogpt-repository die wordt onderhouden door Keller Jordan en een lange lijst van communitybijdragers. De uitdaging is bedrieglijk eenvoudig te formuleren: gebruik 8 NVIDIA H100 GPU's en train zo snel mogelijk een taalmodel dat een cross-entropieverlies van 3,28 bereikt op de FineWeb-validatieset (het prestatieniveau dat Andrej Karpathy's originele GPT-2-replicatie na 45 minuten bereikte).
Door honderden communitybijdragen in de afgelopen twee jaar is het menselijke record teruggebracht tot minder dan 75 seconden en minder dan 400 miljoen trainingstokens, een meer dan 30-voudige verbetering ten opzichte van het oorspronkelijke recept. De winnende oplossingen lezen als een catalogus van moderne ML-engineering: de Muon-optimalisatie, roterende inbedding met QK-Norm, ReLU-kwadraatactivaties, FP8-kwantisering van aandacht en MLP-passages, Flash Attention 3 met schuifvensterpatronen en tientallen andere technieken op elkaar gestapeld.
De test van Prime Intellect maakte gebruik van het optimalisatietraject van de benchmark, dat – volgens de documentatie van de repository – het aantal trainingsstappen minimaliseert dat nodig is om het beoogde verlies te bereiken, afhankelijk van een vaste architectuur, dataset en batchgrootte, met een feitelijk onbeperkt wandklokbudget. Dat maakt het een pure test voor het ontdekken van algoritmen in plaats van pure hardwaresnelheid.
Hoe het experiment werkte
Elk van de 18 modellen kreeg autonoom de taak: wijzigingen in het trainingsrecept voorstellen, experimenten uitvoeren, de resultaten inspecteren en herhalen – met een vast verificatiescript en vaste willekeurige zaden die ervoor zorgen dat een geclaimde verbetering reëel is en geen geluksvogel. Zoals een commentator van Hacker News het samenvatte, werd de modellen gevraagd om te onderzoeken hoe ze de training van een klein model konden verbeteren, door herhaaldelijk veranderingen uit te proberen, deze te testen en de resultaten te gebruiken om te beslissen wat ze vervolgens moesten proberen.
De modellen werkten met verschillende agent-harnassen – waaronder claude-code, OpenAI's codex, kimi-code, grok-cli, qwen-code en Prime Intellect’s eigen prime-agent – en het team volgde bij elke run het tokenverbruik, het aantal experimenten, tooloproepen en de verstreken agenttijd. In totaal verbruikte het experiment honderden miljoenen tokens per topmodel en miljarden over het volledige netwerk.
Het klassement: Fabel 5 leidt het peloton
Het belangrijkste resultaat: het model geïdentificeerd als Fable 5, dat door het claude-code harnas loopt, overbrugde 81,7 procent van de kloof tussen het basisrecept en het menselijke record, met een best gevalideerd resultaat van 2.726 op de ranglijst. Het kostte 8,7 dagen aan cumulatieve agenttijd, ongeveer 800 miljoen tokens, 811 experimenten en ongeveer 3.000 tool calls.
Het achtervolgende peloton werd aangevoerd door Opus 5, dat 53,6 procent van het gat dichtte, op de voet gevolgd door Kimi K3 met 52,2 procent, aangedreven door Prime Intellect's belangrijkste agentenharnas (en 45,8 procent via kimi-code). Opus 4.8 behaalde 39,4 procent, verschillende GPT-5.6-varianten belandden tussen ongeveer 11 en 36 procent, Sonnet 5 sloot 26,8 procent en Grok 4.5 en Qwen3.8 Max bereikten elk ongeveer 24,6 procent.
Verderop sloot DeepSeek V4 Pro 12,3 procent van het gat, GPT-5.5 bereikte 8,1 procent en de oudere Kimi K2.7 eindigde op 7,2 procent. Opvallend is dat één onlangs uitgebracht model – GLM 5.3 – nog steeds draaide op het moment van publicatie en nog geen gevalideerd record had, een herinnering dat de benchmark modellen bestraft die hun eigen verbeteringen niet op betrouwbare wijze kunnen valideren.
Waarom het ertoe doet
Benchmarks als deze zijn van belang omdat ze iets meten wat codeerborden niet kunnen: het vermogen om een echte onderzoeksloop – hypothese, experiment, analyse, herziening – uit te voeren over dagen in plaats van over minuten. Dat vermogen vormt de basis van het opkomende gebied van autonoom AI-onderzoek, waarin agenten niet de taak hebben om code op maat te schrijven, maar om dingen te ontdekken die niemand hen heeft laten zien.
De spreiding in de resultaten is op zichzelf informatief. Bijna elk model in het experiment vond dezelfde winnende ideeën, volgens de beschrijving van het project. Wat de beste runs scheidde, was wat een experiment achterlaat: sterkere agenten hielden zwakke signalen lang genoeg vast in luidruchtige resultaten om ze te valideren, en begrepen hun eigen experimentele gegevens beter.
Waarschuwingen van de gemeenschap
Hacker News-commentatoren brachten eerlijke methodologische punten naar voren. Inspanningsinstellingen en harnassen varieerden per model – Fable 5 draaide op een hoge redeneerinstelling terwijl Opus 5 op max draaide – en de rekenkunde van 153 runs over 18 modellen impliceert dat sommige modellen meer pogingen hebben ontvangen dan andere. Of de rangschikking van een model het ruwe onderzoeksvermogen weerspiegelt of de kwaliteit van het harnas, blijft een open vraag.
Toch is de reisrichting duidelijk. Terwijl de snelste mensenhanden jaren van collectieve inspanning nodig hadden om het huidige record te bereiken, dichten de beste autonome agenten nu het grootste deel van dat gat in iets meer dan een week rekentijd. De volgende vraag – of een model de resterende 18,3 procent kan sluiten – kan eerder worden beantwoord dan verwacht.
Voor meer informatie over de benchmarks en het onderzoek dat de grens van AI vormgeeft, volgt u de voortdurende berichtgeving van AI Buzz Wire.
---
Blijf Voorop met AIHet laatste AI-nieuws, analyses en doorbraken — allemaal op één plek.
Lees meer AI-nieuws →
