Een nieuwe benchmark stelt de manier waarop de AI-industrie wetenschappelijke capaciteiten meet op de proef, en de eerste resultaten zijn vernederend voor de grenslaboratoria. Terminal-Bench-Science 0.1, deze week gelanceerd door onderzoekers van Stanford University en het team achter de populaire Terminal-Bench-coderingsbenchmark, evalueert AI-agenten op echte wetenschappelijke onderzoeksworkflows die zijn bijgedragen door werkende wetenschappers – en het sterkste geteste model, Claude Opus 5, dat via Claude Code loopt, voltooide slechts 30% van de taken.
De aankondigingspagina van de benchmark beschrijft het leidende principe ronduit: wetenschappers, en niet modelontwikkelaars of dataleveranciers, moeten de lat hoog leggen voor wetenschappelijke capaciteiten op het gebied van AI. Het project is gebouwd in samenwerking met domeinexperts van onderzoeksinstellingen over de hele wereld, en de eerste release omvat 70 taken op het gebied van de levenswetenschappen, natuurkunde, aardwetenschappen, wiskunde en techniek.
Hoe het verschilt van benchmarks uit leerboeken
De meeste wetenschappelijke AI-evaluaties testen kennis: meerkeuzevragen, leerboekproblemen, gestandaardiseerde oefeningen. Terminal-Bench-Science meet in plaats daarvan of agenten de technisch veeleisende, tijdrovende workflows kunnen uitvoeren die de dagen van echte onderzoekers vullen – het soort werk dat in geen enkel examen voorkomt. Taken worden uitgevoerd in realistische omgevingen en de beoordeling is gebaseerd op concrete artefacten: analyses, simulaties, proefdrukken, code en dataproducten, gecontroleerd met reproduceerbare taakspecifieke tests in plaats van beoordelingsmodellen of meerkeuzevragen.
Dat ontwerp weerspiegelt een theorie van wat AI-assistenten uiteindelijk voor de wetenschap zouden moeten doen. In plaats van het wetenschappelijke oordeel te vervangen, zo stellen de auteurs van de benchmark, zouden agenten de uitvoeringslaag moeten overnemen – het uitvoeren van de experimenten in silico, het verwerken van de gegevens, het controleren van de bewijzen – om wetenschappers vrij te maken voor de delen van onderzoek waar het menselijk oordeel het belangrijkst is: het definiëren van vragen, het vormen van hypothesen, het interpreteren van resultaten en het communiceren van bevindingen.
Het project is ook expliciet gebouwd als bewegend doelwit. Waar veel benchmarks één keer worden vrijgegeven en vervolgens worden verlaten – de aankondiging noemt dit het ‘papers to publishing’-probleem – is Terminal-Bench-Science ontworpen als een continue benchmark die langs de grenzen evolueert, met regelmatige releases die bedoeld zijn om de evaluatie vóór de voortgang van het model te houden en door besmetting veroorzaakte score-inflatie te voorkomen.
Het eerste klassement: nog lang niet betrouwbaar
Het v0.1-klassement, dat veel aandacht trok toen het deze week Hacker News bereikte, laat een steile daling zien vanaf de top:
- Claude Opus 5 (Claude-code): 30,0%
- GPT-5.6 Sol (Codex): 22,4%
- Claude Fabel 5 (Claude-code): 21,4%
- Claude Opus 4.8 (Claude-code): 10,5%
- GPT-5.6 Terra (Codex): 8,6%
- GLM 5.3 (Claude-code): 8,1%
- Kimi K3 (Claude-code): 7,1%
- Grok 4.6 (Grok-opbouw): 7,1%
- GPT-5.6 Luna (Codex): 3,3%
De resultaten suggereren dat wetenschappelijke workflows aanzienlijk moeilijker blijven voor agenten dan software-engineering, waarbij de originele Terminal-Bench en concurrerende coderingsbenchmarks de scores snel hebben zien stijgen. Een oplossingspercentage van 30% voor het best beschikbare systeem betekent dat bij zeven van de tien echte onderzoekstaken zelfs een topagent met een sterk harnas er niet in slaagt om aantoonbaar correct werk te leveren.
Ook de spreiding binnen modelfamilies is leerzaam. De kloof tussen Claude Opus 5 en Claude Opus 4.8 – bijna twintig punten – en tussen de GPT-5.6-varianten Sol, Terra en Luna laat zien hoezeer de kwaliteit van de uitkomsten afhangt van de wisselwerking tussen model en agentharnas, en niet alleen van ruwe modelintelligentie. Elke hoog scorende inzending maakt gebruik van een codeerharnas (Claude Code, Codex, Grok Build), wat de opkomende consensus versterkt dat steigers net zo doorslaggevend zijn als de onderliggende gewichten.
Waarom wetenschappers hun eigen benchmark hebben gebouwd
Het frame van de benchmark draagt een subtiel institutioneel argument met zich mee. "De inzet voor de wetenschap is te hoog", aldus de aankondiging, "en de benchmarks moeten de prioriteiten van de wetenschappelijke gemeenschap weerspiegelen en niet de belangen van buitenaf." Het project geeft werkende onderzoekers een direct mechanisme om de taken die ze eigenlijk nodig hebben geautomatiseerd te coderen – en om de beweringen van leveranciers over ‘het versnellen van wetenschappelijke ontdekkingen’ te toetsen aan een verifieerbare standaard.
Dat is belangrijk omdat de kloof tussen marketing en realiteit reële gevolgen heeft. Als grenslaboratoria beweren dat hun agenten het onderzoek kunnen versnellen, terwijl onafhankelijke, door deskundigen ontworpen evaluaties oplossingspercentages van één cijfer tot 30% laten zien, nemen financieringsbeslissingen, aanwervingsplannen en laboratoriumbeleid dat op die beweringen is gebaseerd de fout over. Continue, door de gemeenschap beheerde benchmarks zijn één van de corrigerende maatregelen: ze zetten vage beweringen om in reproduceerbare cijfers.
Een signaal voor onderzoeksinstellingen
Voor universiteiten, nationale laboratoria en R&D-teams die afwegen wanneer ze agenten moeten inzetten, biedt de benchmark iets wat demo's van leveranciers niet kunnen bieden: een door de gemeenschap onderhouden meting van waar de betrouwbaarheidslijn zich feitelijk bevindt. Een oplossingspercentage in de tienerjaren of twintig betekent dat deze systemen vandaag de dag het beste kunnen worden behandeld als assistenten die moeten worden herzien, en niet als autonome uitvoerders van experimentele pijpleidingen. De taakcategorieën – die levens-, natuur-, aard-, wiskundige en technische wetenschappen omvatten – bieden domeinspecialisten ook een sjabloon voor het bijdragen aan workflows uit velden die generieke benchmarks routinematig over het hoofd zien.
De bredere sectorcontext versterkt waarom de timing ertoe doet. Wetenschap is een van de meest gepromoot gebruiksscenario’s voor grensverleggende AI geworden, waarbij laboratoria bijdragen aan de ontdekking van materialen, eiwitwetenschap en wiskunde aanprijzen. Deze beweringen zijn moeilijk te controleren: wetenschappelijke resultaten zijn traag te valideren en enthousiasme gaat sneller dan replicatie. Een benchmark die verifieerbare artefacten op echte workflows beoordeelt, biedt onderzoeksinstellingen een manier om aangetoonde capaciteiten te scheiden van demonstratietheater – en om, release voor release, te volgen of de vooruitgang in de wetenschap net zo snel toeneemt als in software-engineering, waar Terminal-Bench voor het eerst naam maakte.
Voor de AI-industrie is de boodschap van v0.1 tweesnijdend. De grens verschuift duidelijk – de 30% van Opus 5 steekt hoger uit dan de 10,5% van de oudere Opus 4.8 – maar het plafond blijft ver verwijderd van de betrouwbaarheid die echte laboratoria vereisen. De ontwerpers van de benchmark zeggen dat reguliere releases precies zullen bijhouden hoe snel dat gat wordt gedicht. Wetenschappers die naar de opkomende AI-trends in agentische onderzoeksinstrumenten kijken, hebben nu een maatstaf die ze zelf hebben gebouwd.
---
Blijf AI een stap voorOntvang het laatste AI-nieuws, analyses en doorbraken – allemaal op één plek.
Lees meer AI-nieuws →
