Ett nytt riktmärke utmanar hur AI-industrin mäter vetenskaplig förmåga, och dess första resultat är ödmjuka för gränslaboratoriet. Terminal-Bench-Science 0.1, som lanserades den här veckan av forskare vid Stanford University och teamet bakom det populära Terminal-Bench-kodningsriktmärket, utvärderar AI-agenter på verkliga vetenskapliga forskningsarbetsflöden bidragit med av arbetande forskare – och den starkaste modellen som testats, Claude Opus 5 som körde genom Claude Code, slutförde bara 30 % av uppgifterna.
Riktmärkets tillkännagivandesida beskriver dess vägledande princip rakt på sak: vetenskapsmän, inte modellutvecklare eller dataleverantörer, bör sätta ribban för vetenskaplig förmåga inom AI. Projektet byggdes i samarbete med domänexperter från forskningsinstitutioner runt om i världen, och dess första release inkluderar 70 uppgifter som spänner över biovetenskap, fysik, geovetenskap, matematik och ingenjörsvetenskap.
Hur det skiljer sig från lärobokens riktmärken
De flesta vetenskapliga AI-utvärderingar testar kunskap: flervalsfrågor, läroboksproblem, standardiserade övningar. Terminal-Bench-Science mäter istället om agenter kan utföra de tekniskt krävande, tidskrävande arbetsflödena som fyller faktiska forskardagar - den typ av arbete som inte dyker upp i någon examen. Uppgifterna körs i realistiska miljöer och betygsättningen baseras på konkreta artefakter: analyser, simuleringar, bevis, kod och dataprodukter, kontrollerade med reproducerbara uppgiftsspecifika test snarare än bedömarmodeller eller flervalspoäng.
Den designen speglar en teori om vad AI-assistenter så småningom borde göra för vetenskapen. Istället för att ersätta vetenskapliga bedömningar, hävdar riktmärkets författare, bör agenter ta över exekveringsskiktet - köra experimenten i silico, bearbeta data, kontrollera bevisen - för att frigöra forskare för de delar av forskningen där mänskligt omdöme är viktigast: definiera frågor, ställa hypoteser, tolka resultat,.
Projektet är också uttryckligen byggt som ett rörligt mål. Där många riktmärken släpps en gång och överges - tillkännagivandet kallar detta problemet med "papper att publicera" - är Terminal-Bench-Science utformad som ett kontinuerligt riktmärke som utvecklas längs gränsen, med regelbundna släpp som är avsedda att hålla utvärderingen före modellframstegen och förhindra kontamineringsdriven poänginflation.
The First Leaderboard: A Long Way From Reliable
V0.1-poängtavlan, som väckte stor uppmärksamhet när den nådde Hacker News den här veckan, visar en brant nedgång från toppen:
- Claude Opus 5 (Claude Code): 30,0 %
- GPT-5,6 Sol (Codex): 22,4 %
- Claude Fable 5 (Claude Code): 21,4 %
- Claude Opus 4.8 (Claude Code): 10,5 %
- GPT-5,6 Terra (Codex): 8,6 %
- GLM 5,3 (Claude-kod): 8,1 %
- Kimi K3 (Claude Code): 7,1 %
- Grok 4,6 (Grok Build): 7,1 %
- GPT-5,6 Luna (Codex): 3,3 %
Resultaten tyder på att vetenskapliga arbetsflöden fortfarande är avsevärt svårare för agenter än mjukvaruteknik, där den ursprungliga Terminal-Bench och rivaliserande riktmärken för kodning har sett poängen stiga snabbt. En upplösningsgrad på 30 % för det bästa tillgängliga systemet innebär att vid sju av tio verkliga forskningsuppgifter, misslyckas inte ens en toppagent i kombination med en stark sele att producera ett verifierbart korrekt arbete.
Spridningen inom modellfamiljer är också lärorik. Gapet mellan Claude Opus 5 och Claude Opus 4.8 – nästan tjugo poäng – och mellan GPT-5.6-varianterna Sol, Terra och Luna visar hur mycket resultatkvalitet beror på samspelet mellan modell och agentsele, inte bara rå modellintelligens. Varje bidrag med höga poäng använder en agentkodningssele (Claude Code, Codex, Grok Build), vilket förstärker den framväxande konsensus om att byggnadsställningar är lika avgörande som de underliggande vikterna.
Varför forskare byggde sitt eget riktmärke
Riktmärkets inramning bär ett subtilt institutionellt argument. "Insatserna i vetenskapen är för höga", heter det i tillkännagivandet, "och dess riktmärken måste återspegla det vetenskapliga samfundets prioriteringar snarare än externa intressen." Projektet ger arbetande forskare en direkt mekanism för att koda de uppgifter de faktiskt behöver automatiseras – och för att hålla leverantörernas påståenden om att "accelerera vetenskaplig upptäckt" mot en verifierbar standard.
Det är viktigt eftersom gapet mellan marknadsföring och verklighet har verkliga konsekvenser. Om frontier labs hävdar att deras agenter kan påskynda forskningen medan oberoende, expertdesignade utvärderingar visar ensiffriga till 30 % upplösningsgrader, finansieringsbeslut, anställningsplaner och labbpolicyer som bygger på dessa påståenden ärver felet. Kontinuerliga, gemenskapsägda riktmärken är en korrigering: de omvandlar vaga påståenden till reproducerbara siffror.
En signal för forskningsinstitutioner
För universitet, nationella labb och FoU-team som väger när agenter ska distribueras, erbjuder riktmärket något leverantörsdemonstrationer inte kan: ett gemenskapsunderhållet mått på var tillförlitlighetsgränsen faktiskt ligger. En upplösningshastighet i tonåren eller tjugotalet innebär att dessa system bäst behandlas idag som assistenter som kräver granskning, inte som autonoma utförare av experimentella pipelines. Uppgiftskategorierna – som spänner över liv, fysik, jord, matematisk och ingenjörsvetenskap – ger också domänspecialister en mall för att bidra med arbetsflöden från områden som generiska riktmärken rutinmässigt förbiser.
Det bredare branschsammanhanget förstärker varför timingen spelar roll. Vetenskap har blivit ett av de mest marknadsförda användningsfallen för gränsöverskridande AI, med labb som hyllar bidrag till materialupptäckt, proteinvetenskap och matematik. Dessa påståenden är svåra att granska: vetenskaplig produktion är långsam att validera, och entusiasmen går snabbare än replikering. Ett riktmärke som betygsätter verifierbara artefakter på verkliga arbetsflöden ger forskningsinstitutioner ett sätt att separera demonstrerad förmåga från demonstrationsteater – och att spåra, release för release, huruvida agentiska framsteg inom vetenskapen förvärras lika snabbt som det är inom mjukvaruteknik, där Terminal-Bench först gjorde sitt namn.
För AI-branschen är budskapet i v0.1 tveeggat. Gränsen går tydligt framåt - Opus 5:s 30 % tornar upp sig över den äldre Opus 4.8:s 10,5 % - men taket är fortfarande långt ifrån den tillförlitlighet som verkliga laboratorier kräver. Benchmarks designers säger att vanliga utgåvor kommer att spåra exakt hur snabbt det gapet sluter. Forskare som tittar på framväxande AI-trender i agentiska forskningsverktyg har nu en måttstock som de byggt själva.
---
Stay ahead of AIFå de senaste AI-nyheterna, analyserna och genombrotten – allt på ett ställe.
Läs mer AI-nyheter →
