Ein neuer Maßstab stellt die Art und Weise, wie die KI-Branche die wissenschaftliche Leistungsfähigkeit misst, in Frage, und die ersten Ergebnisse sind für die Grenzlabore demütigend. Terminal-Bench-Science 0.1, das diese Woche von Forschern der Stanford University und dem Team hinter dem beliebten Terminal-Bench-Codierungs-Benchmark gestartet wurde, bewertet KI-Agenten anhand realer wissenschaftlicher Forschungsabläufe, die von arbeitenden Wissenschaftlern beigetragen haben – und das stärkste getestete Modell, Claude Opus 5, das über Claude Code läuft, erledigte nur 30 % der Aufgaben.

Auf der Ankündigungsseite des Benchmarks wird sein Leitprinzip unverblümt beschrieben: Wissenschaftler, nicht Modellentwickler oder Datenverkäufer, sollten die Messlatte für wissenschaftliche Fähigkeiten in der KI setzen. Das Projekt wurde in Zusammenarbeit mit Fachexperten von Forschungseinrichtungen auf der ganzen Welt entwickelt und seine erste Veröffentlichung umfasst 70 Aufgaben aus den Bereichen Biowissenschaften, Physik, Geowissenschaften, Mathematik und Ingenieurwesen.

Wie es sich von Lehrbuch-Benchmarks unterscheidet

Die meisten wissenschaftlichen KI-Bewertungen testen Wissen: Multiple-Choice-Fragen, Lehrbuchaufgaben, standardisierte Übungen. Terminal-Bench-Science misst stattdessen, ob Agenten die technisch anspruchsvollen, zeitaufwändigen Arbeitsabläufe ausführen können, die den Tag tatsächlicher Forscher ausfüllen – die Art von Arbeit, die in keiner Prüfung vorkommt. Aufgaben werden in realistischen Umgebungen ausgeführt und die Bewertung basiert auf konkreten Artefakten: Analysen, Simulationen, Beweise, Code und Datenprodukte, überprüft mit reproduzierbaren aufgabenspezifischen Tests und nicht mit Beurteilungsmodellen oder Multiple-Choice-Bewertungen.

Dieses Design spiegelt eine Theorie darüber wider, was KI-Assistenten letztendlich für die Wissenschaft leisten sollten. Anstatt das wissenschaftliche Urteilsvermögen zu ersetzen, argumentieren die Autoren des Benchmarks, sollten Agenten die Ausführungsebene übernehmen – die Durchführung der Experimente in silico, die Verarbeitung der Daten, die Überprüfung der Beweise –, um Wissenschaftler für die Teile der Forschung zu entlasten, bei denen menschliches Urteilsvermögen am wichtigsten ist: Fragen definieren, Hypothesen bilden, Ergebnisse interpretieren und Ergebnisse kommunizieren.

Das Projekt ist auch explizit als bewegliches Ziel konzipiert. Wo viele Benchmarks einmal veröffentlicht und wieder aufgegeben werden – in der Ankündigung wird dies als „Paper-to-Publishing“-Problem bezeichnet – ist Terminal-Bench-Science als kontinuierlicher Benchmark konzipiert, der sich entlang der Grenze weiterentwickelt, wobei regelmäßige Veröffentlichungen dazu dienen sollen, die Bewertung dem Modellfortschritt voraus zu halten und eine kontaminationsbedingte Inflation der Punktzahl zu verhindern.

Das erste Leaderboard: Alles andere als zuverlässig

Die v0.1-Bestenliste, die große Aufmerksamkeit erregte, als sie diese Woche bei Hacker News erschien, zeigt einen steilen Abfall von der Spitze:

  • Claude Opus 5 (Claude Code): 30,0 %
  • GPT-5,6 Sol (Codex): 22,4 %
  • Claude Fable 5 (Claude Code): 21,4 %
  • Claude Opus 4,8 (Claude Code): 10,5 %
  • GPT-5.6 Terra (Codex): 8,6 %
  • GLM 5,3 (Claude Code): 8,1 %
  • Kimi K3 (Claude Code): 7,1 %
  • Grok 4,6 (Grok Build): 7,1 %
  • GPT-5.6 Luna (Codex): 3,3 %

Die Ergebnisse deuten darauf hin, dass wissenschaftliche Arbeitsabläufe für Agenten nach wie vor wesentlich schwieriger sind als Software-Engineering, wo die Ergebnisse des ursprünglichen Terminal-Bench und konkurrierender Codierungs-Benchmarks schnell gestiegen sind. Eine Lösungsrate von 30 % für das beste verfügbare System bedeutet, dass selbst ein erstklassiger Agent gepaart mit einem starken System bei sieben von zehn echten Forschungsaufgaben keine nachweislich korrekte Arbeit liefert.

Aufschlussreich ist auch die Verbreitung innerhalb der Modellfamilien. Der Abstand zwischen Claude Opus 5 und Claude Opus 4.8 – fast zwanzig Punkte – und zwischen den GPT-5.6-Varianten Sol, Terra und Luna zeigt, wie sehr die Ergebnisqualität vom Zusammenspiel von Modell und Agentennutzung abhängt und nicht allein von der reinen Modellintelligenz. Jeder Eintrag mit der höchsten Punktzahl nutzt einen Agenten-Coding-Harness (Claude Code, Codex, Grok Build), was den sich abzeichnenden Konsens bestärkt, dass das Gerüst genauso entscheidend ist wie die zugrunde liegenden Gewichte.

Warum Wissenschaftler ihren eigenen Maßstab entwickelt haben

Der Rahmen der Benchmark enthält ein subtiles institutionelles Argument. „In der Wissenschaft steht zu viel auf dem Spiel“, heißt es in der Ankündigung, „und ihre Maßstäbe müssen die Prioritäten der wissenschaftlichen Gemeinschaft und nicht externe Interessen widerspiegeln.“ Das Projekt gibt arbeitenden Forschern einen direkten Mechanismus an die Hand, um die Aufgaben zu kodieren, die sie tatsächlich automatisieren müssen – und um die Behauptungen der Anbieter, „wissenschaftliche Entdeckungen zu beschleunigen“, mit einem überprüfbaren Standard zu vergleichen.

Das ist wichtig, denn die Kluft zwischen Marketing und Realität hat reale Konsequenzen. Wenn Grenzlabore behaupten, ihre Agenten könnten die Forschung beschleunigen, während unabhängige, von Experten erstellte Bewertungen Lösungsraten im einstelligen Bereich bis zu 30 % zeigen, erben sich die Finanzierungsentscheidungen, Einstellungspläne und Laborrichtlinien, die auf diesen Behauptungen basieren, den Irrtum. Kontinuierliche, gemeinschaftseigene Benchmarks sind ein Korrektiv: Sie wandeln vage Behauptungen in reproduzierbare Zahlen um.

Ein Signal für Forschungseinrichtungen

Für Universitäten, nationale Labore und Forschungs- und Entwicklungsteams, die abwägen, wann Agenten eingesetzt werden sollen, bietet der Benchmark etwas, was Anbieterdemos nicht bieten können: eine von der Community gepflegte Messung, wo die Zuverlässigkeitsgrenze tatsächlich liegt. Eine Auflösungsrate im Zehner- oder Zwanzigerbereich bedeutet, dass diese Systeme heute am besten als Assistenten behandelt werden, die überprüft werden müssen, und nicht als autonome Ausführer experimenteller Pipelines. Die Aufgabenkategorien – die Lebens-, Physik-, Geo-, Mathematik- und Ingenieurwissenschaften umfassen – bieten Fachspezialisten auch eine Vorlage für die Mitarbeit an Arbeitsabläufen aus Bereichen, die bei generischen Benchmarks routinemäßig übersehen werden.

Der breitere Branchenkontext unterstreicht, warum das Timing wichtig ist. Die Wissenschaft ist zu einem der am stärksten geförderten Anwendungsfälle für Grenz-KI geworden, wobei Labore Beiträge zur Materialentdeckung, Proteinwissenschaft und Mathematik anpreisen. Diese Behauptungen sind schwer zu überprüfen: Wissenschaftliche Ergebnisse lassen sich nur langsam validieren, und die Begeisterung schreitet schneller voran als die Replikation. Ein Benchmark, der überprüfbare Artefakte in realen Arbeitsabläufen bewertet, gibt Forschungseinrichtungen die Möglichkeit, nachgewiesene Fähigkeiten von Demonstrationsthemen zu trennen – und Release für Release zu verfolgen, ob sich der Agentenfortschritt in der Wissenschaft genauso schnell beschleunigt wie in der Softwareentwicklung, wo Terminal-Bench erstmals seinen Namen machte.

Für die KI-Branche ist die Botschaft von v0.1 zweischneidig. Die Grenze schreitet eindeutig voran – die 30 % des Opus 5 übertreffen die 10,5 % des älteren Opus 4.8 –, aber die Obergrenze bleibt weit von der Zuverlässigkeit entfernt, die echte Labore benötigen. Die Designer des Benchmarks sagen, dass regelmäßige Veröffentlichungen genau verfolgen werden, wie schnell sich diese Lücke schließt. Wissenschaftler, die die aufkommenden KI-Trends in Agentenforschungstools beobachten, verfügen jetzt über einen Maßstab, den sie selbst erstellt haben.

---

Der KI einen Schritt voraus sein

Erhalten Sie die neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.

Weitere KI-Neuigkeiten lesen →