Nowy punkt odniesienia stanowi wyzwanie dla sposobu, w jaki branża sztucznej inteligencji mierzy możliwości naukowe, a jego pierwsze wyniki są upokarzające dla pionierskich laboratoriów. Terminal-Bench-Science 0.1, uruchomiony w tym tygodniu przez naukowców z Uniwersytetu Stanforda i zespół odpowiedzialny za popularny test porównawczy kodowania Terminal-Bench, ocenia agentów AI na podstawie rzeczywistych przepływów pracy w badaniach naukowych wniesionych przez pracujących naukowców, a najsilniejszy testowany model, Claude Opus 5 działający w Claude Code, wykonał zaledwie 30% zadań.

Strona z ogłoszeniem benchmarku bez ogródek opisuje jego naczelną zasadę: naukowcy, a nie twórcy modeli czy sprzedawcy danych, powinni wyznaczać poprzeczkę w zakresie możliwości naukowych w zakresie sztucznej inteligencji. Projekt powstał we współpracy z ekspertami dziedzinowymi z instytucji badawczych na całym świecie, a jego pierwsza wersja zawiera 70 zadań z zakresu nauk przyrodniczych, fizyki, nauk o Ziemi, matematyki i inżynierii.

Czym to się różni od testów porównawczych z podręczników

Większość naukowych ewaluacji sztucznej inteligencji sprawdza wiedzę: pytania wielokrotnego wyboru, problemy podręcznikowe, standaryzowane ćwiczenia. Zamiast tego Terminal-Bench-Science mierzy, czy agenci są w stanie wykonywać wymagające technicznie i czasochłonne przepływy pracy, które wypełniają dni badaczy — czyli rodzaj pracy, która nie pojawia się na żadnym egzaminie. Zadania są wykonywane w realistycznych środowiskach, a ocenianie opiera się na konkretnych artefaktach: analizach, symulacjach, dowodach, kodzie i produktach danych, sprawdzanych za pomocą powtarzalnych testów specyficznych dla zadania, a nie oceniania modeli lub punktacji wielokrotnego wyboru.

Projekt ten odzwierciedla teorię dotyczącą tego, co asystenci AI powinni ostatecznie zrobić dla nauki. Autorzy benchmarku twierdzą, że zamiast zastępować osąd naukowy, agenci powinni przejąć warstwę wykonawczą – przeprowadzanie eksperymentów in silico, przetwarzanie danych i sprawdzanie dowodów – aby uwolnić naukowców od tych części badań, w których ludzki osąd ma największe znaczenie: definiowania pytań, formułowania hipotez, interpretowania wyników i przekazywania wniosków.

Projekt jest również wyraźnie zbudowany jako ruchomy cel. Tam, gdzie wiele benchmarków jest publikowanych jednorazowo i porzucanych – w ogłoszeniu nazywa się to problemem „dokumentów do opublikowania” – Terminal-Bench-Science zaprojektowano jako ciągły benchmark, który ewoluuje wraz z nowymi trendami, a regularne publikacje mają na celu wyprzedzanie postępu oceny modelu i zapobieganie inflacji wyników spowodowanej zanieczyszczeniem.

Pierwsza tabela wyników: daleka droga od niezawodności

Tabela liderów wersji 0.1, która wzbudziła duże zainteresowanie, gdy w tym tygodniu dotarła do Hacker News, pokazuje gwałtowny spadek w stosunku do szczytu:

  • Claude Opus 5 (Kod Claude): 30,0%
  • GPT-5.6 Sol (Kodeks): 22,4%
  • Claude Fable 5 (Kod Claude): 21,4%
  • Claude Opus 4.8 (Kod Claude): 10,5%
  • GPT-5.6 Terra (Kodeks): 8,6%
  • GLM 5.3 (kod Claude): 8,1%
  • Kimi K3 (Kod Claude): 7,1%
  • Grok 4.6 (kompilacja Groka): 7,1%
  • GPT-5.6 Luna (Kodeks): 3,3%

Wyniki sugerują, że naukowe procesy robocze są w dalszym ciągu znacznie trudniejsze dla agentów niż inżynieria oprogramowania, w przypadku której wyniki szybko rosły w oryginalnych testach Terminal-Bench i konkurencyjnych testach kodowania. Rozdzielczość najlepszego dostępnego systemu na poziomie 30% oznacza, że ​​w przypadku siedmiu z dziesięciu rzeczywistych zadań badawczych nawet najwyższej klasy agent w połączeniu z mocną uprzężą nie daje weryfikowalnie poprawnej pracy.

Pouczające jest także rozpowszechnianie się w rodzinach modeli. Różnica między Claude Opus 5 i Claude Opus 4.8 — prawie dwadzieścia punktów — oraz między wariantami GPT-5.6 Sol, Terra i Luna pokazuje, jak bardzo jakość wyniku zależy od wzajemnego oddziaływania uprzęży modelu i agenta, a nie samej inteligencji surowego modelu. Każdy wpis, który uzyskał wysoką liczbę punktów, wykorzystuje wiązkę kodowania agentycznego (Claude Code, Codex, Grok Build), co wzmacnia wyłaniający się konsensus, że rusztowanie jest równie decydujące, jak leżące u jego podstaw wagi.

Dlaczego naukowcy stworzyli własny punkt odniesienia

Ramy benchmarku niosą ze sobą subtelny argument instytucjonalny. „Stawka nauki jest zbyt wysoka” – czytamy w ogłoszeniu, „a jej punkty odniesienia muszą odzwierciedlać priorytety społeczności naukowej, a nie interesy zewnętrzne”. Projekt zapewnia pracującym naukowcom bezpośredni mechanizm umożliwiający zautomatyzowanie faktycznie potrzebnych im zadań oraz powiązanie twierdzeń dostawców o „przyspieszaniu odkryć naukowych” z możliwymi do sprawdzenia standardami.

To ma znaczenie, bo rozdźwięk między marketingiem a rzeczywistością ma realne konsekwencje. Jeśli pionierskie laboratoria twierdzą, że ich agenci mogą przyspieszyć badania, podczas gdy niezależne, opracowane przez ekspertów oceny wykazują współczynniki rozdzielczości od jednocyfrowych do 30%, decyzje dotyczące finansowania, plany zatrudnienia i zasady laboratoriów oparte na tych twierdzeniach dziedziczą błąd. Ciągłe testy porównawcze będące własnością społeczności są jednym z rozwiązań naprawczych: przekształcają niejasne twierdzenia w powtarzalne liczby.

Sygnał dla instytucji badawczych

Dla uniwersytetów, laboratoriów krajowych i zespołów badawczo-rozwojowych zastanawiających się, kiedy wdrożyć agentów, test porównawczy oferuje coś, czego nie są w stanie zaprezentować wersje demonstracyjne dostawców: utrzymywany przez społeczność pomiar tego, gdzie faktycznie znajduje się granica niezawodności. Rozdzielczość rzędu kilkunastu lub dwudziestu lat oznacza, że ​​systemy te najlepiej jest dziś traktować jako asystentów wymagających przeglądu, a nie jako autonomicznych wykonawców eksperymentalnych potoków. Kategorie zadań — obejmujące nauki o życiu, nauki fizyczne, o Ziemi, matematyczne i inżynieryjne — dają także specjalistom dziedzinowym szablon do wnoszenia przepływów pracy z dziedzin, które zwykle pomijane są w ogólnych testach porównawczych.

Szerszy kontekst branżowy wzmacnia znaczenie czasu. Nauka stała się jednym z najintensywniej promowanych przypadków użycia pionierskiej sztucznej inteligencji, a laboratoria zachwalają wkład w odkrywanie materiałów, naukę o białkach i matematykę. Twierdzenia te są trudne do skontrolowania: wyniki badań naukowych trudno zweryfikować, a entuzjazm rośnie szybciej niż replikacja. Test porównawczy, który ocenia weryfikowalne artefakty na podstawie rzeczywistych przepływów pracy, umożliwia instytucjom badawczym oddzielenie zademonstrowanych możliwości od teatru demonstracyjnego — i śledzenie, wydanie po wydaniu, czy agentyczny postęp w nauce narasta tak szybko, jak ma to miejsce w inżynierii oprogramowania, gdzie Terminal-Bench po raz pierwszy zyskał swoją nazwę.

Dla branży sztucznej inteligencji przesłanie wersji 0.1 jest obosieczne. Granica wyraźnie się przesuwa — 30% w Opus 5 przewyższa 10,5% w starszym Opus 4.8 — ale pułap pozostaje daleki od niezawodności wymaganej w prawdziwych laboratoriach. Projektanci benchmarku twierdzą, że regularne wydania będą dokładnie śledzić, jak szybko ta luka się zamyka. Naukowcy obserwujący pojawiające się trendy w zakresie sztucznej inteligencji w zakresie narzędzi do badań agentycznych mają teraz własny miernik, który zbudowali.

---

Wyprzedź sztuczną inteligencję

Otrzymuj najnowsze wiadomości, analizy i przełomowe informacje dotyczące sztucznej inteligencji — wszystko w jednym miejscu.

Przeczytaj więcej aktualności o sztucznej inteligencji →