Un nou punct de referință provoacă modul în care industria AI măsoară capacitatea științifică, iar primele sale rezultate sunt umilitoare pentru laboratoarele de frontieră. Terminal-Bench-Science 0.1, lansat săptămâna aceasta de cercetătorii de la Universitatea Stanford și de echipa din spatele popularului benchmark de codare Terminal-Bench, evaluează agenții AI pe fluxuri de lucru reale de cercetare științifică contribuite de oameni de știință activi – iar cel mai puternic model testat, Claude Opus 5, care rulează Claude Code, a finalizat doar 30% din sarcini.

Pagina de anunț a benchmark-ului descrie direct principiul său directoare: oamenii de știință, nu dezvoltatorii de modele sau furnizorii de date, ar trebui să stabilească standardul capacității științifice în AI. Proiectul a fost construit în colaborare cu experți în domeniu din instituții de cercetare din întreaga lume, iar prima sa lansare include 70 de sarcini care acoperă științele vieții, fizică, știința Pământului, matematică și inginerie.

Cum diferă de reperele manuale

Majoritatea evaluărilor științifice AI testează cunoștințele: întrebări cu răspunsuri multiple, probleme din manuale, exerciții standardizate. Terminal-Bench-Science măsoară în schimb dacă agenții pot executa fluxurile de lucru solicitante din punct de vedere tehnic și consumatoare de timp care umplu zilele actuale ale cercetătorilor - genul de muncă care nu apare în niciun examen. Sarcinile rulează în medii realiste, iar evaluarea se bazează pe artefacte concrete: analize, simulări, dovezi, coduri și produse de date, verificate cu teste reproductibile specifice sarcinii, mai degrabă decât cu modele de judecată sau scoruri cu alegeri multiple.

Acest design reflectă o teorie a ceea ce asistenții AI ar trebui să facă în cele din urmă pentru știință. În loc să înlocuiască raționamentul științific, susțin autorii benchmark-ului, agenții ar trebui să preia nivelul de execuție - rularea experimentelor-in-silico, procesarea datelor, verificarea dovezilor - pentru a elibera oamenii de știință pentru părțile cercetării în care judecata umană contează cel mai mult: definirea întrebărilor, formarea ipotezelor, interpretarea rezultatelor și comunicarea constatărilor.

Proiectul este, de asemenea, construit în mod explicit ca o țintă în mișcare. Acolo unde multe benchmark-uri sunt lansate o dată și abandonate – anunțul numește problema „documentelor de publicat” – Terminal-Bench-Science este conceput ca un benchmark continuu care evoluează de-a lungul frontierei, cu lansări regulate menite să mențină evaluarea înaintea progresului modelului și să prevină inflația scorului determinată de contaminare.

Primul clasament: o cale lungă de la fiabil

Clasamentul v0.1, care a atras o atenție semnificativă când a ajuns la Hacker News în această săptămână, arată o scădere abruptă din partea de sus:

  • Claude Opus 5 (Claude Code): 30,0%
  • GPT-5,6 Sol (Codex): 22,4%
  • Claude Fable 5 (Claude Code): 21,4%
  • Claude Opus 4.8 (Claude Code): 10,5%
  • GPT-5.6 Terra (Codex): 8,6%
  • GLM 5.3 (Codul Claude): 8,1%
  • Kimi K3 (Claude Code): 7,1%
  • Grok 4.6 (Grok Build): 7,1%
  • GPT-5.6 Luna (Codex): 3,3%

Rezultatele sugerează că fluxurile de lucru științifice rămân substanțial mai dificile pentru agenți decât ingineria software, unde standardele de referință de codificare originale Terminal-Bench și rivale au văzut scorurile crescând rapid. O rată de rezoluție de 30% pentru cel mai bun sistem disponibil înseamnă că în șapte din zece sarcini reale de cercetare, chiar și un agent de top, asociat cu un ham puternic, nu reușește să producă o muncă corectă verificabil.

Răspândirea în cadrul familiilor model este, de asemenea, instructivă. Diferența dintre Claude Opus 5 și Claude Opus 4.8 - aproape douăzeci de puncte - și între variantele GPT-5.6 Sol, Terra și Luna arată cât de mult calitatea rezultatului depinde de interacțiunea modelului și a cablajului agent, nu doar de inteligența brută a modelului. Fiecare intrare cu scoruri mari folosește un ham de codificare agentic (Claude Code, Codex, Grok Build), întărind consensul că schelele sunt la fel de decisive ca și ponderile subiacente.

De ce oamenii de știință și-au construit propriul punct de referință

Încadrarea benchmark-ului poartă un argument instituțional subtil. „Mizele în știință sunt prea mari”, se arată în anunț, „și punctele de referință trebuie să reflecte prioritățile comunității științifice mai degrabă decât interesele externe”. Proiectul oferă cercetătorilor care lucrează un mecanism direct pentru a codifica sarcinile de care au nevoie de fapt automatizate – și pentru a susține afirmațiile vânzătorilor de „accelerare a descoperirii științifice” în raport cu un standard verificabil.

Asta contează pentru că decalajul dintre marketing și realitate are consecințe reale. Dacă laboratoarele de frontieră susțin că agenții lor pot accelera cercetarea, în timp ce evaluările independente, concepute de experți, arată rate de rezoluție de la o singură cifră până la 30%, deciziile de finanțare, planurile de angajare și politicile de laborator bazate pe aceste afirmații moștenesc eroarea. Valorile de referință continue, deținute de comunitate, sunt o soluție corectivă: transformă afirmațiile vagi în numere reproductibile.

Un semnal pentru instituțiile de cercetare

Pentru universități, laboratoare naționale și echipe de cercetare și dezvoltare care cântăresc când să desfășoare agenți, benchmark-ul oferă ceva ce demonstrațiile furnizorilor nu pot: o măsurare menținută de comunitate a locului în care se află de fapt linia de fiabilitate. O rată de rezoluție la adolescenți sau douăzeci de ani înseamnă că aceste sisteme sunt cel mai bine tratate astăzi ca asistenți care necesită revizuire, nu ca executori autonomi ai conductelor experimentale. Categoriile de sarcini – care acoperă științe ale vieții, fizice, Pământului, matematice și inginerie – oferă, de asemenea, specialiștilor din domeniu un șablon pentru a contribui la fluxuri de lucru din domenii pe care benchmark-urile generice le ignoră în mod obișnuit.

Contextul mai larg al industriei întărește de ce contează momentul. Știința a devenit unul dintre cele mai promovate cazuri de utilizare pentru IA de frontieră, laboratoarele promovând contribuții la descoperirea materialelor, știința proteinelor și matematică. Aceste afirmații sunt greu de auditat: rezultatele științifice sunt lent de validat, iar entuziasmul se mișcă mai repede decât replicarea. Un etalon de referință care evaluează artefactele verificabile pe fluxuri de lucru reale oferă instituțiilor de cercetare o modalitate de a separa capacitatea demonstrată de teatrul demonstrativ - și de a urmări, lansare cu lansare, dacă progresul agentic în știință se agravează la fel de repede ca în ingineria software, unde Terminal-Bench și-a făcut primul nume.

Pentru industria AI, mesajul v0.1 este cu două tăișuri. Frontiera avansează în mod clar – turnurile de 30% ale Opus 5 se ridică peste 10,5% ale vechiului Opus 4.8 – dar plafonul rămâne departe de fiabilitatea pe care o cer laboratoarele reale. Designerii benchmark-ului spun că lansările regulate vor urmări cu exactitate cât de repede se închide acest decalaj. Oamenii de știință care urmăresc tendințele emergente AI în instrumentele de cercetare agențică au acum un criteriu pe care și-au construit-o ei înșiși.

---

Rămâneți înaintea AI

Obțineți cele mai recente știri, analize și descoperiri despre AI - toate într-un singur loc.

Citiți mai multe știri AI →