Tolok ukur baru ini menantang cara industri AI mengukur kemampuan ilmiah, dan hasil pertamanya mengecewakan bagi laboratorium terdepan. Terminal-Bench-Science 0.1, yang diluncurkan minggu ini oleh para peneliti di Universitas Stanford dan tim di belakang benchmark pengkodean Terminal-Bench yang populer, mengevaluasi agen AI berdasarkan alur kerja penelitian ilmiah nyata yang disumbangkan oleh para ilmuwan yang bekerja — dan model terkuat yang diuji, Claude Opus 5 yang dijalankan melalui Claude Code, hanya menyelesaikan 30% tugas.
Halaman pengumuman benchmark tersebut menjelaskan prinsip panduannya secara blak-blakan: ilmuwan, bukan pengembang model atau vendor data, yang harus menetapkan standar kemampuan ilmiah dalam AI. Proyek ini dibangun melalui kerja sama dengan pakar domain dari lembaga penelitian di seluruh dunia, dan rilis pertamanya mencakup 70 tugas yang mencakup ilmu hayati, fisika, ilmu bumi, matematika, dan teknik.
Perbedaannya dengan Tolok Ukur Buku Teks
Sebagian besar evaluasi AI ilmiah menguji pengetahuan: pertanyaan pilihan ganda, soal buku teks, latihan standar. Sebaliknya, Terminal-Bench-Science mengukur apakah agen dapat melaksanakan alur kerja yang menuntut secara teknis dan memakan waktu yang mengisi hari-hari peneliti sebenarnya — jenis pekerjaan yang tidak muncul dalam ujian. Tugas dijalankan dalam lingkungan yang realistis, dan penilaian didasarkan pada artefak konkret: analisis, simulasi, pembuktian, kode, dan produk data, diperiksa dengan tes khusus tugas yang dapat direproduksi daripada model penilaian atau penilaian pilihan ganda.
Desain tersebut mencerminkan teori tentang apa yang pada akhirnya harus dilakukan oleh asisten AI untuk sains. Daripada mengganti penilaian ilmiah, menurut penulis benchmark, agen harus mengambil alih lapisan eksekusi – menjalankan eksperimen in-silico, memproses data, memeriksa bukti – untuk membebaskan ilmuwan pada bagian-bagian penelitian di mana penilaian manusia paling penting: mendefinisikan pertanyaan, membentuk hipotesis, menafsirkan hasil, dan mengkomunikasikan temuan.
Proyek ini juga secara eksplisit dibangun sebagai target bergerak. Ketika banyak tolok ukur dirilis satu kali dan ditinggalkan – pengumuman tersebut menyebutnya sebagai masalah “makalah yang akan dipublikasikan” – Terminal-Bench-Science dirancang sebagai tolok ukur berkelanjutan yang berkembang seiring dengan perkembangan yang ada, dengan rilis reguler yang dimaksudkan untuk menjaga evaluasi tetap terdepan dalam kemajuan model dan mencegah inflasi skor yang disebabkan oleh kontaminasi.
Papan Peringkat Pertama: Jauh dari Dapat Diandalkan
Papan peringkat v0.1, yang menarik perhatian signifikan ketika muncul di Hacker News minggu ini, menunjukkan penurunan tajam dari posisi teratas:
- Claude Opus 5 (Kode Claude): 30,0%
- GPT-5.6 Sol (Kodeks): 22,4%
- Claude Fable 5 (Kode Claude): 21,4%
- Claude Opus 4.8 (Kode Claude): 10,5%
- GPT-5.6 Terra (Kodeks): 8,6%
- GLM 5.3 (Kode Claude): 8,1%
- Kimi K3 (Kode Claude): 7,1%
- Grok 4.6 (Pembuatan Grok): 7,1%
- GPT-5.6 Luna (Kodeks): 3,3%
Hasilnya menunjukkan alur kerja ilmiah masih jauh lebih sulit bagi agen dibandingkan rekayasa perangkat lunak, di mana Terminal-Bench asli dan tolok ukur pengkodean saingannya telah mengalami peningkatan skor dengan cepat. Tingkat resolusi 30% untuk sistem terbaik yang tersedia berarti bahwa pada tujuh dari sepuluh tugas penelitian nyata, bahkan agen tingkat atas yang dipasangkan dengan sistem yang kuat pun gagal menghasilkan pekerjaan yang benar dan dapat diverifikasi.
Penyebaran dalam keluarga teladan juga memberikan pelajaran. Kesenjangan antara Claude Opus 5 dan Claude Opus 4.8 — hampir dua puluh poin — dan antara varian GPT-5.6 Sol, Terra, dan Luna menunjukkan seberapa besar kualitas hasil bergantung pada interaksi model dan memanfaatkan agen, bukan pada kecerdasan model mentah saja. Setiap entri dengan skor tinggi menggunakan memanfaatkan pengkodean agen (Claude Code, Codex, Grok Build), memperkuat konsensus yang muncul bahwa scaffolding sama menentukannya dengan bobot yang mendasarinya.
Mengapa Ilmuwan Membuat Tolok Ukur Sendiri
Kerangka acuan ini mengandung argumen institusional yang halus. “Pertaruhan dalam ilmu pengetahuan terlalu tinggi,” bunyi pengumuman tersebut, “dan tolok ukurnya harus mencerminkan prioritas komunitas ilmiah dan bukan kepentingan luar.” Proyek ini memberi para peneliti mekanisme langsung untuk mengkodekan tugas-tugas yang sebenarnya mereka perlukan secara otomatis – dan untuk mempertahankan klaim vendor mengenai “percepatan penemuan ilmiah” terhadap standar yang dapat diverifikasi.
Hal ini penting karena kesenjangan antara pemasaran dan kenyataan mempunyai konsekuensi nyata. Jika laboratorium terdepan mengklaim agen mereka dapat mempercepat penelitian, sementara evaluasi independen yang dirancang oleh para ahli menunjukkan tingkat resolusi satu digit hingga 30%, keputusan pendanaan, rencana perekrutan, dan kebijakan laboratorium yang dibangun berdasarkan klaim tersebut mewarisi kesalahan tersebut. Tolok ukur milik masyarakat yang berkelanjutan merupakan salah satu upaya perbaikan: tolok ukur tersebut mengubah klaim yang tidak jelas menjadi angka yang dapat direproduksi.
Sinyal Bagi Lembaga Penelitian
Bagi universitas, laboratorium nasional, dan tim penelitian dan pengembangan yang mempertimbangkan kapan harus mengerahkan agen, tolok ukur ini menawarkan sesuatu yang tidak dapat dilakukan oleh demo vendor: pengukuran yang dikelola komunitas mengenai posisi garis keandalan sebenarnya. Tingkat resolusi pada usia belasan atau dua puluhan berarti sistem ini saat ini paling baik diperlakukan sebagai asisten yang memerlukan peninjauan, bukan sebagai pelaksana otonom dari jalur pipa eksperimental. Kategori tugas — yang mencakup ilmu kehidupan, fisika, bumi, matematika, dan teknik — juga memberikan templat kepada pakar domain untuk menyumbangkan alur kerja dari bidang yang sering diabaikan oleh tolok ukur umum.
Konteks industri yang lebih luas memperkuat alasan pentingnya penentuan waktu. Sains telah menjadi salah satu kasus penggunaan AI terdepan yang paling banyak dipromosikan, dengan laboratorium yang memuji kontribusinya terhadap penemuan material, ilmu protein, dan matematika. Klaim-klaim tersebut sulit untuk diaudit: keluaran ilmiah lambat untuk divalidasi, dan antusiasme bergerak lebih cepat daripada replikasi. Tolok ukur yang menilai artefak yang dapat diverifikasi pada alur kerja nyata memberikan lembaga penelitian cara untuk memisahkan kemampuan yang ditunjukkan dari teater demonstrasi — dan untuk melacak, rilis demi rilis, apakah kemajuan agen dalam sains meningkat secepat dalam rekayasa perangkat lunak, tempat Terminal-Bench pertama kali terkenal.
Bagi industri AI, pesan v0.1 memiliki sisi ganda. Batasan tersebut jelas semakin maju — 30% Opus 5 lebih tinggi dibandingkan Opus 4.8 lama yang 10,5% — namun batas atas tersebut masih jauh dari keandalan yang dibutuhkan laboratorium sebenarnya. Perancang benchmark mengatakan rilis reguler akan melacak dengan tepat seberapa cepat kesenjangan tersebut tertutup. Para ilmuwan yang mengamati tren AI yang sedang berkembang dalam alat penelitian agen kini memiliki tolok ukur yang mereka buat sendiri.
---
Tetap Terdepan dalam AIDapatkan berita, analisis, dan terobosan AI terkini — semuanya di satu tempat.
Baca berita AI selengkapnya →
