Tolok ukur baru yang disebut Real-SWE menantang cara industri AI mengukur kemampuan pengkodean, dan hasil awalnya mengecewakan bagi laboratorium terdepan. Fable 5.1 dari Anthropic, yang berjalan di dalam rangkaian Claude Code, memimpin dewan dengan tingkat penyelesaian 38,8% pada tugas-tugas yang diambil dari basis kode perusahaan swasta di dunia nyata. Tidak ada model yang diuji yang berhasil mencapai 40 persen.
Tolok ukur tersebut, yang dirilis bulan ini oleh Spesifik Labs, mengevaluasi model AI terdepan pada basis kode produksi swasta yang dilisensikan oleh tim dari perusahaan nyata. Penciptanya berpendapat bahwa tugas-tugas yang dibuat oleh para ahli atau tugas-tugas sintetis, betapapun dirancang dengan baik, bukanlah pekerjaan yang benar-benar dilakukan oleh para insinyur di perusahaan nyata. For more context on this story, see our ongoing AI industry coverage.
Mengapa Basis Kode Pribadi Mengubah Gambaran
Menurut penulisnya, Real-SWE berbeda dari tolok ukur yang sudah ada seperti bangku SWE pada dua sumbu: artefak pengkodean yang mendasarinya dan kekhususan instruksi. Setiap tugas berasal dari sistem berpemilik yang kode dan solusinya tidak tersedia di internet publik, yang berarti agen tidak dapat mengandalkan jawaban hafalan yang diambil dari repositori publik.
Tugas tersebut juga membawa konsekuensi bisnis. Contoh tugas tolok ukur ini mencakup melakukan penagihan dengan benar, menghitung pajak, dan memigrasikan pelanggan — perubahan yang memengaruhi cara bisnis berjalan, sering kali di berbagai layanan. Setiap perusahaan memiliki konvensi dan cara penulisan kodenya sendiri, dan agen harus memahami norma-norma tersebut dan membuat perubahan agar sesuai dengan apa yang sudah ada.
“Bisakah agen pengkode benar-benar melakukan pekerjaan seorang insinyur perangkat lunak di dunia nyata?” pengenalan benchmark bertanya. Papan peringkat menunjukkan bahwa jawabannya, untuk saat ini, adalah: paling banter hanya sekitar sepertiga dari waktu yang ada.
Papan Peringkat Lengkap
Lab Spesifik mengevaluasi delapan kombinasi model-dan-harness frontier, mengukur tingkat resolusi sebagai rata-rata pass@1 selama delapan proses independen per tugas, dengan interval kepercayaan 95 persen:
1. Fabel 5.1 (Kode Claude) — 38,8%
2. GPT-6 Astra (Codex CLI) — 33,8%
3. Flash Gemini 3.8 (Gemini CLI) — 31,2%
4. GLM 5.3 (Kode Claude) — 28,8%
5. (seri) Grok 4.6 (Grok Build) — 23,8%
5. (dasi) Muse Spark 1.3 (Kode Muse) — 23,8%
7. Kimi K3 (Kode Kimi) — 18,8%
8. GPT-5.6 Sol (Codex CLI) — 16,2%
Hasilnya dibahas secara luas di Hacker News pada akhir pekan, di mana tolok ukur tersebut menarik beberapa ratus suara positif dan perdebatan sengit tentang apakah evaluasi basis kode pribadi merupakan tolok ukur yang tepat untuk kemajuan agen.
Penyebaran yang Sempit namun Bermakna di Puncak
Kesenjangan antara empat sistem teratas terlihat jelas dalam lanskap persaingan saat ini. Keunggulan lima poin Fable 5.1 atas GPT-6 Astra OpenAI sangat berarti dalam tolok ukur di mana setiap tugas merupakan masalah produksi yang nyata. Gemini 3.8 Flash menempati posisi ketiga sangat mengejutkan, karena model ini diposisikan sebagai pekerja keras yang cepat dan berbiaya rendah daripada sistem penalaran andalan. GLM 5.3 Z.ai, yang dievaluasi melalui Claude Code, berada dalam jarak lima poin dari pemimpin menggarisbawahi betapa kompetitifnya model bobot terbuka dalam pekerjaan teknik praktis.
Yang sama jelasnya adalah spread di bagian bawah. GPT-5.6 Sol, rilis OpenAI sebelumnya, menyelesaikan kurang dari separuh tugas Fable 5.1 — sebuah pengingat betapa cepatnya kemajuan telah terjadi, dan betapa curamnya penurunan yang terjadi hanya pada satu generasi model yang lalu.
Memanfaatkan Sama Pentingnya dengan Model
Salah satu pilihan metodologi tolok ukur ini menarik perhatian: alih-alih mengevaluasi model secara terpisah, Real-SWE menggunakan pemanfaatan asli — Claude Code, Codex CLI, Gemini CLI, Grok Build — untuk mencerminkan cara kerja para insinyur perusahaan dalam praktiknya. Papan peringkat secara eksplisit memberi peringkat pada kombinasi model dan harness, dengan mengakui bahwa scaffolding, akses alat, dan loop iterasi kini tidak dapat dipisahkan dari kemampuan model dalam penerapan nyata.
Pembingkaian tersebut penting bagi perusahaan dalam memilih sistem. Model yang sama dapat memiliki kinerja yang sangat berbeda tergantung pada memanfaatkan agen yang melingkupinya, dan pembeli yang mengevaluasi asisten pengkodean pada nomor benchmark publik mungkin mendapatkan gambaran yang menyimpang tentang bagaimana sistem tersebut akan berperilaku pada basis kode mereka sendiri.
Apa Artinya Bagi Industri
Tolok ukur telah berulang kali dituduh jenuh, dengan model frontier yang mencatatkan skor hampir sempurna pada pengujian publik yang bocor ke dalam data pelatihan. Desain Real-SWE mencoba untuk mengatasi kedua masalah sekaligus: kodenya bersifat pribadi dan berlisensi, tugas-tugas tersebut adalah produk kerja asli dari tim teknik yang bekerja, dan instruksinya mencerminkan kekhususan tiket nyata yang berantakan daripada pernyataan masalah yang dipoles.
Kesimpulan yang serius adalah tingkat absolut. Bahkan sistem terbaik menyelesaikan kurang dari empat dari sepuluh tugas nyata perusahaan pada percobaan pertama, yang rata-rata menyelesaikan delapan kali proses. Untuk semua kemajuan dalam pengkodean agen, tolok ukur ini menunjukkan bahwa rekayasa perangkat lunak otonom pada sistem produksi nyata tetap merupakan aktivitas yang diawasi — aktivitas yang dilakukan oleh insinyur manusia untuk meninjau, mengarahkan, dan memperbaiki jauh lebih sering daripada yang ditunjukkan oleh demo vendor.
Bagi perusahaan yang memilih asisten pengkodean, tolok ukur ini menawarkan daftar periksa praktis: lebih memilih sistem yang dievaluasi berdasarkan kode pribadi, menekankan interval kepercayaan daripada angka utama yang dijalankan tunggal, dan mempertimbangkan kualitas yang lebih baik daripada kemampuan model mentah. Papan peringkat pertama Real-SWE bukanlah jawaban terakhir — namun merupakan jawaban paling langsung terhadap pertanyaan yang diajukan setiap pemimpin teknik tentang pengkodean agen.
Untuk informasi lebih lanjut tentang agen pengkodean, rilis model, dan penelitian yang membentuknya, ikuti berita AI terbaru saat hasil benchmark putaran berikutnya tiba.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
