Sebuah tolok ukur yang meminta model bahasa besar untuk menulis bot StarCraft yang kompetitif dalam waktu satu jam telah memberikan hasil yang paling detail, dan keputusannya terbagi: GPT-6 Astra OpenAI mendominasi bidang AI, namun bot terkuat yang ditulis oleh manusia masih mengalahkan model terbaik sebanyak 93%.
StarSkirmish Bench v0.2, diterbitkan 15 Oktober oleh pengembang Kai McPheeters, mengevaluasi seberapa kuat bot StarCraft: Brood War yang dapat dihasilkan setiap LLM dalam satu jam waktu dinding. Setiap model menulis bot Protoss dalam C++, yang kemudian dimainkan melawan bot yang ditulis oleh model saingan dan melawan pesaing yang dibuat oleh manusia. Tes ini dirancang untuk menyelidiki penalaran jangka panjang dan pengkodean agen, karena model harus menggabungkan pelajaran dari permainan latihan untuk meningkatkan kreasi mereka. For more context on this story, see our ongoing AI news.
Cara Kerja Tolok Ukur
Aturannya sengaja dibuat sederhana. Satu jam, satu bahasa, satu balapan. Skor setiap model adalah tingkat kemenangan rata-rata dalam lima putaran melawan daftar bot kompetitif yang ditulis manusia dan bot demo. Versi 0.2 menambahkan perubahan: setiap model andalan berjalan di dalam memanfaatkan pengkodean CLI pihak pertama di labnya sendiri, menguji tumpukan agen penuh, bukan loop API yang disederhanakan.
Ada satu asimetri, yang dicatat oleh penulis benchmark di awal: Gemini 4 Argon berjalan pada "tinggi" — upaya penalaran tertinggi yang tersedia untuknya — sementara setiap model lainnya berjalan pada maksimum.
GPT-6 Astra Memimpin, GPT-6.1 Sol Menang dalam Nilai
Hasilnya menempatkan GPT-6 Astra di puncak papan peringkat, yang digambarkan oleh artikel tersebut sebagai langkah yang jelas di depan GPT-6.1 Sol di posisi kedua. Margin penting bagi pengamat benchmark: di sebagian besar rangkaian pengkodean agen, model andalan dikelompokkan dalam beberapa titik satu sama lain, sehingga papan peringkat yang memisahkan bidang menjadi beberapa tingkatan melakukan lebih banyak pekerjaan diagnostik daripada sepuluh besar. Gemini 4 Argon, Claude Opus 5.5 dan Claude Fable 5.1 secara fungsional terikat di belakang dua model OpenAI, semuanya mendapat skor antara 37 dan 39. Muse Wonder Full dari Meta menempati posisi ketujuh.
Analisis biaya mungkin merupakan temuan yang lebih mengejutkan. Jika dibandingkan dengan biaya API rata-rata untuk satu jam pengoperasian, GPT-6.1 Sol berada di kuadran paling menarik: posisi kedua dengan biaya hanya sepersepuluh biaya per pengoperasian GPT-6 Astra. Bagi tim yang menimbang kinerja agen terhadap anggaran, kesenjangan antara kedua model OpenAI adalah hal yang penting.
Bot Manusia Tetap Jauh Di Depan
Melawan bot terkuat yang ditulis manusia — Stardust, PurpleWave, dan BananaBrain — GPT-6 Astra hanya memenangkan 7% permainannya. Penulis benchmark mencatat bahwa batas penalaran satu jam adalah sebuah faktor, dan kondisi turnamen untuk bot yang ditulis manusia secara signifikan lebih sulit daripada tiga peta dua pemain yang digunakan dalam evaluasi.
Namun, kesenjangan tersebut merupakan koreksi yang berguna terhadap narasi dominasi AI dalam perangkat lunak: pada tugas dengan kondisi kemenangan yang jelas, strategi yang mendalam, dan cakrawala perencanaan yang panjang, rekayasa komunitas selama puluhan tahun masih jauh melampaui apa yang dapat dihasilkan oleh pengkodean model frontier.
StarCraft telah lama menjadi tempat pembuktian AI dalam bermain game karena ia menolak kekerasan. Strategi real-time menuntut pengelolaan ekonomi, kepanduan, dan pertempuran secara simultan dengan informasi yang tidak lengkap, dan komunitas Brood War telah menyelenggarakan turnamen bot kompetitif selama bertahun-tahun. Ekosistem yang terakumulasi itulah yang membuat tolok ukur manusia menjadi bermakna — Stardust, PurpleWave, dan BananaBrain bukanlah lawan biasa, melainkan program yang disempurnakan dan diperkeras dalam turnamen.
Unggulan baru ikut serta
Versi 0.2 juga berfungsi sebagai papan skor awal untuk model yang baru dirilis. Gemini 4 Argon dari Google menggantikan Gemini 3.8 Flash v0.1 dan menempati posisi ketiga pada debut, sementara Muse Wonder Full dari Meta menggantikan Muse Spark 1.3 dan menempati posisi ketujuh. GPT-6 Astra dan Claude Opus 5.5 dibawa dari cakupan versi sebelumnya.
Tolok ukur ini mencatat jejak agen untuk setiap proses, mencatat bagaimana setiap model menghabiskan jam kerjanya — kumpulan data yang mengubah papan peringkat menjadi studi perilaku tentang bagaimana model laboratorium yang berbeda menganggarkan waktu antara perencanaan, pengkodean, dan pengujian permainan. Apakah suatu model memuat keputusan arsitektur secara front-load atau melakukan iterasi dengan cepat melalui draf buggy adalah jenis detail proses yang disembunyikan oleh skor agregat, dan di sinilah perbedaan lintas lab yang paling menarik cenderung muncul.
Mengapa Itu Penting
Tolok ukur pengkodean agen menjadi jenuh dengan cepat, dengan model-model unggulan berkumpul di dekat bagian atas banyak rangkaian rekayasa perangkat lunak. StarSkirmish menawarkan alternatif: sebuah lingkungan di mana batasannya ditentukan oleh manusia yang ahli, kemajuan diukur dalam tingkat kemenangan, bukan poin persentase penyelesaian tiket, dan anggaran waktu satu jam mencerminkan batasan dunia nyata pada pekerjaan agen.
Hasilnya menarik perhatian para pengembang. Postingan Show HN menarik lebih dari 200 suara positif, dengan komentator menggali jejak agen dan plot efisiensi biaya. Diskusi benchmark di Hacker News cenderung terbagi antara perdebatan metodologi dan pengambilan keputusan kemampuan; yang satu ini menarik keduanya, dengan asimetri upaya penalaran dan ukuran sampel lima kali di antara pilihan desain yang paling banyak diteliti. Ketika tingkat upaya penalaran meningkat dan pemanfaatan meningkat, pembuat tolok ukur tersebut merencanakan iterasi yang berkelanjutan — dan untuk saat ini, komunitas bot manusia StarCraft tetap memimpin dengan baik.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
