Penanda aras yang meminta model bahasa besar untuk menulis bot StarCraft yang berdaya saing dalam masa satu jam telah menyampaikan hasil yang paling terperinci lagi, dan keputusannya dibahagikan: GPT-6 Astra OpenAI mendominasi medan AI, tetapi bot tulisan manusia yang paling kuat masih mengalahkan model terbaik 93% pada masa itu.
StarSkirmish Bench v0.2, diterbitkan pada 15 Oktober oleh pemaju Kai McPheeters, menilai sejauh mana kekuatan bot StarCraft: Brood War setiap LLM boleh menghasilkan dengan masa satu jam jam dinding. Setiap model menulis bot Protoss dalam C++, yang kemudiannya dimainkan terhadap bot yang ditulis oleh model saingan dan terhadap pesaing tulisan manusia yang mantap. Ujian ini direka bentuk untuk menyiasat penaakulan ufuk panjang dan pengekodan agen, kerana model mesti menggabungkan pelajaran daripada permainan latihan untuk menambah baik ciptaan mereka. For more context on this story, see our ongoing artificial intelligence updates.
Bagaimana Penanda Aras Berfungsi
Peraturannya sengaja mudah. Satu jam, satu bahasa, satu bangsa. Skor setiap model ialah kadar kemenangan purata merentas lima larian terhadap senarai bot tulisan manusia dan bot demo yang kompetitif. Versi 0.2 menambah kelainan: setiap model perdana berjalan di dalam abah-abah pengekodan CLI pihak pertama makmalnya sendiri, menguji timbunan agenik penuh dan bukannya gelung API yang dilucutkan.
Terdapat satu asimetri, yang dicatat oleh pengarang penanda aras di hadapan: Gemini 4 Argon berjalan pada "tinggi" — usaha penaakulan tertinggi yang tersedia untuknya — manakala setiap model lain berjalan pada maksimum.
GPT-6 Astra Mendahului, GPT-6.1 Sol Menang Berdasarkan Nilai
Hasilnya meletakkan GPT-6 Astra di bahagian atas papan pendahulu, yang diterangkan dalam penulisan sebagai langkah yang jelas mendahului GPT-6.1 Sol di tempat kedua. Margin penting untuk pemerhati penanda aras: dalam kebanyakan suite pengekodan ejenik, model utama berkumpul dalam beberapa titik antara satu sama lain, jadi papan pendahulu yang memisahkan medan kepada peringkat yang berbeza melakukan lebih banyak kerja diagnostik daripada sepuluh teratas yang sesak. Gemini 4 Argon, Claude Opus 5.5 dan Claude Fable 5.1 secara fungsional terikat di belakang dua model OpenAI, kesemuanya mendapat markah antara 37 dan 39. Muse Wonder Full Meta menduduki tempat ketujuh.
Analisis kos mungkin merupakan penemuan yang lebih menarik. Diplotkan terhadap purata kos API bagi larian selama satu jam, GPT-6.1 Sol mendarat bersendirian di kuadran paling menarik: tempat kedua pada hanya lebih sepersepuluh daripada kos setiap larian GPT-6 Astra. Untuk pasukan yang menimbang prestasi ejen berbanding bajet, jurang antara kedua-dua model OpenAI ialah tajuk praktikal.
Bot Manusia Kekal Jauh Di Hadapan
Menentang bot tulisan manusia yang paling kuat — Stardust, PurpleWave dan BananaBrain — GPT-6 Astra memenangi hanya 7% daripada permainannya. Pengarang penanda aras menyatakan bahawa had penaakulan satu jam adalah faktor, dan keadaan kejohanan untuk bot tulisan manusia sebenar adalah jauh lebih sukar daripada tiga peta dua pemain yang digunakan dalam penilaian.
Namun, jurang itu adalah pembetulan yang berguna kepada naratif penguasaan AI yang akan berlaku dalam perisian: pada tugas dengan syarat kemenangan yang jelas, strategi yang mendalam dan ufuk perancangan yang panjang, kejuruteraan komuniti berdekad-dekad masih berdiri jauh melebihi apa yang boleh dihasilkan oleh pengekodan model sempadan sejam.
StarCraft telah lama berkhidmat sebagai tempat pembuktian untuk AI bermain permainan dengan tepat kerana ia menentang kekerasan. Strategi masa nyata memerlukan pengurusan ekonomi, pengakap dan pertempuran serentak di bawah maklumat separa, dan komuniti Brood War telah mengekalkan kejohanan bot kompetitif selama bertahun-tahun. Ekosistem terkumpul itulah yang menjadikan garis asas manusia penanda aras bermakna — Stardust, PurpleWave dan BananaBrain bukanlah lawan biasa tetapi program yang diperhalusi dan diperkukuhkan dengan kejohanan.
Kapal Perdana Baharu Memasuki Pergaduhan
Versi 0.2 juga berfungsi sebagai papan skor awal untuk model yang baru dikeluarkan. Gemini 4 Argon Google menggantikan Gemini 3.8 Flash v0.1 dan menduduki tempat ketiga pada penampilan sulung, manakala Muse Wonder Full Meta melangkah masuk untuk Muse Spark 1.3 dan menduduki tempat ketujuh. GPT-6 Astra dan Claude Opus 5.5 dibawa dari liputan versi terdahulu.
Penanda aras merekodkan jejak ejen untuk setiap larian, merekodkan cara setiap model menghabiskan masanya — set data yang menjadikan papan pendahulu sebagai kajian tingkah laku tentang cara belanjawan model makmal yang berbeza antara perancangan, pengekodan dan ujian main. Sama ada model memuatkan keputusan seni bina di hadapan atau berulang dengan pantas melalui draf buggy adalah jenis butiran proses yang disembunyikan oleh skor agregat, dan di sinilah perbezaan makmal silang yang paling menarik cenderung muncul.
Mengapa Ia Penting
Penanda aras pengekodan agen cepat tepu, dengan model utama berkumpul berhampiran bahagian atas banyak suite kejuruteraan perisian. StarSkirmish menawarkan alternatif: persekitaran di mana siling ditetapkan oleh pakar manusia, kemajuan diukur dalam kadar kemenangan dan bukannya mata peratusan resolusi tiket, dan belanjawan selama sejam mencerminkan kekangan dunia sebenar terhadap kerja agen.
Hasilnya menarik perhatian pembangun. Siaran Show HN memperoleh lebih daripada 200 undian positif, dengan pengulas menggali jejak ejen dan plot kecekapan kos. Perbincangan penanda aras mengenai Berita Hacker cenderung untuk berpecah antara metodologi berdalih dan keupayaan untuk mengambil masa; yang ini menarik kedua-duanya, dengan asimetri usaha penaakulan dan saiz sampel lima larian antara pilihan reka bentuk yang paling diteliti. Apabila tahap usaha penaakulan meningkat dan memanfaatkan bertambah baik, pengarang penanda aras merancang lelaran berterusan — dan buat masa ini, komuniti bot StarCraft manusia mengekalkan kedudukannya yang selesa.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
