Tolok ukur sing njaluk model basa gedhe kanggo nulis bot StarCraft sing kompetitif sajrone sejam wis ngasilake asil sing paling rinci, lan putusan dipérang: OpenAI GPT-6 Astra ndominasi lapangan AI, nanging bot sing ditulis manungsa sing paling kuat isih bisa ngalahake model paling apik 93% wektu.

StarSkirmish Bench v0.2, diterbitake 15. Oktober dening pangembang Kai McPheeters, ngevaluasi carane kuwat StarCraft: Perang Brood bot saben LLM bisa gawé diwenehi jam siji jam tembok. Saben model nulis bot Protoss ing C ++, sing banjur diputer nglawan bot sing ditulis dening model saingan lan nglawan pesaing sing ditulis manungsa. Tes kasebut dirancang kanggo nyelidiki penalaran long-horizon lan coding agen, amarga model kudu nggabungake pelajaran saka game latihan kanggo nambah kreasi. For more context on this story, see our ongoing AI industry coverage.

Cara Kerjane Benchmark

Aturan kasebut sengaja prasaja. Siji jam, siji basa, siji lomba. Skor saben model minangka tingkat menang rata-rata ing limang balapan nglawan daftar bot sing ditulis manungsa lan bot demo sing kompetitif. Versi 0.2 nambahake corak: saben model unggulan mlaku ing sabuk pengkodean CLI pihak pertama lab dhewe, nguji tumpukan agen lengkap tinimbang loop API sing dicopot.

Ana siji asimetri, sing ditulis dening penulis pathokan ing ngarep: Gemini 4 Argon mlaku ing "dhuwur" - upaya pertimbangan paling dhuwur sing kasedhiya - nalika saben model liyane mlaku maksimal.

GPT-6 Astra Leads, GPT-6.1 Sol Menang ing Nilai

Asil nempatake GPT-6 Astra ing ndhuwur leaderboard, sing digambarake minangka langkah sing jelas tinimbang GPT-6.1 Sol ing posisi kaping pindho. Margin penting kanggo para pengamat benchmark: ing umume suite coding agenik, model unggulan cluster ing sawetara titik siji liyane, dadi leaderboard sing misahake lapangan dadi undakan sing beda nindakake pakaryan diagnostik luwih akeh tinimbang sepuluh paling rame. Gemini 4 Argon, Claude Opus 5.5 lan Claude Fable 5.1 sacara fungsional diikat ing mburi rong model OpenAI, kabeh ngetung antarane 37 lan 39. Meta Muse Wonder Full njupuk kaping pitu.

Analisis biaya bisa dadi temuan sing luwih nggumunake. Plotted marang biaya API rata-rata siji jam, GPT-6.1 Sol ndharat piyambak ing quadrant paling atraktif: Panggonan liya ing mung liwat sepuluh saka GPT-6 biaya Astra saben roto. Kanggo tim sing nimbang kinerja agen marang anggaran, longkangan antarane rong model OpenAI minangka judhul praktis.

Bot Manungsa tetep adoh ing ngarep

Nglawan bot sing paling kuat sing ditulis manungsa - Stardust, PurpleWave lan BananaBrain - GPT-6 Astra mung menang 7% saka game kasebut. Penulis pathokan nyathet yen watesan penalaran siji jam minangka faktor, lan kahanan turnamen kanggo bot sing ditulis manungsa nyata luwih angel tinimbang peta loro pemain sing digunakake ing evaluasi.

Isih, celah kasebut minangka koreksi sing migunani kanggo narasi dominasi AI ing piranti lunak: ing tugas kanthi kahanan menang sing jelas, strategi sing jero lan cakrawala perencanaan sing dawa, pirang-pirang dekade teknik komunitas isih luwih dhuwur tinimbang sing bisa diprodhuksi sajrone coding model perbatasan.

StarCraft wis suwe dadi papan bukti kanggo AI sing main game amarga ora kuwat. Strategi wektu nyata mbutuhake manajemen ekonomi, kepanduan lan pertempuran kanthi sebagean informasi, lan komunitas Perang Brood wis njaga turnamen bot sing kompetitif sajrone pirang-pirang taun. Ekosistem akumulasi kasebut sing ndadekake garis dasar manungsa dadi penting - Stardust, PurpleWave lan BananaBrain dudu mungsuh biasa, nanging program sing diolah kanthi turnamen.

Kapal Flagship Anyar Ketik Fray

Versi 0.2 uga dadi papan skor awal kanggo model sing mentas dirilis. Google Gemini 4 Argon ngganti v0.1 Gemini 3.8 Flash lan diselehake katelu ing debut, nalika Meta Muse Wonder Full jumangkah kanggo Muse Spark 1.3 lan rampung kapitu. GPT-6 Astra lan Claude Opus 5.5 digawa saka jangkoan versi sadurungé.

Patokan kasebut nyathet jejak agen kanggo saben roto, nyathet carane saben model ngentekake jam - set data sing ngowahi leaderboard dadi studi prilaku babagan cara anggaran model laboratorium beda antarane planning, coding lan playtesting. Apa model ngarep-muat kaputusan arsitektur utawa iterates kanthi cepet liwat buggy drafts persis jenis proses rinci sing skor agregat ndhelikake, lan ing ngendi beda lintas-lab paling menarik cenderung muncul.

Apa Sing Penting

Tolok ukur pengkodean agen cepet jenuh, kanthi model unggulan nglumpukake ing ndhuwur akeh suite rekayasa piranti lunak. StarSkirmish nawakake alternatif: lingkungan ing ngendi langit-langit disetel dening para ahli manungsa, kemajuan diukur ing tingkat menang tinimbang titik persentase resolusi tiket, lan anggaran wektu suwene jam nggambarake watesan nyata ing karya agen.

Asil kasebut narik kawigaten para pangembang. Kiriman Show HN narik luwih saka 200 upvotes, kanthi komentator nggali jejak agen lan plot efisiensi biaya. Diskusi pathokan ing Hacker News cenderung pamisah antarane metodologi quibbles lan kemampuan panas njupuk; siji iki ndudohke loro, karo asimetri alesan- efforts lan ukuran sampel limang roto antarane pilihan desain paling scrutinized. Nalika tingkat upaya pertimbangan mundhak lan nambah, panulis pathokan ngrancang terus-terusan - lan saiki, komunitas bot StarCraft manungsa tetep dadi pimpinan sing nyaman.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →