Kigezo ambacho huuliza miundo mikubwa ya lugha kuandika roboti za ushindani za StarCraft katika saa moja imetoa matokeo yake ya kina zaidi, na uamuzi umegawanyika: GPT-6 Astra ya OpenAI inatawala uga wa AI, lakini roboti kali zaidi zilizoandikwa na binadamu bado zinashinda muundo bora zaidi wa 93% wa wakati huo.
StarSkirmish Bench v0.2, iliyochapishwa Oktoba 15 na msanidi programu Kai McPheeters, inatathmini jinsi StarCraft: Brood War bot kila LLM inaweza kutoa kutokana na saa moja ya saa-saa. Kila modeli huandika boti ya Protoss katika C++, ambayo kisha inachezwa dhidi ya roboti zilizoandikwa na miundo pinzani na dhidi ya washindani mahiri walioandikwa na binadamu. Jaribio limeundwa kuchunguza mawazo ya upeo wa macho na usimbaji wa mawakala, kwa kuwa miundo lazima ijumuishe masomo kutoka kwa michezo ya mazoezi ili kuboresha ubunifu wao. For more context on this story, see our ongoing artificial intelligence updates.
Jinsi Benchmark Inavyofanya kazi
Sheria ni rahisi kwa makusudi. Saa moja, lugha moja, mbio moja. Alama za kila modeli ni wastani wa kiwango cha ushindi katika mikimbio tano dhidi ya orodha ya roboti zilizoandikwa na binadamu za ushindani na roboti za onyesho. Toleo la 0.2 limeongeza msokoto: kila muundo mkuu huendeshwa ndani ya uunganisho wa usimbaji wa CLI wa maabara yake wa mtu wa kwanza, unaojaribu mrundikano kamili wa mawakala badala ya kitanzi kilichotolewa cha API.
Kuna asymmetry moja, ambayo mwandishi wa alama anabainisha hapo juu: Gemini 4 Argon inaendesha "juu" - juhudi ya juu zaidi ya kufikiria inayopatikana - wakati kila muundo mwingine unaendesha kwa kiwango cha juu.
GPT-6 Astra Leads, GPT-6.1 Sol Inashinda kwa Thamani
Matokeo yaliweka GPT-6 Astra juu ya ubao wa wanaoongoza, ambayo uandishi unaelezea kama hatua ya wazi mbele ya GPT-6.1 Sol katika nafasi ya pili. Upeo ni muhimu kwa waangalizi wa viwango: katika vyumba vingi vya usimbaji vya mawakala, miundo bora zaidi hukusanyika ndani ya pointi chache kutoka kwa nyingine, kwa hivyo ubao wa wanaoongoza unaotenganisha uga katika viwango tofauti unafanya kazi ya uchunguzi zaidi kuliko kumi bora iliyosongamana. Gemini 4 Argon, Claude Opus 5.5 na Claude Fable 5.1 wamefungana kiutendaji nyuma ya wanamitindo wawili wa OpenAI, wote wakifunga kati ya 37 na 39. Meta's Muse Wonder Full ilichukua nafasi ya saba.
Uchambuzi wa gharama unaweza kuwa ndio ugunduzi wa kushangaza zaidi. Imepangwa dhidi ya wastani wa gharama ya API ya kukimbia kwa saa moja, GPT-6.1 Sol inatua pekee katika roboduara inayovutia zaidi: nafasi ya pili kwa zaidi ya sehemu ya kumi ya gharama ya GPT-6 Astra kwa kila kukimbia. Kwa timu zinazopima utendakazi wa wakala dhidi ya bajeti, pengo kati ya miundo miwili ya OpenAI ndio kichwa cha habari cha vitendo.
Boti za Binadamu Zimebaki Mbele
Dhidi ya roboti kali zaidi zilizoandikwa na binadamu — Stardust, PurpleWave na BananaBrain — GPT-6 Astra inashinda 7% pekee ya michezo yake. Mwandishi wa benchmark anabainisha kuwa kikomo cha hoja cha saa moja ni kipengele, na kwamba masharti ya mashindano ya roboti halisi yaliyoandikwa na binadamu ni magumu zaidi kuliko ramani tatu za wachezaji wawili zinazotumiwa katika tathmini.
Bado, pengo hilo ni urekebishaji muhimu kwa masimulizi ya utawala unaokaribia wa AI katika programu: kwenye kazi iliyo na masharti wazi ya ushindi, mkakati wa kina na upeo wa mipango mirefu, miongo ya uhandisi wa jamii bado iko juu ya kile ambacho saa moja ya usimbaji wa modeli ya mipaka inaweza kutoa.
StarCraft imetumika kwa muda mrefu kama msingi wa AI ya kucheza mchezo kwa sababu inapinga nguvu ya kikatili. Mikakati ya wakati halisi inadai usimamizi wa wakati mmoja wa uchumi, skauti na mapigano chini ya maelezo ya kiasi, na jumuiya ya Brood War imedumisha mashindano ya roboti yenye ushindani kwa miaka. Mfumo huo wa ikolojia uliokusanywa ndio unaofanya msingi wa binadamu kuwa na maana — Stardust, PurpleWave na BananaBrain si wapinzani wa kawaida bali ni programu zilizoboreshwa na ngumu za mashindano.
Vigogo Wapya Waingia Kwenye Mpambano
Toleo la 0.2 pia lilitumika kama ubao wa matokeo wa mapema kwa miundo mpya iliyotolewa. Gemini 4 Argon ya Google ilibadilisha Gemini 3.8 Flash ya v0.1 na kushika nafasi ya tatu kwa mara ya kwanza, huku Meta's Muse Wonder Full iliingia kwa Muse Spark 1.3 na kumaliza nafasi ya saba. GPT-6 Astra na Claude Opus 5.5 zilibebwa kutoka kwa toleo la awali.
Kielelezo hurekodi ufuatiliaji wa wakala kwa kila kukimbia, kuweka kumbukumbu jinsi kila muundo ulivyotumia saa yake - mkusanyiko wa data unaogeuza ubao wa wanaoongoza kuwa utafiti wa kitabia wa jinsi mifano tofauti ya wakati wa bajeti kati ya kupanga, kurekodi na kujaribu kucheza. Iwe uamuzi wa usanifu wa upakiaji wa mbele au unarudiwa kwa kasi kupitia rasimu za hitilafu ndiyo aina hasa ya maelezo ya mchakato ambayo jumla ya alama hujificha, na ndipo tofauti zinazovutia zaidi za maabara tofauti hujitokeza.
Kwanini Ni Muhimu
Vigezo vya usimbaji vya mawakala vinaenea kwa kasi, huku miundo bora zaidi ikishikana karibu na sehemu ya juu ya vyumba vingi vya uhandisi wa programu. StarSkirmish inatoa njia mbadala: mazingira ambapo dari imewekwa na wataalamu wa kibinadamu, maendeleo yanapimwa kwa viwango vya kushinda badala ya asilimia ya pointi za utatuzi wa tiketi, na bajeti ya muda wa saa moja huakisi vikwazo vya ulimwengu halisi kwenye kazi ya mawakala.
Matokeo yalivutia sana watengenezaji. Chapisho la Show HN lilipata kura zaidi ya 200, huku watoa maoni wakichimba katika ufuatiliaji wa wakala na njama ya ufanisi wa gharama. Majadiliano ya ulinganifu kwenye Habari za Mdukuzi huwa na mgawanyiko kati ya mijadala ya mbinu na uwezo motomoto; hii ilichora zote mbili, ikiwa na usawazishaji wa juhudi za kufikiria na saizi ya sampuli tano kati ya chaguo zilizochunguzwa zaidi za muundo. Kadiri viwango vya juhudi za kufikiri vinapoongezeka na viunga vinaboreka, mipango ya mwandishi wa kigezo iliendelea kurudiwa - na kwa sasa, jumuiya ya roboti ya binadamu ya StarCraft inaendelea kuongoza vizuri.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
