ਇੱਕ ਬੈਂਚਮਾਰਕ ਜੋ ਵੱਡੇ ਭਾਸ਼ਾ ਦੇ ਮਾਡਲਾਂ ਨੂੰ ਇੱਕ ਘੰਟੇ ਵਿੱਚ ਪ੍ਰਤੀਯੋਗੀ ਸਟਾਰਕਰਾਫਟ ਬੋਟਸ ਲਿਖਣ ਲਈ ਕਹਿੰਦਾ ਹੈ, ਨੇ ਅਜੇ ਤੱਕ ਇਸਦੇ ਸਭ ਤੋਂ ਵਿਸਤ੍ਰਿਤ ਨਤੀਜੇ ਪ੍ਰਦਾਨ ਕੀਤੇ ਹਨ, ਅਤੇ ਫੈਸਲਾ ਵੰਡਿਆ ਗਿਆ ਹੈ: OpenAI ਦਾ GPT-6 Astra AI ਖੇਤਰ ਵਿੱਚ ਹਾਵੀ ਹੈ, ਪਰ ਸਭ ਤੋਂ ਮਜ਼ਬੂਤ ਮਨੁੱਖੀ-ਲਿਖਤ ਬੋਟ ਅਜੇ ਵੀ ਵਧੀਆ ਮਾਡਲ ਨੂੰ 93% ਵਾਰ ਹਰਾਉਂਦੇ ਹਨ।
ਡਿਵੈਲਪਰ Kai McPheeters ਦੁਆਰਾ 15 ਅਕਤੂਬਰ ਨੂੰ ਪ੍ਰਕਾਸ਼ਿਤ StarSkirmish ਬੈਂਚ v0.2, ਇਹ ਮੁਲਾਂਕਣ ਕਰਦਾ ਹੈ ਕਿ ਇੱਕ StarCraft: Brood War ਬੋਟ ਹਰੇਕ LLM ਇੱਕ ਘੰਟੇ ਦੇ ਕੰਧ-ਘੜੀ ਦੇ ਸਮੇਂ ਵਿੱਚ ਕਿੰਨਾ ਮਜ਼ਬੂਤ ਪੈਦਾ ਕਰ ਸਕਦਾ ਹੈ। ਹਰੇਕ ਮਾਡਲ C++ ਵਿੱਚ ਇੱਕ ਪ੍ਰੋਟੋਸ ਬੋਟ ਲਿਖਦਾ ਹੈ, ਜੋ ਕਿ ਫਿਰ ਵਿਰੋਧੀ ਮਾਡਲਾਂ ਦੁਆਰਾ ਲਿਖੇ ਬੋਟਾਂ ਅਤੇ ਸਥਾਪਤ ਮਨੁੱਖੀ-ਲਿਖਤ ਪ੍ਰਤੀਯੋਗੀਆਂ ਦੇ ਵਿਰੁੱਧ ਖੇਡਿਆ ਜਾਂਦਾ ਹੈ। ਟੈਸਟ ਲੰਬੇ-ਦਿਮਾਗ ਤਰਕ ਅਤੇ ਏਜੰਟਿਕ ਕੋਡਿੰਗ ਦੀ ਜਾਂਚ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ, ਕਿਉਂਕਿ ਮਾਡਲਾਂ ਨੂੰ ਉਹਨਾਂ ਦੀਆਂ ਰਚਨਾਵਾਂ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਲਈ ਅਭਿਆਸ ਗੇਮਾਂ ਤੋਂ ਸਬਕ ਸ਼ਾਮਲ ਕਰਨੇ ਚਾਹੀਦੇ ਹਨ। For more context on this story, see our ongoing AI trends.
ਬੈਂਚਮਾਰਕ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ
ਨਿਯਮ ਜਾਣਬੁੱਝ ਕੇ ਸਧਾਰਨ ਹਨ. ਇੱਕ ਘੰਟਾ, ਇੱਕ ਭਾਸ਼ਾ, ਇੱਕ ਨਸਲ। ਹਰੇਕ ਮਾਡਲ ਦਾ ਸਕੋਰ ਪ੍ਰਤੀਯੋਗੀ ਮਨੁੱਖੀ-ਲਿਖਤ ਬੋਟਾਂ ਅਤੇ ਡੈਮੋ ਬੋਟਾਂ ਦੇ ਰੋਸਟਰ ਦੇ ਵਿਰੁੱਧ ਪੰਜ ਦੌੜਾਂ ਵਿੱਚ ਔਸਤ ਜਿੱਤ ਦਰ ਹੈ। ਸੰਸਕਰਣ 0.2 ਨੇ ਇੱਕ ਮੋੜ ਜੋੜਿਆ: ਹਰ ਫਲੈਗਸ਼ਿਪ ਮਾਡਲ ਆਪਣੀ ਲੈਬ ਦੇ ਪਹਿਲੇ-ਪਾਰਟੀ CLI ਕੋਡਿੰਗ ਹਾਰਨੈਸ ਦੇ ਅੰਦਰ ਚੱਲਦਾ ਹੈ, ਇੱਕ ਸਟ੍ਰਿਪਡ-ਡਾਊਨ API ਲੂਪ ਦੀ ਬਜਾਏ ਪੂਰੇ ਏਜੰਟਿਕ ਸਟੈਕ ਦੀ ਜਾਂਚ ਕਰਦਾ ਹੈ।
ਇੱਥੇ ਇੱਕ ਅਸਮਿਤੀ ਹੈ, ਜਿਸਨੂੰ ਬੈਂਚਮਾਰਕ ਲੇਖਕ ਪਹਿਲਾਂ ਨੋਟ ਕਰਦਾ ਹੈ: ਜੈਮਿਨੀ 4 ਅਰਗਨ "ਉੱਚ" 'ਤੇ ਚੱਲਦਾ ਹੈ - ਇਸਦੇ ਲਈ ਉਪਲਬਧ ਸਭ ਤੋਂ ਵੱਧ ਤਰਕ ਜਤਨ - ਜਦੋਂ ਕਿ ਹਰ ਦੂਜਾ ਮਾਡਲ ਵੱਧ ਤੋਂ ਵੱਧ ਚੱਲਦਾ ਹੈ।
GPT-6 ਐਸਟਰਾ ਲੀਡਸ, GPT-6.1 ਸੋਲ ਮੁੱਲ 'ਤੇ ਜਿੱਤਦਾ ਹੈ
ਨਤੀਜਿਆਂ ਨੇ GPT-6 ਐਸਟਰਾ ਨੂੰ ਲੀਡਰਬੋਰਡ ਦੇ ਸਿਖਰ 'ਤੇ ਰੱਖਿਆ, ਜਿਸ ਨੂੰ ਰਾਈਟਅੱਪ ਦੂਜੇ ਸਥਾਨ 'ਤੇ GPT-6.1 Sol ਤੋਂ ਅੱਗੇ ਇੱਕ ਸਪੱਸ਼ਟ ਕਦਮ ਵਜੋਂ ਦਰਸਾਉਂਦਾ ਹੈ। ਬੈਂਚਮਾਰਕ ਦੇਖਣ ਵਾਲਿਆਂ ਲਈ ਹਾਸ਼ੀਏ ਦੇ ਮਾਮਲੇ: ਜ਼ਿਆਦਾਤਰ ਏਜੰਟਿਕ ਕੋਡਿੰਗ ਸੂਟਾਂ ਵਿੱਚ, ਫਲੈਗਸ਼ਿਪ ਮਾਡਲ ਇੱਕ ਦੂਜੇ ਦੇ ਕੁਝ ਬਿੰਦੂਆਂ ਦੇ ਅੰਦਰ ਕਲੱਸਟਰ ਹੁੰਦੇ ਹਨ, ਇਸਲਈ ਇੱਕ ਲੀਡਰਬੋਰਡ ਜੋ ਫੀਲਡ ਨੂੰ ਵੱਖਰੇ ਪੱਧਰਾਂ ਵਿੱਚ ਵੱਖ ਕਰਦਾ ਹੈ ਇੱਕ ਭੀੜ ਵਾਲੇ ਸਿਖਰਲੇ ਦਸ ਨਾਲੋਂ ਵਧੇਰੇ ਡਾਇਗਨੌਸਟਿਕ ਕੰਮ ਕਰ ਰਿਹਾ ਹੈ। Gemini 4 Argon, Claude Opus 5.5 ਅਤੇ Claude Fable 5.1 ਦੋ OpenAI ਮਾਡਲਾਂ ਦੇ ਪਿੱਛੇ ਕਾਰਜਸ਼ੀਲ ਤੌਰ 'ਤੇ ਬੰਨ੍ਹੇ ਹੋਏ ਹਨ, ਸਾਰੇ ਸਕੋਰ 37 ਅਤੇ 39 ਦੇ ਵਿਚਕਾਰ ਹਨ। Meta's Muse Wonder Full ਨੇ ਸੱਤਵਾਂ ਸਥਾਨ ਪ੍ਰਾਪਤ ਕੀਤਾ।
ਲਾਗਤ ਵਿਸ਼ਲੇਸ਼ਣ ਵਧੇਰੇ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਖੋਜ ਹੋ ਸਕਦਾ ਹੈ. ਇੱਕ ਘੰਟੇ ਦੀ ਦੌੜ ਦੀ ਔਸਤ API ਲਾਗਤ ਦੇ ਮੁਕਾਬਲੇ ਤਿਆਰ ਕੀਤਾ ਗਿਆ, GPT-6.1 Sol ਸਭ ਤੋਂ ਆਕਰਸ਼ਕ ਚਤੁਰਭੁਜ ਵਿੱਚ ਇਕੱਲਾ ਹੈ: GPT-6 Astra ਦੀ ਪ੍ਰਤੀ ਦੌੜ ਲਾਗਤ ਦੇ ਦਸਵੇਂ ਹਿੱਸੇ 'ਤੇ ਦੂਜਾ ਸਥਾਨ। ਬਜਟ ਦੇ ਵਿਰੁੱਧ ਏਜੰਟ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਤੋਲਣ ਵਾਲੀਆਂ ਟੀਮਾਂ ਲਈ, ਦੋ ਓਪਨਏਆਈ ਮਾਡਲਾਂ ਵਿਚਕਾਰ ਪਾੜਾ ਵਿਹਾਰਕ ਸਿਰਲੇਖ ਹੈ।
ਮਨੁੱਖੀ ਬੋਟ ਬਹੁਤ ਅੱਗੇ ਰਹਿੰਦੇ ਹਨ
ਸਭ ਤੋਂ ਮਜ਼ਬੂਤ ਮਨੁੱਖੀ-ਲਿਖਤ ਬੋਟਾਂ ਦੇ ਵਿਰੁੱਧ - ਸਟਾਰਡਸਟ, ਪਰਪਲਵੇਵ ਅਤੇ ਬਨਾਨਾਬ੍ਰੇਨ - GPT-6 ਐਸਟਰਾ ਆਪਣੀਆਂ ਖੇਡਾਂ ਦਾ ਸਿਰਫ 7% ਜਿੱਤਦਾ ਹੈ। ਬੈਂਚਮਾਰਕ ਦੇ ਲੇਖਕ ਨੇ ਨੋਟ ਕੀਤਾ ਹੈ ਕਿ ਇੱਕ-ਘੰਟੇ ਦੀ ਤਰਕ ਸੀਮਾ ਇੱਕ ਕਾਰਕ ਹੈ, ਅਤੇ ਅਸਲ ਮਨੁੱਖੀ-ਲਿਖਤ ਬੋਟਾਂ ਲਈ ਟੂਰਨਾਮੈਂਟ ਦੀਆਂ ਸਥਿਤੀਆਂ ਮੁਲਾਂਕਣ ਵਿੱਚ ਵਰਤੇ ਗਏ ਤਿੰਨ ਦੋ-ਖਿਡਾਰੀ ਨਕਸ਼ਿਆਂ ਨਾਲੋਂ ਕਾਫ਼ੀ ਸਖ਼ਤ ਹਨ।
ਫਿਰ ਵੀ, ਇਹ ਪਾੜਾ ਸਾਫਟਵੇਅਰ ਵਿੱਚ ਆਉਣ ਵਾਲੇ AI ਦਬਦਬੇ ਦੇ ਬਿਰਤਾਂਤ ਲਈ ਇੱਕ ਉਪਯੋਗੀ ਸੁਧਾਰਾਤਮਕ ਹੈ: ਸਪਸ਼ਟ ਜਿੱਤ ਦੀਆਂ ਸਥਿਤੀਆਂ, ਡੂੰਘੀ ਰਣਨੀਤੀ ਅਤੇ ਲੰਬੇ ਯੋਜਨਾਬੰਦੀ ਦੇ ਦਿਸ਼ਾਵਾਂ ਵਾਲੇ ਕੰਮ 'ਤੇ, ਦਹਾਕਿਆਂ ਦੀ ਕਮਿਊਨਿਟੀ ਇੰਜੀਨੀਅਰਿੰਗ ਅਜੇ ਵੀ ਇਸ ਤੋਂ ਉੱਪਰ ਹੈ ਕਿ ਫਰੰਟੀਅਰ-ਮਾਡਲ ਕੋਡਿੰਗ ਦਾ ਇੱਕ ਘੰਟਾ ਕੀ ਪੈਦਾ ਕਰ ਸਕਦਾ ਹੈ।
ਸਟਾਰਕਰਾਫਟ ਨੇ ਲੰਬੇ ਸਮੇਂ ਤੋਂ ਗੇਮ-ਖੇਡਣ ਵਾਲੀ ਏਆਈ ਲਈ ਇੱਕ ਸਾਬਤ ਕਰਨ ਵਾਲੇ ਮੈਦਾਨ ਵਜੋਂ ਕੰਮ ਕੀਤਾ ਹੈ ਕਿਉਂਕਿ ਇਹ ਬੇਰਹਿਮ ਤਾਕਤ ਦਾ ਵਿਰੋਧ ਕਰਦਾ ਹੈ। ਅਸਲ-ਸਮੇਂ ਦੀ ਰਣਨੀਤੀ ਅੰਸ਼ਕ ਜਾਣਕਾਰੀ ਦੇ ਅਧੀਨ ਅਰਥਚਾਰੇ, ਸਕਾਊਟਿੰਗ ਅਤੇ ਲੜਾਈ ਦੇ ਸਮਕਾਲੀ ਪ੍ਰਬੰਧਨ ਦੀ ਮੰਗ ਕਰਦੀ ਹੈ, ਅਤੇ ਬ੍ਰੂਡ ਵਾਰ ਕਮਿਊਨਿਟੀ ਨੇ ਸਾਲਾਂ ਤੋਂ ਪ੍ਰਤੀਯੋਗੀ ਬੋਟ ਟੂਰਨਾਮੈਂਟਾਂ ਨੂੰ ਕਾਇਮ ਰੱਖਿਆ ਹੈ। ਇਹ ਸੰਚਿਤ ਈਕੋਸਿਸਟਮ ਉਹ ਹੈ ਜੋ ਬੈਂਚਮਾਰਕ ਦੀ ਮਨੁੱਖੀ ਆਧਾਰਲਾਈਨ ਨੂੰ ਸਾਰਥਕ ਬਣਾਉਂਦਾ ਹੈ — ਸਟਾਰਡਸਟ, ਪਰਪਲਵੇਵ ਅਤੇ ਬਨਾਨਾਬ੍ਰੇਨ ਆਮ ਵਿਰੋਧੀ ਨਹੀਂ ਹਨ ਪਰ ਸ਼ੁੱਧ, ਟੂਰਨਾਮੈਂਟ-ਕਠੋਰ ਪ੍ਰੋਗਰਾਮ ਹਨ।
ਨਵੇਂ ਫਲੈਗਸ਼ਿਪਸ ਮੈਦਾਨ ਵਿੱਚ ਦਾਖਲ ਹੋਏ
ਸੰਸਕਰਣ 0.2 ਨੇ ਤਾਜ਼ੇ ਜਾਰੀ ਕੀਤੇ ਮਾਡਲਾਂ ਲਈ ਸ਼ੁਰੂਆਤੀ ਸਕੋਰਬੋਰਡ ਵਜੋਂ ਵੀ ਕੰਮ ਕੀਤਾ। Google ਦੇ Gemini 4 Argon ਨੇ v0.1 ਦੇ Gemini 3.8 Flash ਨੂੰ ਬਦਲ ਦਿੱਤਾ ਅਤੇ ਪਹਿਲੇ ਸਥਾਨ 'ਤੇ ਤੀਜੇ ਸਥਾਨ 'ਤੇ ਰਿਹਾ, ਜਦੋਂ ਕਿ Meta's Muse Wonder Full ਨੇ Muse Spark 1.3 ਲਈ ਕਦਮ ਰੱਖਿਆ ਅਤੇ ਸੱਤਵੇਂ ਸਥਾਨ 'ਤੇ ਰਿਹਾ। GPT-6 Astra ਅਤੇ Claude Opus 5.5 ਨੂੰ ਪੁਰਾਣੇ ਸੰਸਕਰਣ ਦੇ ਕਵਰੇਜ ਤੋਂ ਲਿਆ ਗਿਆ।
ਬੈਂਚਮਾਰਕ ਹਰੇਕ ਰਨ ਲਈ ਇੱਕ ਏਜੰਟ ਟਰੇਸ ਰਿਕਾਰਡ ਕਰਦਾ ਹੈ, ਲੌਗਿੰਗ ਕਰਦਾ ਹੈ ਕਿ ਹਰੇਕ ਮਾਡਲ ਨੇ ਆਪਣਾ ਘੰਟਾ ਕਿਵੇਂ ਬਿਤਾਇਆ — ਇੱਕ ਡੇਟਾਸੈਟ ਜੋ ਲੀਡਰਬੋਰਡ ਨੂੰ ਇੱਕ ਵਿਵਹਾਰਕ ਅਧਿਐਨ ਵਿੱਚ ਬਦਲਦਾ ਹੈ ਕਿ ਕਿਵੇਂ ਵੱਖ-ਵੱਖ ਲੈਬਾਂ ਦੇ ਮਾਡਲ ਯੋਜਨਾਬੰਦੀ, ਕੋਡਿੰਗ ਅਤੇ ਪਲੇਟੈਸਟਿੰਗ ਦੇ ਵਿਚਕਾਰ ਸਮੇਂ ਦਾ ਬਜਟ ਬਣਾਉਂਦੇ ਹਨ। ਕੀ ਇੱਕ ਮਾਡਲ ਫਰੰਟ-ਲੋਡ ਆਰਕੀਟੈਕਚਰ ਦੇ ਫੈਸਲਿਆਂ ਜਾਂ ਬੱਗੀ ਡਰਾਫਟਾਂ ਰਾਹੀਂ ਤੇਜ਼ੀ ਨਾਲ ਦੁਹਰਾਉਂਦਾ ਹੈ, ਬਿਲਕੁਲ ਉਸੇ ਕਿਸਮ ਦਾ ਪ੍ਰਕਿਰਿਆ ਵੇਰਵੇ ਹੈ ਜੋ ਕੁੱਲ ਸਕੋਰਾਂ ਨੂੰ ਛੁਪਾਉਂਦਾ ਹੈ, ਅਤੇ ਇਹ ਉਹ ਥਾਂ ਹੈ ਜਿੱਥੇ ਸਭ ਤੋਂ ਦਿਲਚਸਪ ਕਰਾਸ-ਲੈਬ ਅੰਤਰ ਸਾਹਮਣੇ ਆਉਂਦੇ ਹਨ।
ਇਹ ਮਾਇਨੇ ਕਿਉਂ ਰੱਖਦਾ ਹੈ
ਏਜੰਟਿਕ ਕੋਡਿੰਗ ਬੈਂਚਮਾਰਕ ਤੇਜ਼ੀ ਨਾਲ ਸੰਤ੍ਰਿਪਤ ਹੋ ਰਹੇ ਹਨ, ਫਲੈਗਸ਼ਿਪ ਮਾਡਲ ਬਹੁਤ ਸਾਰੇ ਸੌਫਟਵੇਅਰ-ਇੰਜੀਨੀਅਰਿੰਗ ਸੂਟਾਂ ਦੇ ਸਿਖਰ ਦੇ ਨੇੜੇ ਕਲੱਸਟਰ ਹੁੰਦੇ ਹਨ। StarSkirmish ਇੱਕ ਵਿਕਲਪ ਪੇਸ਼ ਕਰਦਾ ਹੈ: ਇੱਕ ਵਾਤਾਵਰਣ ਜਿੱਥੇ ਮਨੁੱਖੀ ਮਾਹਿਰਾਂ ਦੁਆਰਾ ਸੀਮਾ ਨਿਰਧਾਰਤ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਤਰੱਕੀ ਨੂੰ ਟਿਕਟ ਰੈਜ਼ੋਲੂਸ਼ਨ ਦੇ ਪ੍ਰਤੀਸ਼ਤ ਅੰਕਾਂ ਦੀ ਬਜਾਏ ਜਿੱਤ ਦਰਾਂ ਵਿੱਚ ਮਾਪਿਆ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਘੰਟੇ-ਲੰਬੇ ਸਮੇਂ ਦਾ ਬਜਟ ਏਜੰਟ ਦੇ ਕੰਮ 'ਤੇ ਅਸਲ-ਸੰਸਾਰ ਦੀਆਂ ਰੁਕਾਵਟਾਂ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ।
ਨਤੀਜਿਆਂ ਨੇ ਡਿਵੈਲਪਰਾਂ ਦੇ ਨਾਲ ਇੱਕ ਤਾਲ ਨੂੰ ਮਾਰਿਆ. ਸ਼ੋਅ ਐਚਐਨ ਪੋਸਟ ਨੇ 200 ਤੋਂ ਵੱਧ ਵੋਟ ਪ੍ਰਾਪਤ ਕੀਤੇ, ਟਿੱਪਣੀਕਾਰਾਂ ਨੇ ਏਜੰਟ ਦੇ ਨਿਸ਼ਾਨ ਅਤੇ ਲਾਗਤ-ਕੁਸ਼ਲਤਾ ਪਲਾਟ ਵਿੱਚ ਖੁਦਾਈ ਕੀਤੀ। ਹੈਕਰ ਨਿਊਜ਼ 'ਤੇ ਬੈਂਚਮਾਰਕ ਵਿਚਾਰ-ਵਟਾਂਦਰੇ ਵਿਧੀ-ਵਿਧਾਨ ਅਤੇ ਸਮਰੱਥਾ ਦੇ ਹਾਟ ਟੇਕਸ ਵਿਚਕਾਰ ਵੰਡੇ ਜਾਂਦੇ ਹਨ; ਇਸ ਨੇ ਸਭ ਤੋਂ ਛਾਣਬੀਣ ਕੀਤੇ ਡਿਜ਼ਾਈਨ ਵਿਕਲਪਾਂ ਵਿੱਚੋਂ ਤਰਕ-ਜਤਨ ਅਸਮਾਨਤਾ ਅਤੇ ਪੰਜ-ਰਨ ਦੇ ਨਮੂਨੇ ਦੇ ਆਕਾਰ ਦੇ ਨਾਲ, ਦੋਵਾਂ ਨੂੰ ਖਿੱਚਿਆ। ਜਿਵੇਂ ਕਿ ਤਰਕ ਦੇ ਯਤਨਾਂ ਦੇ ਪੱਧਰ ਵਧਦੇ ਹਨ ਅਤੇ ਵਰਤੋਂ ਵਿੱਚ ਸੁਧਾਰ ਹੁੰਦਾ ਹੈ, ਬੈਂਚਮਾਰਕ ਦੇ ਲੇਖਕ ਨੇ ਲਗਾਤਾਰ ਦੁਹਰਾਏ ਜਾਣ ਦੀ ਯੋਜਨਾ ਬਣਾਈ ਹੈ - ਅਤੇ ਹੁਣ ਲਈ, ਮਨੁੱਖੀ ਸਟਾਰਕਰਾਫਟ ਬੋਟ ਕਮਿਊਨਿਟੀ ਆਪਣੀ ਆਰਾਮਦਾਇਕ ਅਗਵਾਈ ਨੂੰ ਕਾਇਮ ਰੱਖਦੀ ਹੈ।
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
