ਬੈਂਚਮਾਰਕ ਫਰਮ ਆਰਟੀਫਿਸ਼ੀਅਲ ਐਨਾਲਿਸਿਸ ਨੇ ਆਪਣੇ ਇੰਟੈਲੀਜੈਂਸ ਇੰਡੈਕਸ ਦਾ ਸੰਸਕਰਣ 5 ਲਾਂਚ ਕੀਤਾ ਹੈ, ਇਸ ਨੂੰ ਜਨਵਰੀ ਵਿੱਚ v4 ਦੀ ਸ਼ੁਰੂਆਤ ਤੋਂ ਬਾਅਦ ਇਸਦੀ ਸੰਯੁਕਤ ਮਾਡਲ ਰੈਂਕਿੰਗ ਵਿੱਚ ਸਭ ਤੋਂ ਵੱਡਾ ਅਪਗ੍ਰੇਡ ਕਿਹਾ ਗਿਆ ਹੈ। ਸਿਰਲੇਖ ਵਿੱਚ ਤਬਦੀਲੀ: ਪਹਿਲੀ ਵਾਰ, ਸੂਚਕਾਂਕ ਦਾ 60 ਪ੍ਰਤੀਸ਼ਤ ਨਿੱਜੀ ਟੈਸਟ ਸੈੱਟਾਂ ਜਾਂ ਹੋਲਡ-ਆਊਟ ਜਵਾਬਾਂ ਦੇ ਨਾਲ ਮੁਲਾਂਕਣਾਂ 'ਤੇ ਬਣਾਇਆ ਗਿਆ ਹੈ - ਬੈਂਚਮਾਰਕ ਗੰਦਗੀ ਦੀਆਂ ਸਮੱਸਿਆਵਾਂ ਦਾ ਸਿੱਧਾ ਜਵਾਬ ਜਿਸ ਨੇ ਜਨਤਕ ਲੀਡਰਬੋਰਡਾਂ ਵਿੱਚ ਵਿਸ਼ਵਾਸ ਨੂੰ ਖਤਮ ਕੀਤਾ ਹੈ।

ਫੇਰਬਦਲ ਸਿਖਰ 'ਤੇ ਸਪੱਸ਼ਟ ਫੈਸਲੇ ਦੇ ਨਾਲ ਆਉਂਦਾ ਹੈ। Claude Opus 5.5 (ਅਧਿਕਤਮ) v5 ਸੂਚਕਾਂਕ ਨੂੰ 58 'ਤੇ, GPT-6 Astra (ਅਧਿਕਤਮ) ਤੋਂ 57 'ਤੇ ਅਤੇ GPT-6.1 Sol (ਅਧਿਕਤਮ) 55 'ਤੇ ਅੱਗੇ ਹੈ। ਐਂਥਰੋਪਿਕ ਅਤੇ ਓਪਨਏਆਈ ਮਿਲ ਕੇ ਸਿਖਰਲੇ ਪੰਜ ਸਥਾਨਾਂ 'ਤੇ ਹਨ, ਗੂਗਲ ਦੇ ਜੈਮਿਨੀ 4 ਆਰਗਨ (ਉੱਚ) ਨਾਲ 50ਵੇਂ ਸਥਾਨ 'ਤੇ ਹਨ। For more context on this story, see our ongoing breaking AI news.

v5 ਵਿੱਚ ਕੀ ਬਦਲਿਆ ਹੈ

v5 ਸੂਚਕਾਂਕ ਨੂੰ ਚਾਰ ਬਰਾਬਰ ਭਾਰ ਵਾਲੀਆਂ ਸ਼੍ਰੇਣੀਆਂ ਵਿੱਚ ਸੰਗਠਿਤ ਕੀਤਾ ਗਿਆ ਹੈ — ਗਿਆਨ ਕਾਰਜ, ਕੋਡਿੰਗ, ਵਿਗਿਆਨ ਅਤੇ ਜਨਰਲ — ਹਰੇਕ ਦਾ ਮੁੱਲ 25 ਪ੍ਰਤੀਸ਼ਤ ਹੈ। ਦੋ ਬੈਂਚਮਾਰਕ ਪੂਰੀ ਤਰ੍ਹਾਂ ਨਵੇਂ ਹਨ, ਅਤੇ ਤਿੰਨ ਨੇ ਵੱਡੇ ਅੱਪਗਰੇਡ ਪ੍ਰਾਪਤ ਕੀਤੇ ਹਨ:

  • ਫਰੰਟੀਅਰਕੋਡ 2.0 (ਨਵਾਂ)। ਓਪਨ-ਸੋਰਸ ਰਿਪੋਜ਼ਟਰੀਆਂ ਵਿੱਚ 132 ਰੀਅਲ-ਵਰਲਡ ਕੋਡਿੰਗ ਕਾਰਜਾਂ ਦਾ ਕੋਗਨੀਸ਼ਨ ਦਾ ਨਿੱਜੀ ਬੈਂਚਮਾਰਕ, ਇਸ ਗੱਲ 'ਤੇ ਗ੍ਰੇਡ ਕੀਤਾ ਗਿਆ ਹੈ ਕਿ ਕੀ ਇੱਕ ਰਿਪੋਜ਼ਟਰੀ ਮੇਨਟੇਨਰ ਅਸਲ ਵਿੱਚ ਏਜੰਟ ਦੇ ਬਦਲਾਅ ਨੂੰ ਮਿਲਾ ਦੇਵੇਗਾ। ਗੰਦਗੀ ਤੋਂ ਬਚਣ ਲਈ ਕਾਰਜ ਨਿਜੀ ਰਹਿੰਦੇ ਹਨ, ਅਤੇ ਨਕਲੀ ਵਿਸ਼ਲੇਸ਼ਣ ਹਰ ਕੰਮ ਨੂੰ ਇਸਦੀ ਸਟਿਰਪ ਏਜੰਟਿਕ ਹਾਰਨੈਸ ਵਿੱਚ ਤਿੰਨ ਵਾਰ ਚਲਾਉਂਦਾ ਹੈ।
  • ਟਰਮੀਨਲ-ਬੈਂਚ-ਸਾਇੰਸ (ਨਵਾਂ)। ਸੱਤਰ ਏਜੰਟ ਵਿਗਿਆਨਕ ਖੋਜ ਕਾਰਜ ਟਰਮੀਨਲ ਵਾਤਾਵਰਨ ਵਿੱਚ ਕੀਤੇ ਜਾਂਦੇ ਹਨ, ਜਿੱਥੇ ਕੋਈ ਕੰਮ ਤਾਂ ਹੀ ਪਾਸ ਹੁੰਦਾ ਹੈ ਜੇਕਰ ਇਸਦੇ ਹਰੇਕ ਟੈਸਟ ਪਾਸ ਹੋ ਜਾਂਦੇ ਹਨ।
  • HLE-ਡਾਇਮੰਡ (ਅੱਪਗ੍ਰੇਡ ਕੀਤਾ ਗਿਆ)। AI ਸੁਰੱਖਿਆ ਅਤੇ ਸਕੇਲ AI ਲਈ ਕੇਂਦਰ ਤੋਂ ਮਾਨਵਤਾ ਦੀ ਆਖਰੀ ਪ੍ਰੀਖਿਆ ਦਾ ਇੱਕ ਸ਼ੁੱਧ 1,000-ਪ੍ਰਸ਼ਨ ਵਾਲਾ ਸੰਸਕਰਣ, ਅਸਲ HLE ਦੀ ਥਾਂ, ਤਰਕ ਅਤੇ ਗਿਆਨ ਦੇ ਸਵਾਲਾਂ ਵਿਚਕਾਰ ਬਰਾਬਰ ਵੰਡਿਆ ਗਿਆ।
  • AA-Omniscience v1.1 (ਅੱਪਗ੍ਰੇਡ ਕੀਤਾ ਗਿਆ)। ਸੰਤ੍ਰਿਪਤ ਅਤੇ ਜਨਤਕ ਸਵਾਲਾਂ ਦੇ ਨਾਲ ਇੱਕ ਸਾਫ਼ ਗਿਆਨ ਅਤੇ ਭਰਮ ਡੇਟਾਸੈਟ ਹਟਾਇਆ ਗਿਆ।
  • CritPt v2 ਹਾਰਡ ਸਬਸੈੱਟ (ਅੱਪਗ੍ਰੇਡ ਕੀਤਾ ਗਿਆ)। ਖੋਜ-ਪੱਧਰ ਦੇ ਭੌਤਿਕ ਵਿਗਿਆਨ ਬੈਂਚਮਾਰਕ ਦਾ ਇੱਕ ਨਿੱਜੀ 40-ਸਵਾਲ ਹਾਰਡ ਸਬਸੈੱਟ, ਇਸਦੇ ਲੇਖਕਾਂ ਦੁਆਰਾ ਸੰਸ਼ੋਧਿਤ ਅਤੇ ਕੋਡ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਨਾਲ ਚਲਾਇਆ ਜਾਂਦਾ ਹੈ।

ਸੂਚਕਾਂਕ ਤੋਂ ਗਿਆ: GDPval-AA v2.1, SciCode ਅਤੇ AA-LCR v1.1. ਨਕਲੀ ਵਿਸ਼ਲੇਸ਼ਣ ਨੇ ਇੱਕ ਸਾਥੀ ਪ੍ਰੋਗਰੈਸ ਇੰਡੈਕਸ v1 ਵੀ ਲਾਂਚ ਕੀਤਾ, ਜੋ ਇੱਕ ਸਿੰਗਲ ਨਿਰੰਤਰ ਪੈਮਾਨੇ 'ਤੇ ਸਮੇਂ ਦੇ ਨਾਲ ਮਾਡਲ ਸਮਰੱਥਾ ਨੂੰ ਟਰੈਕ ਕਰਦਾ ਹੈ।

ਕਲਾਉਡ ਓਪਸ 5.5 ਸਮੁੱਚੀ ਲੀਡ ਲੈਂਦਾ ਹੈ

Claude Opus 5.5 (ਅਧਿਕਤਮ) ਨੌਂ ਵਿਅਕਤੀਗਤ ਮੁਲਾਂਕਣਾਂ ਵਿੱਚੋਂ ਤਿੰਨ ਦੀ ਅਗਵਾਈ ਕਰਦਾ ਹੈ: FrontierCode 2.0 46 ਪ੍ਰਤੀਸ਼ਤ, HLE-Diamond 68 ਪ੍ਰਤੀਸ਼ਤ ਅਤੇ AA-Omniscience v1.1 ਤੇ 48। ਕੋਈ ਵੀ ਮਾਡਲ ਹਰ ਚੀਜ਼ ਦੀ ਅਗਵਾਈ ਨਹੀਂ ਕਰਦਾ - ਪੰਜ ਹੋਰ ਮਾਡਲ ਬਾਕੀ ਛੇ ਬੈਂਚਮਾਰਕਾਂ ਵਿੱਚ ਸਿਖਰ 'ਤੇ ਹਨ।

GPT-6 ਐਸਟਰਾ (ਅਧਿਕਤਮ) ਟਰਮੀਨਲ-ਬੈਂਚ-ਸਾਇੰਸ ਨੂੰ 63 ਪ੍ਰਤੀਸ਼ਤ ਅਤੇ CritPt v2 ਹਾਰਡ ਸਬਸੈੱਟ ਨੂੰ 72 ਪ੍ਰਤੀਸ਼ਤ 'ਤੇ ਅਗਵਾਈ ਕਰਦਾ ਹੈ, ਜੋ ਲੰਬੇ-ਦਿਮਾਗ ਦੇ ਵਿਗਿਆਨਕ ਕੰਮ ਵਿੱਚ OpenAI ਦੀ ਤਾਕਤ ਦੀ ਪੁਸ਼ਟੀ ਕਰਦਾ ਹੈ। Claude Sonnet 5.5 1812 Elo 'ਤੇ AA-Briefcase ਵਿੱਚ ਸਿਖਰ 'ਤੇ ਹੈ, Kimi ਦਾ K3.1 Pro 67 ਫੀਸਦੀ 'ਤੇ ਟਰਮੀਨਲ-ਬੈਂਚ 4.0 ਦੀ ਅਗਵਾਈ ਕਰਦਾ ਹੈ, Gemini 4 Argon 78 ਫੀਸਦੀ 'ਤੇ AutomationBench-AA ਦੀ ਅਗਵਾਈ ਕਰਦਾ ਹੈ, ਅਤੇ Muse Wonder Full GDP.pdf ਨੂੰ 67 ਫੀਸਦੀ 'ਤੇ ਲੀਡ ਕਰਦਾ ਹੈ।

HLE-ਡਾਇਮੰਡ ਦੇ ਨਤੀਜਿਆਂ ਵਿੱਚ ਇੱਕ ਦੱਸਣ ਵਾਲਾ ਵੇਰਵਾ ਹੁੰਦਾ ਹੈ: ਪ੍ਰਮੁੱਖ ਮਾਡਲ ਗਿਆਨ ਨਾਲੋਂ ਤਰਕ 'ਤੇ ਬਹੁਤ ਵਧੀਆ ਅੰਕ ਪ੍ਰਾਪਤ ਕਰਦੇ ਹਨ। ਕਲਾਉਡ ਓਪਸ 5.5 ਅਤੇ GPT-6 ਐਸਟਰਾ ਦੋਵੇਂ ਤਰਕ ਦੇ ਸਵਾਲਾਂ 'ਤੇ 78 ਪ੍ਰਤੀਸ਼ਤ ਨੂੰ ਮਾਰਦੇ ਹਨ, ਪਰ ਗਿਆਨ 'ਤੇ ਕ੍ਰਮਵਾਰ 58 ਅਤੇ 50 ਪ੍ਰਤੀਸ਼ਤ ਤੱਕ ਡਿੱਗਦੇ ਹਨ - ਇਸ ਗੱਲ ਦਾ ਸਬੂਤ ਹੈ ਕਿ ਇੱਥੋਂ ਤੱਕ ਕਿ ਸਰਹੱਦੀ ਪ੍ਰਣਾਲੀਆਂ ਅਜੇ ਵੀ ਆਪਣੇ ਤਰਕ ਦੇ ਅੰਕਾਂ ਤੋਂ ਵੱਧ ਅਕਸਰ ਭੁਲੇਖਾ ਪਾਉਂਦੀਆਂ ਹਨ ਜਾਂ ਤੱਥਾਂ ਦੀ ਘਾਟ ਕਰਦੀਆਂ ਹਨ।

ਓਪਨ-ਵੇਟਸ ਗੈਪ ਤਿੰਨ ਗੁਣਾ

ਓਪਨ-ਵੇਟ ਈਕੋਸਿਸਟਮ ਲਈ ਸਭ ਤੋਂ ਗੰਭੀਰ ਖੋਜ: ਸਰਬੋਤਮ ਓਪਨ ਮਾਡਲ ਅਤੇ ਸਮੁੱਚੇ ਲੀਡਰ ਵਿਚਕਾਰ ਪਾੜਾ ਤਿੰਨ ਗੁਣਾ ਵਧ ਗਿਆ, v4.3 ਵਿੱਚ 3 ਪੁਆਇੰਟ ਤੋਂ v5 ਵਿੱਚ 12 ਪੁਆਇੰਟਾਂ ਤੱਕ ਵਧਿਆ।

ਕਿਮੀ ਦਾ K3.1 ਪ੍ਰੋ 46 'ਤੇ ਚੋਟੀ ਦਾ ਓਪਨ-ਵੇਟ ਮਾਡਲ ਹੈ - ਪਰ ਇਸਦੇ ਵਜ਼ਨ ਅਜੇ ਜਾਰੀ ਨਹੀਂ ਕੀਤੇ ਗਏ ਹਨ। ਜਾਰੀ ਕੀਤੇ ਗਏ ਵਜ਼ਨ ਵਾਲੇ ਮਾਡਲਾਂ ਵਿੱਚ, DeepSeek ਦਾ V4.1 ਫਲੈਸ਼ 1017 (ਅਧਿਕਤਮ) ਅਤੇ Z.ai ਦਾ GLM-5.3 (ਅਧਿਕਤਮ) 32 'ਤੇ ਲੀਡ, ਕਲਾਉਡ ਓਪਸ 5.5 ਤੋਂ ਪੂਰਾ 26 ਅੰਕ ਪਿੱਛੇ ਅਤੇ ਕਲਾਉਡ ਹਾਇਕੂ 5.5 (ਅਧਿਕਤਮ) ਤੋਂ ਹੇਠਾਂ 36 'ਤੇ ਹੈ।

ਔਖੇ ਏਜੰਟ ਮਾਪਦੰਡਾਂ 'ਤੇ ਇਹ ਪਾੜਾ ਸਭ ਤੋਂ ਚੌੜਾ ਹੈ। HLE-ਡਾਇਮੰਡ 'ਤੇ, Kimi K3.1 Pro ਨੇ Opus 5.5 ਦੇ 68 ਪ੍ਰਤੀਸ਼ਤ ਦੇ ਮੁਕਾਬਲੇ 37 ਪ੍ਰਤੀਸ਼ਤ ਸਕੋਰ ਕੀਤਾ; ਟਰਮੀਨਲ-ਬੈਂਚ-ਸਾਇੰਸ 'ਤੇ, GPT-6 Astra ਦੇ 63 ਪ੍ਰਤੀਸ਼ਤ ਦੇ ਮੁਕਾਬਲੇ 34 ਪ੍ਰਤੀਸ਼ਤ। ਜ਼ਿਆਦਾਤਰ ਓਪਨ-ਵੇਟ ਮਾਡਲਾਂ ਨੇ ਸਾਇੰਸ ਬੈਂਚਮਾਰਕ 'ਤੇ 10 ਪ੍ਰਤੀਸ਼ਤ ਤੋਂ ਘੱਟ ਸਕੋਰ ਬਣਾਏ ਹਨ।

ਪ੍ਰਤੀ ਕੰਮ ਦੀ ਕੀਮਤ ਤੇਰ੍ਹਾਂ ਗੁਣਾ ਬਦਲਦੀ ਹੈ

ਲਾਗਤ ਇੱਕ ਨਿਰਣਾਇਕ ਵੇਰੀਏਬਲ ਰਹਿੰਦੀ ਹੈ। ਦਸ ਸਭ ਤੋਂ ਵੱਧ ਸਕੋਰ ਵਾਲੇ ਮਾਡਲਾਂ ਵਿੱਚੋਂ, GPT-6.1 ਟੈਰਾ (ਅਧਿਕਤਮ) $0.96 ਪ੍ਰਤੀ ਇੰਟੈਲੀਜੈਂਸ ਇੰਡੈਕਸ ਟਾਸਕ ਵਿੱਚ ਸਭ ਤੋਂ ਸਸਤਾ ਹੈ, ਜਦੋਂ ਕਿ ਕਲਾਉਡ ਫੇਬਲ 5.1 (ਅਧਿਕਤਮ) $13.04 ਵਿੱਚ ਸਭ ਤੋਂ ਮਹਿੰਗਾ ਹੈ - ਇੱਕ 13 ਗੁਣਾ ਤੋਂ ਵੱਧ ਫੈਲਾਅ।

ਕੁਸ਼ਲਤਾ ਦੀ ਕਹਾਣੀ ਦਲੀਲ ਨਾਲ v5 ਦੀ ਸਭ ਤੋਂ ਪ੍ਰੈਕਟੀਕਲ ਟੇਕਅਵੇ ਹੈ: GPT-6.1 ਸੋਲ (ਅਧਿਕਤਮ) ਸਕੋਰ ਕਲਾਉਡ ਓਪਸ 5.5 ਦੇ 4 ਪੁਆਇੰਟਾਂ ਦੇ ਅੰਦਰ, ਜਦੋਂ ਕਿ ਪ੍ਰਤੀ ਟਾਸਕ ਦੇ ਲਗਭਗ ਇੱਕ-ਅੱਠਵੇਂ ਹਿੱਸੇ ਦੀ ਲਾਗਤ ਹੁੰਦੀ ਹੈ, ਓਪਸ ਦੇ $10.04 ਦੇ ਮੁਕਾਬਲੇ $1.27। GPT-6 Astra (ਅਧਿਕਤਮ) ਉਹਨਾਂ ਦੇ ਵਿਚਕਾਰ $6.24 'ਤੇ ਬੈਠਦਾ ਹੈ।

ਪ੍ਰਾਈਵੇਟ ਬੈਂਚਮਾਰਕ ਕਿਉਂ ਮਾਇਨੇ ਰੱਖਦੇ ਹਨ

ਨਿੱਜੀ ਮੁਲਾਂਕਣ ਸੈੱਟਾਂ ਵੱਲ ਤਬਦੀਲੀ ਉਦਯੋਗ-ਵਿਆਪੀ ਸਮੱਸਿਆ ਨੂੰ ਦਰਸਾਉਂਦੀ ਹੈ: ਜਨਤਕ ਬੈਂਚਮਾਰਕ ਸਿਖਲਾਈ ਡੇਟਾ ਵਿੱਚ ਲੀਕ ਹੋ ਜਾਂਦੇ ਹਨ ਅਤੇ ਸੰਤ੍ਰਿਪਤ ਹੁੰਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਲੀਡਰਬੋਰਡ ਲਾਭਾਂ 'ਤੇ ਭਰੋਸਾ ਕਰਨਾ ਅਸੰਭਵ ਹੋ ਜਾਂਦਾ ਹੈ। ਫਰੰਟੀਅਰਕੋਡ 2.0 ਦੇ ਨਾਲ, ਕਾਰਜਾਂ ਨੂੰ ਇਸ ਗੱਲ 'ਤੇ ਸ਼੍ਰੇਣੀਬੱਧ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਕਿ ਕੀ ਕੋਈ ਮੇਨਟੇਨਰ ਤਬਦੀਲੀ ਨੂੰ ਮਿਲਾ ਦੇਵੇਗਾ - ਕਿਸੇ ਵੀ ਬਲਾਕਿੰਗ ਚੈੱਕ ਅਸਫਲਤਾ ਸਕੋਰਿੰਗ ਜ਼ੀਰੋ ਦੇ ਨਾਲ - ਅਤੇ ਕਾਰਜ ਸੂਚੀ ਨਿੱਜੀ ਰਹਿੰਦੀ ਹੈ।

ਇਹ v5 ਨੂੰ ਗੇਮ ਦੇ ਔਖੇ ਮਾਪਦੰਡਾਂ ਵਿੱਚੋਂ ਇੱਕ ਬਣਾਉਂਦਾ ਹੈ, ਅਤੇ ਇਸਦੇ ਫੈਸਲੇ ਦਾ ਭਾਰ ਹੈ: ਸਰਹੱਦ ਦੀ ਅਗਵਾਈ ਐਂਥਰੋਪਿਕ ਅਤੇ ਓਪਨਏਆਈ ਦੁਆਰਾ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਕੋਸ਼ਿਸ਼ ਸੈਟਿੰਗਾਂ ਪਹਿਲਾਂ ਨਾਲੋਂ ਕਿਤੇ ਵੱਧ ਮਹੱਤਵ ਰੱਖਦੀਆਂ ਹਨ, ਅਤੇ ਓਪਨ-ਵੇਟ ਮਾਡਲਾਂ ਕੋਲ ਏਜੰਟੀ ਕੰਮਾਂ ਨੂੰ ਮੁੜ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਗੰਭੀਰ ਆਧਾਰ ਹੁੰਦਾ ਹੈ ਜੋ ਅਸਲ-ਸੰਸਾਰ AI ਕੰਮ ਨੂੰ ਵੱਧ ਤੋਂ ਵੱਧ ਪਰਿਭਾਸ਼ਿਤ ਕਰਦੇ ਹਨ।

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →