ਰੀਅਲ-ਐਸਡਬਲਯੂਈ ਨਾਮਕ ਇੱਕ ਨਵਾਂ ਬੈਂਚਮਾਰਕ ਚੁਣੌਤੀ ਦੇ ਰਿਹਾ ਹੈ ਕਿ ਕਿਵੇਂ ਏਆਈ ਉਦਯੋਗ ਕੋਡਿੰਗ ਯੋਗਤਾ ਨੂੰ ਮਾਪਦਾ ਹੈ, ਅਤੇ ਪਹਿਲੇ ਨਤੀਜੇ ਫਰੰਟੀਅਰ ਲੈਬਾਂ ਲਈ ਨਿਮਰ ਹਨ। ਐਂਥਰੋਪਿਕਜ਼ ਫੇਬਲ 5.1, ਕਲਾਉਡ ਕੋਡ ਹਾਰਨੇਸ ਦੇ ਅੰਦਰ ਚੱਲ ਰਿਹਾ ਹੈ, ਪ੍ਰਾਈਵੇਟ, ਰੀਅਲ-ਵਰਲਡ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਕੋਡਬੇਸ ਤੋਂ ਲਏ ਗਏ ਕੰਮਾਂ 'ਤੇ 38.8% ਰੈਜ਼ੋਲਿਊਸ਼ਨ ਦਰ ਨਾਲ ਬੋਰਡ ਦੀ ਅਗਵਾਈ ਕਰਦਾ ਹੈ। ਕੋਈ ਵੀ ਮਾਡਲ ਟੈਸਟ ਕੀਤਾ ਗਿਆ 40 ਪ੍ਰਤੀਸ਼ਤ ਕਲੀਅਰ ਨਹੀਂ ਕਰਦਾ।
ਵਿਸ਼ੇਸ਼ ਲੈਬਜ਼ ਦੁਆਰਾ ਇਸ ਮਹੀਨੇ ਜਾਰੀ ਕੀਤੇ ਗਏ ਬੈਂਚਮਾਰਕ, ਨਿਜੀ ਉਤਪਾਦਨ ਕੋਡਬੇਸਾਂ 'ਤੇ ਫਰੰਟੀਅਰ ਏਆਈ ਮਾਡਲਾਂ ਦਾ ਮੁਲਾਂਕਣ ਕਰਦੇ ਹਨ ਜਿਨ੍ਹਾਂ ਨੂੰ ਟੀਮ ਨੇ ਅਸਲ ਕੰਪਨੀਆਂ ਤੋਂ ਲਾਇਸੈਂਸ ਦਿੱਤਾ ਹੈ। ਇਸਦੇ ਸਿਰਜਣਹਾਰਾਂ ਦਾ ਦਲੀਲ ਹੈ ਕਿ ਮਾਹਰ ਦੁਆਰਾ ਤਿਆਰ ਕੀਤੇ ਜਾਂ ਸਿੰਥੈਟਿਕ ਕੰਮ, ਭਾਵੇਂ ਕਿ ਚੰਗੀ ਤਰ੍ਹਾਂ ਡਿਜ਼ਾਈਨ ਕੀਤੇ ਗਏ ਹਨ, ਉਹ ਜ਼ੁਬਾਨੀ ਕੰਮ ਨਹੀਂ ਹਨ ਜੋ ਅਸਲ ਕੰਪਨੀਆਂ ਦੇ ਇੰਜੀਨੀਅਰ ਅਸਲ ਵਿੱਚ ਕਰਦੇ ਹਨ। For more context on this story, see our ongoing breaking AI news.
ਪ੍ਰਾਈਵੇਟ ਕੋਡਬੇਸ ਤਸਵੀਰ ਕਿਉਂ ਬਦਲਦੇ ਹਨ
ਅਸਲ-SWE, ਇਸਦੇ ਲੇਖਕਾਂ ਦੇ ਅਨੁਸਾਰ, ਦੋ ਧੁਰਿਆਂ 'ਤੇ SWE-ਬੈਂਚ ਵਰਗੇ ਸਥਾਪਿਤ ਮਾਪਦੰਡਾਂ ਤੋਂ ਵੱਖਰਾ ਹੈ: ਅੰਡਰਲਾਈੰਗ ਕੋਡਿੰਗ ਆਰਟੀਫੈਕਟ ਅਤੇ ਹਦਾਇਤ ਦੀ ਵਿਸ਼ੇਸ਼ਤਾ। ਹਰੇਕ ਕੰਮ ਇੱਕ ਮਲਕੀਅਤ ਪ੍ਰਣਾਲੀ ਤੋਂ ਆਉਂਦਾ ਹੈ ਜਿਸਦਾ ਕੋਡ ਅਤੇ ਹੱਲ ਜਨਤਕ ਇੰਟਰਨੈਟ 'ਤੇ ਉਪਲਬਧ ਨਹੀਂ ਹਨ, ਜਿਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਏਜੰਟ ਜਨਤਕ ਰਿਪੋਜ਼ਟਰੀਆਂ ਤੋਂ ਖਿੱਚੇ ਗਏ ਯਾਦ ਕੀਤੇ ਜਵਾਬਾਂ 'ਤੇ ਨਿਰਭਰ ਨਹੀਂ ਹੋ ਸਕਦੇ ਹਨ।
ਕੰਮਾਂ ਦੇ ਕਾਰੋਬਾਰੀ ਨਤੀਜੇ ਵੀ ਹੁੰਦੇ ਹਨ। ਬੈਂਚਮਾਰਕ ਦੇ ਉਦਾਹਰਨ ਕਾਰਜਾਂ ਵਿੱਚ ਬਿਲਿੰਗ ਸਹੀ ਪ੍ਰਾਪਤ ਕਰਨਾ, ਟੈਕਸਾਂ ਦੀ ਗਣਨਾ ਕਰਨਾ, ਅਤੇ ਗਾਹਕਾਂ ਨੂੰ ਮਾਈਗਰੇਟ ਕਰਨਾ ਸ਼ਾਮਲ ਹੈ — ਬਦਲਾਵ ਜੋ ਕਾਰੋਬਾਰ ਦੇ ਚੱਲਣ ਦੇ ਤਰੀਕੇ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਦੇ ਹਨ, ਅਕਸਰ ਕਈ ਸੇਵਾਵਾਂ ਵਿੱਚ। ਹਰੇਕ ਕੰਪਨੀ ਦੇ ਆਪਣੇ ਸੰਕਲਪ ਅਤੇ ਕੋਡ ਲਿਖਣ ਦੇ ਤਰੀਕੇ ਹਨ, ਅਤੇ ਏਜੰਟਾਂ ਨੂੰ ਉਹਨਾਂ ਨਿਯਮਾਂ ਨੂੰ ਸਮਝਣਾ ਚਾਹੀਦਾ ਹੈ ਅਤੇ ਉਹਨਾਂ ਤਬਦੀਲੀਆਂ ਕਰਨੀਆਂ ਚਾਹੀਦੀਆਂ ਹਨ ਜੋ ਪਹਿਲਾਂ ਤੋਂ ਮੌਜੂਦ ਹਨ।
"ਕੀ ਇੱਕ ਕੋਡਿੰਗ ਏਜੰਟ ਅਸਲ ਸੰਸਾਰ ਵਿੱਚ ਇੱਕ ਸਾਫਟਵੇਅਰ ਇੰਜੀਨੀਅਰ ਦਾ ਕੰਮ ਕਰ ਸਕਦਾ ਹੈ?" ਬੈਂਚਮਾਰਕ ਦੀ ਜਾਣ-ਪਛਾਣ ਪੁੱਛਦੀ ਹੈ। ਲੀਡਰਬੋਰਡ ਜਵਾਬ ਦਾ ਸੁਝਾਅ ਦਿੰਦਾ ਹੈ, ਹੁਣ ਲਈ, ਇਹ ਹੈ: ਸਭ ਤੋਂ ਵਧੀਆ ਸਮੇਂ ਦਾ ਸਿਰਫ ਇੱਕ ਤਿਹਾਈ।
ਪੂਰਾ ਲੀਡਰਬੋਰਡ
ਖਾਸ ਲੈਬਾਂ ਨੇ ਅੱਠ ਫਰੰਟੀਅਰ ਮਾਡਲ-ਅਤੇ-ਹਾਰਨੇਸ ਸੰਜੋਗਾਂ ਦਾ ਮੁਲਾਂਕਣ ਕੀਤਾ, ਰੈਜ਼ੋਲਿਊਸ਼ਨ ਦਰ ਨੂੰ ਪਾਸ@1 ਦੇ ਤੌਰ 'ਤੇ ਮਾਪਿਆ ਗਿਆ, ਪ੍ਰਤੀ ਟਾਸਕ ਅੱਠ ਸੁਤੰਤਰ ਦੌੜਾਂ ਤੋਂ ਵੱਧ, 95 ਪ੍ਰਤੀਸ਼ਤ ਵਿਸ਼ਵਾਸ ਅੰਤਰਾਲਾਂ ਦੇ ਨਾਲ:
1. ਕਥਾ 5.1 (ਕਲਾਡ ਕੋਡ) — 38.8%
2. GPT-6 ਐਸਟਰਾ (ਕੋਡੈਕਸ CLI) — 33.8%
3. ਜੇਮਿਨੀ 3.8 ਫਲੈਸ਼ (ਜੇਮਿਨੀ CLI) — 31.2%
4. GLM 5.3 (ਕਲਾਡ ਕੋਡ) — 28.8%
5. (ਟਾਈ) ਗ੍ਰੋਕ 4.6 (ਗ੍ਰੋਕ ਬਿਲਡ) - 23.8%
5. (ਟਾਈ) ਮਿਊਜ਼ ਸਪਾਰਕ 1.3 (ਮਿਊਜ਼ ਕੋਡ) — 23.8%
7. ਕਿਮੀ ਕੇ3 (ਕਿਮੀ ਕੋਡ) — 18.8%
8. GPT-5.6 Sol (Codex CLI) — 16.2%
ਨਤੀਜਿਆਂ ਦੀ ਹਫਤੇ ਦੇ ਅੰਤ ਵਿੱਚ ਹੈਕਰ ਨਿਊਜ਼ 'ਤੇ ਵਿਆਪਕ ਤੌਰ 'ਤੇ ਚਰਚਾ ਕੀਤੀ ਗਈ ਸੀ, ਜਿੱਥੇ ਬੈਂਚਮਾਰਕ ਨੇ ਕਈ ਸੌ ਅਪਵੋਟਸ ਖਿੱਚੇ ਅਤੇ ਇਸ ਬਾਰੇ ਇੱਕ ਜੀਵੰਤ ਬਹਿਸ ਕੀਤੀ ਕਿ ਕੀ ਪ੍ਰਾਈਵੇਟ-ਕੋਡਬੇਸ ਮੁਲਾਂਕਣ ਏਜੰਟ ਦੀ ਤਰੱਕੀ ਲਈ ਸਹੀ ਮਾਪਦੰਡ ਹੈ।
ਸਿਖਰ 'ਤੇ ਇੱਕ ਤੰਗ ਪਰ ਅਰਥਪੂਰਨ ਫੈਲਾਅ
ਚੋਟੀ ਦੇ ਚਾਰ ਪ੍ਰਣਾਲੀਆਂ ਦੇ ਵਿਚਕਾਰ ਦਾ ਪਾੜਾ ਮੌਜੂਦਾ ਪ੍ਰਤੀਯੋਗੀ ਲੈਂਡਸਕੇਪ ਬਾਰੇ ਜੋ ਕਹਿੰਦਾ ਹੈ ਉਸ ਲਈ ਮਹੱਤਵਪੂਰਨ ਹੈ। Fable 5.1 ਦੀ OpenAI ਦੇ GPT-6 Astra ਉੱਤੇ ਪੰਜ-ਪੁਆਇੰਟ ਦੀ ਬੜ੍ਹਤ ਇੱਕ ਬੈਂਚਮਾਰਕ 'ਤੇ ਅਰਥਪੂਰਨ ਹੈ ਜਿੱਥੇ ਹਰ ਕੰਮ ਇੱਕ ਅਸਲ ਉਤਪਾਦਨ ਸਮੱਸਿਆ ਹੈ। ਜੈਮਿਨੀ 3.8 ਫਲੈਸ਼ ਟੇਕਿੰਗ ਤੀਸਰਾ ਹੈਰਾਨੀਜਨਕ ਹੈ, ਕਿਉਂਕਿ ਮਾਡਲ ਇੱਕ ਫਲੈਗਸ਼ਿਪ ਤਰਕ ਪ੍ਰਣਾਲੀ ਦੀ ਬਜਾਏ ਇੱਕ ਤੇਜ਼, ਘੱਟ ਲਾਗਤ ਵਾਲੇ ਵਰਕ ਹਾਰਸ ਵਜੋਂ ਸਥਿਤ ਹੈ। Z.ai ਦਾ GLM 5.3, ਕਲਾਉਡ ਕੋਡ ਦੁਆਰਾ ਮੁਲਾਂਕਣ ਕੀਤਾ ਗਿਆ, ਲੀਡਰ ਦੇ ਪੰਜ ਬਿੰਦੂਆਂ ਦੇ ਅੰਦਰ ਉਤਰਨਾ ਇਹ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਕਿਵੇਂ ਪ੍ਰਤੀਯੋਗੀ ਓਪਨ-ਵੇਟ ਮਾਡਲ ਵਿਹਾਰਕ ਇੰਜੀਨੀਅਰਿੰਗ ਕੰਮ 'ਤੇ ਬਣ ਗਏ ਹਨ।
ਬਰਾਬਰ ਦੱਸਣਾ ਤਲ 'ਤੇ ਫੈਲਣਾ ਹੈ. GPT-5.6 Sol, ਇੱਕ ਪਹਿਲਾਂ ਦੀ OpenAI ਰੀਲੀਜ਼, Fable 5.1 ਦੇ ਮੁਕਾਬਲੇ ਅੱਧੇ ਤੋਂ ਵੀ ਘੱਟ ਕੰਮਾਂ ਨੂੰ ਹੱਲ ਕਰਦੀ ਹੈ — ਇੱਕ ਯਾਦ ਦਿਵਾਉਂਦਾ ਹੈ ਕਿ ਸਰਹੱਦ ਕਿੰਨੀ ਤੇਜ਼ੀ ਨਾਲ ਅੱਗੇ ਵਧੀ ਹੈ, ਅਤੇ ਡ੍ਰੌਪ-ਆਫ ਸਿਰਫ ਇੱਕ ਮਾਡਲ ਪੀੜ੍ਹੀ ਵਾਪਸ ਹੋ ਸਕਦਾ ਹੈ।
ਹਾਰਨੈਸਜ਼ ਮਾੱਡਲ ਜਿੰਨਾ ਮਹੱਤਵ ਰੱਖਦਾ ਹੈ
ਬੈਂਚਮਾਰਕ ਦੇ ਵਿਧੀਗਤ ਵਿਕਲਪਾਂ ਵਿੱਚੋਂ ਇੱਕ ਧਿਆਨ ਖਿੱਚ ਰਿਹਾ ਹੈ: ਅਲੱਗ-ਥਲੱਗ ਮਾਡਲਾਂ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨ ਦੀ ਬਜਾਏ, ਰੀਅਲ-ਐਸਡਬਲਯੂਈ ਨੇਟਿਵ ਹਾਰਨੇਸ - ਕਲਾਉਡ ਕੋਡ, ਕੋਡੈਕਸ ਸੀਐਲਆਈ, ਜੇਮਿਨੀ ਸੀਐਲਆਈ, ਗ੍ਰੋਕ ਬਿਲਡ - ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ - ਇਹ ਦਰਸਾਉਣ ਲਈ ਕਿ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਇੰਜੀਨੀਅਰ ਅਸਲ ਵਿੱਚ ਅਭਿਆਸ ਵਿੱਚ ਕਿਵੇਂ ਕੰਮ ਕਰਦੇ ਹਨ। ਲੀਡਰਬੋਰਡ ਸਪੱਸ਼ਟ ਤੌਰ 'ਤੇ ਮਾਡਲ-ਅਤੇ-ਹਾਰਨੇਸ ਸੰਜੋਗਾਂ ਨੂੰ ਦਰਜਾ ਦਿੰਦਾ ਹੈ, ਇਹ ਮੰਨਦੇ ਹੋਏ ਕਿ ਸਕੈਫੋਲਡਿੰਗ, ਟੂਲ ਐਕਸੈਸ ਅਤੇ ਰੀਟਰੇਸ਼ਨ ਲੂਪਸ ਹੁਣ ਅਸਲ ਤੈਨਾਤੀਆਂ ਵਿੱਚ ਮਾਡਲ ਸਮਰੱਥਾ ਤੋਂ ਅਟੁੱਟ ਹਨ।
ਉਦਯੋਗਾਂ ਦੀ ਚੋਣ ਕਰਨ ਵਾਲੇ ਸਿਸਟਮਾਂ ਲਈ ਫਰੇਮਿੰਗ ਮਹੱਤਵਪੂਰਨ ਹੈ। ਉਹੀ ਮਾਡਲ ਇਸਦੇ ਆਲੇ ਦੁਆਲੇ ਲਪੇਟਿਆ ਏਜੰਟ ਹਾਰਨੈਸ ਦੇ ਅਧਾਰ ਤੇ ਬਹੁਤ ਵੱਖਰੇ ਢੰਗ ਨਾਲ ਪ੍ਰਦਰਸ਼ਨ ਕਰ ਸਕਦਾ ਹੈ, ਅਤੇ ਜਨਤਕ ਬੈਂਚਮਾਰਕ ਨੰਬਰਾਂ 'ਤੇ ਕੋਡਿੰਗ ਅਸਿਸਟੈਂਟ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨ ਵਾਲੇ ਖਰੀਦਦਾਰ ਇਸ ਗੱਲ ਦੀ ਵਿਗਾੜਤ ਤਸਵੀਰ ਪ੍ਰਾਪਤ ਕਰ ਰਹੇ ਹਨ ਕਿ ਉਹ ਸਿਸਟਮ ਆਪਣੇ ਕੋਡਬੇਸ 'ਤੇ ਕਿਵੇਂ ਵਿਵਹਾਰ ਕਰਨਗੇ।
ਉਦਯੋਗ ਲਈ ਇਸਦਾ ਕੀ ਅਰਥ ਹੈ
ਬੈਂਚਮਾਰਕਾਂ 'ਤੇ ਵਾਰ-ਵਾਰ ਸੰਤ੍ਰਿਪਤਾ ਦਾ ਦੋਸ਼ ਲਗਾਇਆ ਗਿਆ ਹੈ, ਸਰਹੱਦੀ ਮਾਡਲ ਜਨਤਕ ਟੈਸਟਾਂ 'ਤੇ ਨੇੜੇ-ਸੰਪੂਰਨ ਸਕੋਰ ਪੋਸਟ ਕਰਦੇ ਹਨ ਜੋ ਸਿਖਲਾਈ ਡੇਟਾ ਵਿੱਚ ਲੀਕ ਹੁੰਦੇ ਹਨ। ਰੀਅਲ-ਐਸਡਬਲਯੂਈ ਦਾ ਡਿਜ਼ਾਈਨ ਇੱਕੋ ਸਮੇਂ ਦੋਵਾਂ ਸਮੱਸਿਆਵਾਂ ਦਾ ਮੁਕਾਬਲਾ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦਾ ਹੈ: ਕੋਡ ਪ੍ਰਾਈਵੇਟ ਅਤੇ ਲਾਇਸੰਸਸ਼ੁਦਾ ਹੈ, ਕੰਮ ਕੰਮ ਕਰਨ ਵਾਲੀਆਂ ਇੰਜੀਨੀਅਰਿੰਗ ਟੀਮਾਂ ਦੇ ਅਸਲ ਕੰਮ ਉਤਪਾਦ ਹਨ, ਅਤੇ ਨਿਰਦੇਸ਼ ਪਾਲਿਸ਼ਡ ਸਮੱਸਿਆ ਬਿਆਨਾਂ ਦੀ ਬਜਾਏ ਅਸਲ ਟਿਕਟਾਂ ਦੀ ਗੜਬੜ ਵਾਲੀ ਵਿਸ਼ੇਸ਼ਤਾ ਨੂੰ ਦਰਸਾਉਂਦੇ ਹਨ।
ਸੰਜੀਦਾ ਟੇਕਵੇਅ ਪੂਰਨ ਪੱਧਰ ਹੈ। ਇੱਥੋਂ ਤੱਕ ਕਿ ਸਭ ਤੋਂ ਵਧੀਆ ਸਿਸਟਮ ਪਹਿਲੀ ਕੋਸ਼ਿਸ਼ 'ਤੇ 10 ਅਸਲ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਕੰਮਾਂ ਵਿੱਚੋਂ ਚਾਰ ਤੋਂ ਘੱਟ ਨੂੰ ਹੱਲ ਕਰਦਾ ਹੈ, ਔਸਤ ਅੱਠ ਦੌੜਾਂ ਤੋਂ ਵੱਧ। ਏਜੰਟਿਕ ਕੋਡਿੰਗ ਵਿੱਚ ਸਾਰੀ ਪ੍ਰਗਤੀ ਲਈ, ਬੈਂਚਮਾਰਕ ਸੁਝਾਅ ਦਿੰਦਾ ਹੈ ਕਿ ਅਸਲ ਉਤਪਾਦਨ ਪ੍ਰਣਾਲੀਆਂ 'ਤੇ ਖੁਦਮੁਖਤਿਆਰੀ ਸੌਫਟਵੇਅਰ ਇੰਜੀਨੀਅਰਿੰਗ ਇੱਕ ਨਿਰੀਖਣ ਕੀਤੀ ਗਤੀਵਿਧੀ ਬਣੀ ਰਹਿੰਦੀ ਹੈ - ਇੱਕ ਜਿੱਥੇ ਮਨੁੱਖੀ ਇੰਜੀਨੀਅਰ ਵਿਕਰੇਤਾ ਡੈਮੋ ਤੋਂ ਕਿਤੇ ਵੱਧ ਸਮੀਖਿਆ, ਰੀਡਾਇਰੈਕਟ ਅਤੇ ਮੁਰੰਮਤ ਕਰਦੇ ਹਨ।
ਕੋਡਿੰਗ ਸਹਾਇਕਾਂ ਵਿੱਚੋਂ ਚੁਣਨ ਵਾਲੇ ਉੱਦਮਾਂ ਲਈ, ਬੈਂਚਮਾਰਕ ਇੱਕ ਵਿਹਾਰਕ ਚੈਕਲਿਸਟ ਦੀ ਪੇਸ਼ਕਸ਼ ਕਰਦਾ ਹੈ: ਪ੍ਰਾਈਵੇਟ ਕੋਡ 'ਤੇ ਮੁਲਾਂਕਣ ਕੀਤੇ ਸਿਸਟਮਾਂ ਨੂੰ ਤਰਜੀਹ ਦਿੰਦੇ ਹਨ, ਸਿੰਗਲ-ਰਨ ਹੈੱਡਲਾਈਨ ਨੰਬਰਾਂ ਦੀ ਬਜਾਏ ਭਰੋਸੇ ਦੇ ਅੰਤਰਾਲਾਂ 'ਤੇ ਜ਼ੋਰ ਦਿੰਦੇ ਹਨ, ਅਤੇ ਕੱਚੇ ਮਾਡਲ ਦੀ ਸਮਰੱਥਾ ਦੇ ਤੌਰ 'ਤੇ ਭਾਰ ਘਟਾਉਣ ਦੀ ਗੁਣਵੱਤਾ। ਰੀਅਲ-ਐਸਡਬਲਯੂਈ ਦਾ ਪਹਿਲਾ ਲੀਡਰਬੋਰਡ ਆਖਰੀ ਸ਼ਬਦ ਨਹੀਂ ਹੋਵੇਗਾ - ਪਰ ਇਹ ਉਸ ਸਵਾਲ ਦਾ ਸਭ ਤੋਂ ਸਿੱਧਾ ਜਵਾਬ ਹੈ ਜੋ ਹਰ ਇੰਜੀਨੀਅਰਿੰਗ ਲੀਡਰ ਏਜੰਟਿਕ ਕੋਡਿੰਗ ਬਾਰੇ ਪੁੱਛ ਰਿਹਾ ਹੈ।
ਕੋਡਿੰਗ ਏਜੰਟਾਂ, ਮਾਡਲ ਰੀਲੀਜ਼ਾਂ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਰੂਪ ਦੇਣ ਵਾਲੀ ਖੋਜ ਬਾਰੇ ਹੋਰ ਜਾਣਨ ਲਈ, ਬੈਂਚਮਾਰਕ ਨਤੀਜਿਆਂ ਦੇ ਅਗਲੇ ਦੌਰ ਦੇ ਰੂਪ ਵਿੱਚ ਨਵੀਨਤਮ AI ਖਬਰਾਂ ਦੀ ਪਾਲਣਾ ਕਰੋ।
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
