AI ਲੀਡਰਬੋਰਡਸ ਇੱਕ ਕਮਾਲ ਦੀ ਵਿਸਤ੍ਰਿਤ ਕਹਾਣੀ ਦੱਸਦੇ ਹਨ ਕਿ ਮਾਡਲ ਕਿੰਨੀ ਚੰਗੀ ਤਰ੍ਹਾਂ ਕੋਡ ਲਿਖਦੇ ਹਨ, ਗਣਿਤ ਦੀਆਂ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਦੇ ਹਨ, ਅਤੇ ਗ੍ਰੈਜੂਏਟ-ਪੱਧਰ ਦੀਆਂ ਪ੍ਰੀਖਿਆਵਾਂ ਦਾ ਜਵਾਬ ਦਿੰਦੇ ਹਨ। ਜੋ ਉਹ ਤੁਹਾਨੂੰ ਲਗਭਗ ਕਦੇ ਨਹੀਂ ਦੱਸਦੇ ਹਨ ਕਿ ਮਾਡਲ ਕਿੰਨੇ ਵਧੀਆ ਕੰਮ ਕਰਦੇ ਹਨ ਜੋ ਜ਼ਿਆਦਾਤਰ ਅਮਰੀਕੀਆਂ ਨੂੰ ਅਸਲ ਵਿੱਚ ਕਰਨ ਲਈ ਭੁਗਤਾਨ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।
AI ਟੇਲੇਂਟ ਮਾਰਕਿਟਪਲੇਸ Mercor ਤੋਂ ਇੱਕ ਨਵਾਂ ਖੋਜ ਪ੍ਰੋਜੈਕਟ ਉਸ ਪਾੜੇ 'ਤੇ ਇੱਕ ਨੰਬਰ ਰੱਖਦਾ ਹੈ। ਇਸ ਹਫਤੇ ਪ੍ਰਕਾਸ਼ਿਤ ਕੰਪਨੀ ਦੇ ਬੈਂਚਮਾਰਕ ਮੈਪ ਦੇ ਅਨੁਸਾਰ, ਲਗਭਗ 90% ਅਮਰੀਕੀ ਕੰਮਕਾਜੀ ਘੰਟੇ ਮੌਜੂਦਾ AI ਬੈਂਚਮਾਰਕਾਂ ਤੋਂ ਬਹੁਤ ਘੱਟ ਜਾਂ ਕੋਈ ਕਵਰੇਜ ਵਾਲੇ ਕੰਮਾਂ 'ਤੇ ਖਰਚ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। For more context on this story, see our ongoing AI news.
"ਇਸ ਨਾਲ ਇਹ ਜਾਣਨਾ ਬਹੁਤ ਮੁਸ਼ਕਲ ਹੁੰਦਾ ਹੈ ਕਿ ਅਮਰੀਕੀ ਅਸਲ ਵਿੱਚ ਕੰਮ ਕਰਨ ਵਾਲੇ ਏਆਈ ਮਾਡਲ ਕਿੰਨੇ ਚੰਗੇ ਹਨ," ਕੰਪਨੀ ਨੇ ਆਪਣੀਆਂ ਖੋਜਾਂ ਵਿੱਚ ਲਿਖਿਆ।
ਗਿਣ ਰਹੇ ਹਨ ਕਿ ਕੀ ਬੈਂਚਮਾਰਕ ਮਿਸ ਹਨ
ਨਕਸ਼ੇ ਨੂੰ ਬਣਾਉਣ ਲਈ, ਮਰਕਰ ਨੇ ਗੁਣਵੱਤਾ ਅਤੇ ਆਰਥਿਕ ਪ੍ਰਸੰਗਿਕਤਾ ਲਈ ਚੁਣੇ ਗਏ 29 ਬੈਂਚਮਾਰਕਾਂ ਦਾ ਇੱਕ ਸੂਚਕਾਂਕ ਤਿਆਰ ਕੀਤਾ, ਫਿਰ ਅਮਰੀਕੀ ਸਰਕਾਰ ਦੇ O*NET ਕਿੱਤਾਮੁਖੀ ਡੇਟਾਬੇਸ - 923 ਕਿੱਤਿਆਂ ਦੀ ਮਿਆਰੀ ਸ਼੍ਰੇਣੀ ਅਤੇ 18,797 ਵੱਖਰੇ ਕਾਰਜ ਜੋ ਅਮਰੀਕੀ ਕਿਰਤ ਸ਼ਕਤੀ ਬਣਾਉਂਦੇ ਹਨ, ਦੇ ਵਿਰੁੱਧ ਉਹਨਾਂ ਦੇ ਪ੍ਰੋਂਪਟ ਨੂੰ ਮੈਪ ਕੀਤਾ।
ਕਵਰੇਜ ਨੰਬਰ ਬਹੁਤ ਜ਼ਿਆਦਾ ਹਨ। 923 O*NET ਕਿੱਤਿਆਂ ਵਿੱਚੋਂ ਸਿਰਫ਼ 208 ਵਿੱਚ ਕੋਈ ਵੀ ਬੈਂਚਮਾਰਕ ਕਵਰੇਜ ਹੈ, ਅਤੇ 18,797 ਕਿੱਤਾਮੁਖੀ ਕੰਮਾਂ ਵਿੱਚੋਂ ਸਿਰਫ਼ 924 ਪੂਰੇ ਸੂਚਕਾਂਕ ਵਿੱਚ ਦਰਸਾਏ ਗਏ ਹਨ।
ਕਾਰਜਪ੍ਰਣਾਲੀ, ਪ੍ਰੋਜੈਕਟ ਦੀ ਸਾਈਟ 'ਤੇ ਦਸਤਾਵੇਜ਼ੀ ਤੌਰ 'ਤੇ, ਖੁਦ AI 'ਤੇ ਝੁਕਦੀ ਹੈ: ਤਾਜ਼ਾ ਖੋਜ ਤੋਂ ਬਾਅਦ, ਇੱਕ LLM ਜੱਜ ਹਰੇਕ ਬੈਂਚਮਾਰਕ ਪ੍ਰੋਂਪਟ ਨੂੰ ONET ਕਾਰਜਾਂ ਨਾਲ ਟੈਗ ਕਰਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਇਹ ਮੇਲ ਖਾਂਦਾ ਹੈ, Mercor ਦੇ ਆਪਣੇ APEX ਬੈਂਚਮਾਰਕ ਸਬਸੈੱਟ 'ਤੇ ਮਨੁੱਖੀ ਮਾਹਰ ਲੇਬਲਾਂ ਦੇ ਵਿਰੁੱਧ ਪ੍ਰਮਾਣਿਤ ਟੈਗਿੰਗ ਦੇ ਨਾਲ। ਇੱਕ ਕੰਮ ਨੂੰ ਕਵਰ ਕੀਤਾ ਗਿਆ ਤਾਂ ਹੀ ਗਿਣਿਆ ਜਾਂਦਾ ਹੈ ਜੇਕਰ ਜੱਜ ਇਸਨੂੰ 29-ਬੈਂਚਮਾਰਕ ਸੂਚਕਾਂਕ ਤੋਂ ਘੱਟੋ-ਘੱਟ ਪੰਜ ਪ੍ਰੋਂਪਟਾਂ 'ਤੇ ਮੈਪ ਕਰਦਾ ਹੈ। ਕਵਰੇਜ ਨੂੰ ਆਰਥਿਕ ਰੂਪਾਂ ਵਿੱਚ ਅਨੁਵਾਦ ਕਰਨ ਲਈ, ਮਰਕਰ ਨੇ ਹਰੇਕ ONET ਟਾਸਕ ਦੇ ਕੰਮਕਾਜੀ ਸਮੇਂ ਦੇ ਸ਼ੇਅਰ ਦੇ ਹਾਲ ਹੀ ਵਿੱਚ ਪ੍ਰਕਾਸ਼ਿਤ LLM-ਪ੍ਰਾਪਤ ਅਨੁਮਾਨਾਂ ਦੇ ਨਾਲ ਆਪਣੇ ਅਨੁਮਾਨਾਂ ਨੂੰ ਜੋੜਿਆ।
ਕਵਰੇਜ ਪੈਸੇ ਦੀ ਪਾਲਣਾ ਕਰਦੀ ਹੈ
ਪਾੜੇ ਬੇਤਰਤੀਬੇ ਤੌਰ 'ਤੇ ਵੰਡੇ ਨਹੀਂ ਜਾਂਦੇ ਹਨ। ਮਰਕਰ ਦੇ ਵਿਸ਼ਲੇਸ਼ਣ ਤੋਂ ਪਤਾ ਚੱਲਦਾ ਹੈ ਕਿ AI ਭਾਈਚਾਰਾ ਸਭ ਤੋਂ ਪਹਿਲਾਂ ਸਭ ਤੋਂ ਵੱਡੇ ਲੇਬਰ ਬਜ਼ਾਰਾਂ ਨੂੰ ਬੈਂਚਮਾਰਕ ਕਰ ਰਿਹਾ ਹੈ - ਸਭ ਤੋਂ ਵੱਡੇ ਕੁੱਲ ਤਨਖ਼ਾਹ ਦੇ ਬਿੱਲਾਂ ਵਾਲੇ ਕਿੱਤਿਆਂ, ਬਿਊਰੋ ਆਫ਼ ਲੇਬਰ ਸਟੈਟਿਸਟਿਕਸ ਵੇਜ ਅਤੇ ਰੁਜ਼ਗਾਰ ਅਨੁਮਾਨਾਂ ਤੋਂ ਗਿਣਿਆ ਗਿਆ ਹੈ।
ਨੌਕਰੀ-ਪਰਿਵਾਰ ਟੁੱਟਣ ਤੋਂ ਪਤਾ ਲੱਗਦਾ ਹੈ ਕਿ ਧਿਆਨ ਕਿੰਨਾ ਅਸਮਾਨ ਹੈ। ਕੰਪਿਊਟਰ ਅਤੇ ਗਣਿਤ ਦੇ ਕਿੱਤੇ, ਬੈਂਚਮਾਰਕ ਬਣਾਉਣ ਦਾ ਘਰੇਲੂ ਮੈਦਾਨ, 36 ਵਿੱਚੋਂ 29 ਕਿੱਤਿਆਂ ਵਿੱਚ ਸਭ ਤੋਂ ਵਧੀਆ ਕਵਰ ਕੀਤੇ ਗਏ ਹਨ। ਕਾਰੋਬਾਰੀ ਅਤੇ ਵਿੱਤੀ ਸੰਚਾਲਨ 48 ਵਿੱਚੋਂ 33 'ਤੇ ਚੱਲਦੇ ਹਨ। ਪਰ ਦਫ਼ਤਰੀ ਅਤੇ ਪ੍ਰਸ਼ਾਸਕੀ ਸਹਾਇਤਾ - ਇੱਕ ਪਰਿਵਾਰ ਜੋ ਲੱਖਾਂ ਨੂੰ ਰੁਜ਼ਗਾਰ ਦਿੰਦਾ ਹੈ - ਵਿੱਚ 51 ਵਿੱਚੋਂ ਸਿਰਫ਼ 21 ਕਿੱਤਿਆਂ ਨੂੰ ਕਵਰ ਕੀਤਾ ਗਿਆ ਹੈ, ਅਤੇ ਪ੍ਰਬੰਧਨ ਦੀਆਂ ਭੂਮਿਕਾਵਾਂ 56 ਵਿੱਚੋਂ 21 ਹਨ।
ਇੱਥੋਂ ਤੱਕ ਕਿ ਸਭ ਤੋਂ ਵਧੀਆ ਢੱਕਣ ਵਾਲੇ ਪੇਸ਼ਿਆਂ ਵਿੱਚ, ਡੂੰਘਾਈ ਪਤਲੀ ਹੁੰਦੀ ਹੈ। ਜਦੋਂ ਮਰਕਰ ਨੇ ਚਾਰ ਬੈਂਚਮਾਰਕ-ਭਾਰੀ ਕਿੱਤਿਆਂ - ਨਿਵੇਸ਼ ਬੈਂਕਿੰਗ, ਕਾਨੂੰਨ, ਲੇਖਾਕਾਰੀ, ਅਤੇ ਸਾਫਟਵੇਅਰ ਇੰਜੀਨੀਅਰਿੰਗ - ਲਈ ONET-ਵੇਟਿਡ ਸਕੋਰਿੰਗ ਦੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ - ਤਾਂ ਇਹ ਪਾਇਆ ਗਿਆ ਕਿ ਉਹਨਾਂ ਨੌਕਰੀਆਂ ਨਾਲ ਸੰਬੰਧਿਤ ONET ਕਾਰਜਾਂ ਦੇ ਇੱਕ ਤਿਹਾਈ ਤੋਂ ਘੱਟ ਵਿੱਚ ਇੱਕ ਭਾਰ ਵਾਲੇ ਸਕੋਰ ਵਿੱਚ ਸ਼ਾਮਲ ਕੀਤੇ ਜਾਣ ਲਈ ਕਾਫ਼ੀ ਬੈਂਚਮਾਰਕ ਕਵਰੇਜ ਸੀ।
ਅੰਨ੍ਹੇ ਚਟਾਕ ਮਾਇਨੇ ਕਿਉਂ ਰੱਖਦੇ ਹਨ
ਖੋਜ ਇੱਕ ਪਲ 'ਤੇ ਉਤਰਦੀ ਹੈ ਜਦੋਂ ਬੈਂਚਮਾਰਕ ਸਕੋਰ ਅਸਲ ਫੈਸਲਿਆਂ ਨੂੰ ਚਲਾਉਂਦੇ ਹਨ। ਐਂਟਰਪ੍ਰਾਈਜ਼ ਮੁਲਾਂਕਣਾਂ ਦੇ ਆਧਾਰ 'ਤੇ ਮਾਡਲ ਪੱਧਰ ਚੁਣਦੇ ਹਨ; ਬੋਰਡ ਬੈਂਚਮਾਰਕ ਜੰਪ ਦੇ ਮਾਮਲੇ ਵਿੱਚ ਫਰੰਟੀਅਰ-ਮਾਡਲ ਦੀ ਤਰੱਕੀ ਬਾਰੇ ਸੁਣਦੇ ਹਨ; ਨੀਤੀਘਾੜੇ ਨਿਯਮਾਂ ਨੂੰ ਤੋਲਣ ਵੇਲੇ ਸਮਰੱਥਾ ਟ੍ਰੈਜੈਕਟਰੀ ਦਾ ਹਵਾਲਾ ਦਿੰਦੇ ਹਨ। ਜੇਕਰ 90% ਕੰਮਕਾਜੀ ਘੰਟੇ ਮਾਪਦੰਡਾਂ ਦੇ ਮਾਪਦੰਡਾਂ ਤੋਂ ਬਾਹਰ ਬੈਠਦੇ ਹਨ, ਤਾਂ ਉਹ ਸਾਰੇ ਫੈਸਲੇ ਦਫਤਰ-ਬਾਉਂਡ, ਤਕਨੀਕੀ ਅਤੇ ਅਕਾਦਮਿਕ ਵੱਲ ਝੁਕੇ ਹੋਏ ਨਮੂਨੇ 'ਤੇ ਨਿਰਭਰ ਕਰਦੇ ਹਨ।
ਇੱਥੇ ਢਾਂਚਾਗਤ ਕਾਰਨ ਹਨ ਬੈਂਚਮਾਰਕ ਕਲੱਸਟਰ ਜਿੱਥੇ ਉਹ ਕਰਦੇ ਹਨ। ਸਾਫਟਵੇਅਰ ਇੰਜਨੀਅਰਿੰਗ ਕਾਰਜ ਨਿਰਧਾਰਿਤ ਕਰਨ ਲਈ ਸਸਤੇ ਹਨ, ਆਪਣੇ ਆਪ ਗ੍ਰੇਡ ਦੇਣ ਲਈ ਸਸਤੇ ਹਨ, ਅਤੇ ਬੈਂਚਮਾਰਕ ਲੇਖਕਾਂ - ਜੋ ਜ਼ਿਆਦਾਤਰ ਸੌਫਟਵੇਅਰ ਲਿਖਦੇ ਹਨ - ਡਿਜ਼ਾਈਨ ਕਰਨ ਲਈ ਆਸਾਨ ਹਨ। ਇੱਕ ਮੈਡੀਕਲ ਸਹਾਇਕ ਦੇ ਬਿਸਤਰੇ ਦੇ ਢੰਗ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨਾ, ਸ਼ਿਫਟ ਕਰਨ ਦੀਆਂ ਰੁਕਾਵਟਾਂ ਦੇ ਤਹਿਤ ਇੱਕ ਲੌਜਿਸਟਿਕ ਕੋਆਰਡੀਨੇਟਰ ਦਾ ਨਿਰਣਾ, ਜਾਂ ਇੱਕ ਇਲੈਕਟ੍ਰੀਸ਼ੀਅਨ ਦੀ ਡਾਇਗਨੌਸਟਿਕ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਮਾਨਕੀਕਰਨ ਕਰਨਾ ਔਖਾ ਹੈ, ਰਿਮੋਟ ਤੋਂ ਤਸਦੀਕ ਕਰਨਾ ਔਖਾ ਹੈ, ਅਤੇ ਬਹੁਤ ਸਾਰੇ ਮਾਮਲਿਆਂ ਵਿੱਚ ਸਰੀਰਕ ਮੌਜੂਦਗੀ ਤੋਂ ਬਿਨਾਂ ਟੈਸਟ ਕਰਨਾ ਅਸੰਭਵ ਹੈ।
ਮਰਕਰ, ਜਿਸਦਾ ਮੁੱਖ ਕਾਰੋਬਾਰ ਸਿਖਲਾਈ ਅਤੇ ਮੁਲਾਂਕਣ ਦੇ ਕੰਮ ਲਈ AI ਲੈਬਾਂ ਦੇ ਨਾਲ ਡੋਮੇਨ ਮਾਹਰਾਂ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ, ਇਹ ਦਰਸਾਉਣ ਵਿੱਚ ਇੱਕ ਸਪੱਸ਼ਟ ਵਪਾਰਕ ਦਿਲਚਸਪੀ ਹੈ ਕਿ ਮੁਲਾਂਕਣ ਕਵਰੇਜ ਪਤਲੀ ਹੈ - ਕੰਪਨੀ ਬਿਲਕੁਲ ਉਹਨਾਂ ਮਾਹਰਾਂ ਤੱਕ ਪਹੁੰਚ ਵੇਚਦੀ ਹੈ ਜੋ ਉਸ ਪਾੜੇ ਨੂੰ ਪੂਰਾ ਕਰ ਸਕਦੇ ਹਨ। ਪਰ ਅੰਡਰਲਾਈੰਗ ਮਾਪ ਸਮੱਸਿਆ ਅਸਲ ਹੈ ਅਤੇ ਪੂਰੇ ਖੇਤਰ ਵਿੱਚ ਵਧਦੀ ਹੋਈ ਮੰਨੀ ਜਾਂਦੀ ਹੈ, ਅਤੇ ਕੰਪਨੀ ਨੇ ਜਾਂਚ ਲਈ ਆਪਣੀ ਕਾਰਜਪ੍ਰਣਾਲੀ ਅਤੇ ਪੂਰੀ ਬੈਂਚਮਾਰਕ ਸੂਚੀ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤੀ ਹੈ।
ਕੰਪਨੀ ਦਾ ਕਹਿਣਾ ਹੈ ਕਿ ਇਸਦਾ ਬੈਂਚਮਾਰਕ ਮੈਪ ਪੂਰੀ ਅਰਥਵਿਵਸਥਾ ਵਿੱਚ AI ਸਮਰੱਥਾਵਾਂ ਨੂੰ ਸਮਝਣ ਲਈ ਇੱਕ ਲਗਾਤਾਰ ਅੱਪਡੇਟ ਕੀਤੇ ਸਰੋਤ ਵੱਲ ਪਹਿਲਾ ਕਦਮ ਹੈ, ਅਤੇ ਇਹ O*NET- ਭਾਰ ਵਾਲੇ ਮਾਡਲ ਸਕੋਰਾਂ ਵੱਲ ਕੰਮ ਕਰ ਰਿਹਾ ਹੈ ਜੋ ਹਰ ਕਿੱਤਾਮੁਖੀ ਕੰਮ ਨੂੰ ਔਸਤ 'ਤੇ ਹਾਵੀ ਹੋਣ ਦੇਣ ਦੀ ਬਜਾਏ ਬਰਾਬਰ ਭਾਰ ਦਿੰਦੇ ਹਨ।
ਮਾਪ ਦਹਾਕਾ
ਅੱਗੇ ਕੀ ਹੁੰਦਾ ਹੈ ਇਸ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ ਕਿ ਕੀ ਬੈਂਚਮਾਰਕ ਬਿਲਡਰ ਆਰਥਿਕ ਨਕਸ਼ੇ ਦੀ ਪਾਲਣਾ ਕਰਦੇ ਹਨ. ਮਰਕਰ ਡੇਟਾ ਇਸ਼ਾਰਾ ਕਰਦਾ ਹੈ ਕਿ ਕਵਰੇਜ ਕਿੱਥੇ ਗਾਇਬ ਹੈ — ਅਤੇ, ਸਪੱਸ਼ਟ ਤੌਰ 'ਤੇ, ਜਿੱਥੇ ਨਵੇਂ ਬੈਂਚਮਾਰਕ ਸਭ ਤੋਂ ਵੱਧ ਜਾਣਕਾਰੀ ਮੁੱਲ ਲੈ ਕੇ ਜਾਣਗੇ। ਵੱਡੇ ਰੁਜ਼ਗਾਰ, ਉੱਚ ਤਨਖ਼ਾਹ ਦੇ ਬਿੱਲ, ਅਤੇ ਜ਼ੀਰੋ ਬੈਂਚਮਾਰਕ ਕਵਰੇਜ ਵਾਲੇ ਕਿੱਤੇ, ਅਸਲ ਵਿੱਚ, ਓਪਨ ਮੁਲਾਂਕਣ ਖੇਤਰ ਹਨ।
ਫਿਲਹਾਲ, AI ਲੀਡਰਬੋਰਡ ਖਬਰਾਂ ਦਾ ਸੇਵਨ ਕਰਨ ਵਾਲੇ ਕਿਸੇ ਵੀ ਵਿਅਕਤੀ ਲਈ ਵਿਹਾਰਕ ਉਪਾਅ ਇੱਕ ਚੇਤਾਵਨੀ ਹੈ: ਇੱਕ ਮਾਡਲ ਦਾ ਬੈਂਚਮਾਰਕ ਪ੍ਰੋਫਾਈਲ ਆਰਥਿਕਤਾ ਦੇ ਟੁਕੜੇ ਵਿੱਚ ਇਸ ਦੀਆਂ ਸ਼ਕਤੀਆਂ ਦਾ ਵਰਣਨ ਕਰਦਾ ਹੈ ਜੋ ਬੈਂਚਮਾਰਕ ਕਵਰ ਕਰਨ ਲਈ ਵਾਪਰਦੇ ਹਨ। ਕੰਮ ਦੇ ਹੋਰ 90% ਘੰਟੇ — ਪ੍ਰਸ਼ਾਸਕ ਦਾ ਕੰਮ, ਦੇਖਭਾਲ, ਫੀਲਡ ਸਰਵਿਸ, ਫਲੋਰ ਮੈਨੇਜਮੈਂਟ — ਵੱਡੇ ਪੱਧਰ 'ਤੇ ਮਾਪਿਆ ਨਹੀਂ ਗਿਆ ਖੇਤਰ ਬਣਿਆ ਹੋਇਆ ਹੈ, ਅਤੇ AI ਨੂੰ ਬਦਲਣ ਦੇ ਦਾਅਵੇ ਇਸ ਸਮੇਂ ਸਬੂਤਾਂ ਨਾਲੋਂ ਕਿੱਸੇ 'ਤੇ ਜ਼ਿਆਦਾ ਨਿਰਭਰ ਹਨ।
ਜਿਵੇਂ ਕਿ ਕੰਪਨੀ ਦੀ ਆਪਣੀ ਫਰੇਮਿੰਗ ਇਸ ਨੂੰ ਪਾਉਂਦੀ ਹੈ, ਹਾਲ ਹੀ ਦੇ ਸਾਲਾਂ ਵਿੱਚ ਬੈਂਚਮਾਰਕ ਕਈ ਗੁਣਾ ਹੋ ਗਏ ਹਨ, ਪਰ ਆਰਥਿਕ ਤੌਰ 'ਤੇ ਕੀਮਤੀ ਕੰਮ ਦੀ ਕਵਰੇਜ ਸੀਮਤ ਰਹਿੰਦੀ ਹੈ। ਨਕਸ਼ਾ ਉਸ ਸੀਮਾ ਨੂੰ ਦ੍ਰਿਸ਼ਮਾਨ ਬਣਾਉਂਦਾ ਹੈ, ਟਾਇਲ ਦੁਆਰਾ ਟਾਇਲ, ਕਿੱਤੇ ਦੁਆਰਾ ਕਿੱਤਾ.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
