ਓਪਨਏਆਈ ਦੇ ਜੀਪੀਟੀ-6 ਐਸਟਰਾ ਨੇ ਏਆਰਸੀ-ਏਜੀਆਈ-3 'ਤੇ ਅਤਿ-ਆਧੁਨਿਕ ਨਤੀਜੇ ਪੋਸਟ ਕੀਤੇ ਹਨ, ਏਆਰਸੀ ਪ੍ਰਾਈਜ਼ ਫਾਊਂਡੇਸ਼ਨ ਦੁਆਰਾ ਬੁੱਧਵਾਰ ਨੂੰ ਪ੍ਰਕਾਸ਼ਿਤ ਨਤੀਜਿਆਂ ਦੇ ਅਨੁਸਾਰ, ਏਜੰਟਿਕ ਬੁੱਧੀ ਨੂੰ ਮਾਪਣ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਐਬਸਟਰੈਕਟ ਤਰਕ ਬੈਂਚਮਾਰਕ। ਮਾਡਲ ਨੇ ਫਾਊਂਡੇਸ਼ਨ ਦੇ ਸਟੈਂਡਰਡ ਹਾਰਨੈੱਸ ਦੇ ਅਧੀਨ ਬੈਂਚਮਾਰਕ ਦੇ ਅਰਧ-ਪ੍ਰਾਈਵੇਟ ਸੈੱਟ 'ਤੇ 62.7% ਸਕੋਰ ਕੀਤਾ, ਅਤੇ ਪ੍ਰੋਵਾਈਡਰ ਅਡਾਪਟਰ ਹਾਰਨੈੱਸ ਨਾਲ ਮੁਲਾਂਕਣ ਕਰਨ 'ਤੇ 99.9% ਸਕੋਰ ਕੀਤਾ ਜੋ ਬੇਨਤੀਆਂ ਦੇ ਵਿਚਕਾਰ ਮਾਡਲ ਦੀ ਅੰਦਰੂਨੀ ਤਰਕ ਸਥਿਤੀ ਨੂੰ ਸੁਰੱਖਿਅਤ ਰੱਖਦਾ ਹੈ।
ਓਪਨਏਆਈ ਦੁਆਰਾ ਐਸਟਰਾ ਦੇ ਪੜਾਅਵਾਰ ਰੋਲਆਊਟ ਦੀ ਸ਼ੁਰੂਆਤ ਕਰਨ ਤੋਂ ਇੱਕ ਦਿਨ ਬਾਅਦ ਨਤੀਜੇ ਸਾਹਮਣੇ ਆਏ, ਕੰਪਨੀ ਨੇ ਇੱਕ ਨਵੇਂ ਯੁੱਗ ਦੀ ਸ਼ੁਰੂਆਤ ਵਜੋਂ ਤਿਆਰ ਕੀਤਾ ਫਲੈਗਸ਼ਿਪ ਮਾਡਲ। ਫਰੰਟੀਅਰ ਲੈਬਜ਼ ਟਰੇਡ ਬੈਂਚਮਾਰਕ ਬਲੌਜ਼ ਦੇ ਤੌਰ 'ਤੇ ਸਕੋਰ ਰੱਖਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰ ਰਹੇ ਪਾਠਕਾਂ ਲਈ, ਨਵੀਨਤਮ AI ਵਿਕਾਸ ਪੰਨਾ ਹਰ ਵੱਡੇ ਰੀਲੀਜ਼ ਨੂੰ ਟ੍ਰੈਕ ਕਰਦਾ ਹੈ ਜਿਵੇਂ ਕਿ ਇਹ ਵਾਪਰਦਾ ਹੈ।
ਦੋ ਹਾਰਨੇਸ, ਦੋ ਬਹੁਤ ਵੱਖਰੇ ਸਕੋਰ
ਐਸਟਰਾ ਦੇ ਦੋ ਸਿਰਲੇਖ ਨੰਬਰਾਂ ਵਿਚਕਾਰ ਪਾੜਾ ਰਿਪੋਰਟ ਵਿੱਚ ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ ਵੇਰਵਾ ਹੈ। ARC ਪ੍ਰਾਈਜ਼ ਵੱਖ-ਵੱਖ ਹਾਰਨੈਸਾਂ ਦੇ ਅਧੀਨ ਏਜੰਟਾਂ ਦਾ ਮੁਲਾਂਕਣ ਕਰਦਾ ਹੈ, ਅਤੇ ਹਰ ਇੱਕ ਬਦਲਦਾ ਹੈ ਕਿ ਮਾਡਲ ਨੂੰ ਇਸਦੇ ਆਪਣੇ ਸੰਦਰਭ ਨਾਲ ਕੀ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਹੈ।
ਸਟੈਂਡਰਡ ਹਾਰਨੇਸ ਦੇ ਤਹਿਤ, ਇੱਕ ਮਾਡਲ ਉਹਨਾਂ ਨੋਟਸ ਨੂੰ ਅੱਗੇ ਲੈ ਜਾ ਸਕਦਾ ਹੈ ਜੋ ਇਹ ਇੱਕ ਵਾਤਾਵਰਣ ਵਿੱਚ ਕੰਮ ਕਰਦੇ ਹੋਏ ਰੱਖਣ ਲਈ ਚੁਣਦਾ ਹੈ। ਉਸ ਸੈੱਟਅੱਪ ਦੇ ਨਾਲ, Astra ਨੇ ਅਧਿਕਤਮ ਤਰਕ ਦੇ ਯਤਨਾਂ 'ਤੇ ਮੁਲਾਂਕਣ ਰਨ ਲਈ $26,098 ਦੀ ਕੁੱਲ ਲਾਗਤ 'ਤੇ, 62.7% ਸਕੋਰ ਕੀਤਾ। ਉਲਟ ਸਿਰੇ 'ਤੇ, ਤਰਕ ਨੂੰ ਬੰਦ ਕਰਨ ਦੇ ਨਾਲ ਉਹੀ ਹਾਰਨੈੱਸ ਚਲਾਉਣ ਨਾਲ ਸਿਰਫ 35.2% ਦਾ ਉਤਪਾਦਨ ਹੋਇਆ ਜਦੋਂ ਕਿ ਹੋਰ ਲਾਗਤ - $49,791 - ਕਿਉਂਕਿ ਮਾਡਲ ਨੂੰ ਤਰੱਕੀ ਕਰਨ ਲਈ ਹੋਰ ਬਹੁਤ ਸਾਰੀਆਂ ਕਾਰਵਾਈਆਂ ਦੀ ਲੋੜ ਸੀ।
ਪ੍ਰੋਵਾਈਡਰ ਅਡਾਪਟਰ ਹਾਰਨੈੱਸ ਵਧੇਰੇ ਉਦਾਰ ਹੈ: ਇਹ ਬੇਨਤੀਆਂ ਦੇ ਵਿਚਕਾਰ ਮਾਡਲ ਦੀ ਧੁੰਦਲਾ ਤਰਕ ਸਥਿਤੀ ਨੂੰ ਸੁਰੱਖਿਅਤ ਰੱਖਦਾ ਹੈ ਅਤੇ ਲੰਬੇ ਵਾਰਤਾਲਾਪਾਂ ਲਈ ਸੰਕੁਚਨ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ, Astra ਨੂੰ ਪੁਰਾਣੇ ਕੰਮ ਦੀ ਮੁੜ ਵਰਤੋਂ ਕਰਨ ਦਿੰਦਾ ਹੈ। ਉਸ ਵਰਤੋਂ ਦੇ ਤਹਿਤ, Astra ਨੇ $18,817 ਲਈ ਉੱਚ ਤਰਕ ਦੀ ਕੋਸ਼ਿਸ਼ 'ਤੇ 99.9%, ਅਤੇ $17,332 ਲਈ ਵੱਧ ਤੋਂ ਵੱਧ ਕੋਸ਼ਿਸ਼ਾਂ 'ਤੇ 98.6% ਸਕੋਰ ਕੀਤਾ। ਇੱਥੋਂ ਤੱਕ ਕਿ ਸਭ ਤੋਂ ਘੱਟ ਤਰਕ ਸੈਟਿੰਗ 96.7% ਤੱਕ ਪਹੁੰਚ ਗਈ।
ਦੂਜੇ ਸ਼ਬਦਾਂ ਵਿੱਚ, ਇੱਕ ਅੰਸ਼ਕ ਸਕੋਰ ਅਤੇ ਇੱਕ ਨੇੜੇ-ਸੰਪੂਰਨ ਸਕੋਰ ਵਿੱਚ ਅੰਤਰ ਇਕੱਲੀ ਕੱਚੀ ਸਮਰੱਥਾ ਨਹੀਂ ਹੈ - ਇਹ ਹੈ ਕਿ ਮਾਡਲ ਦੀ ਕਾਰਜਸ਼ੀਲ ਅਵਸਥਾ ਦਾ ਕਿੰਨਾ ਹਿੱਸਾ ਕਦਮਾਂ ਦੇ ਵਿਚਕਾਰ ਰਹਿੰਦਾ ਹੈ।
ਐਕਸ਼ਨ ਕੁਸ਼ਲਤਾ 'ਤੇ ਇਨਸਾਨਾਂ ਨੂੰ ਕੁੱਟਣਾ
ARC-AGI-3 ਨਾਵਲ, ਐਬਸਟਰੈਕਟ, ਵਾਰੀ-ਅਧਾਰਿਤ ਗੇਮ ਵਾਤਾਵਰਨ ਦੇ ਆਲੇ-ਦੁਆਲੇ ਬਣਾਇਆ ਗਿਆ ਹੈ। ਏਜੰਟਾਂ ਨੂੰ ਨਿਰਦੇਸ਼ਾਂ ਤੋਂ ਬਿਨਾਂ ਖੋਜ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ, ਇਹ ਅੰਦਾਜ਼ਾ ਲਗਾਉਣਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਵਿਸ਼ਵ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ, ਸਪਰੇਸ ਇਨਾਮਾਂ ਤੋਂ ਟੀਚਿਆਂ ਦੀ ਪਛਾਣ ਕਰਨਾ, ਅਤੇ ਬਹੁ-ਪੜਾਵੀ ਕਾਰਵਾਈਆਂ ਦੀ ਯੋਜਨਾ ਬਣਾਉਣਾ ਚਾਹੀਦਾ ਹੈ। ਵਾਤਾਵਰਣਾਂ ਨੂੰ ਕੈਲੀਬਰੇਟ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਤਾਂ ਜੋ ਮਨੁੱਖ ਉਹਨਾਂ ਵਿੱਚੋਂ 100% ਨੂੰ ਹੱਲ ਕਰ ਸਕਣ, ਜੋ ਮਨੁੱਖੀ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਬੇਸਲਾਈਨ ਬਣਾਉਂਦੇ ਹਨ ਇਸਦੇ ਵਿਰੁੱਧ ਬੈਂਚਮਾਰਕ ਉਪਾਵਾਂ।
ਐਸਟਰਾ ਨੇ ਸਿਰਫ ਜ਼ਿਆਦਾਤਰ ਪੱਧਰਾਂ ਨੂੰ ਹੱਲ ਨਹੀਂ ਕੀਤਾ - ਇਸ ਨੇ ਉਹਨਾਂ ਨੂੰ ਕੁਸ਼ਲਤਾ ਨਾਲ ਹੱਲ ਕੀਤਾ. ARC ਪ੍ਰਾਈਜ਼ ਦੇ ਅਨੁਸਾਰ, ਮਾਡਲ ਨੇ 96% ਪੱਧਰਾਂ 'ਤੇ ਮਾਧਿਅਮ ਟੈਸਟ ਕੀਤੇ ਮਨੁੱਖੀ ਨਾਲੋਂ ਘੱਟ ਕਿਰਿਆਵਾਂ ਦੀ ਵਰਤੋਂ ਕੀਤੀ, ਪੂਰੇ ਸੈੱਟ ਵਿੱਚ ਕਿਰਿਆ ਕੁਸ਼ਲਤਾ ਵਿੱਚ ਮਨੁੱਖੀ ਬੇਸਲਾਈਨ ਨੂੰ ਪਾਰ ਕਰਦੇ ਹੋਏ।
ਤੁਲਨਾ ਦਾ ਅਰਥ ਸ਼ਾਸਤਰ ਤਿੱਖਾ ਹੈ। ਮਨੁੱਖੀ ਟੈਸਟ ਭਾਗੀਦਾਰਾਂ ਨੂੰ $115 ਪ੍ਰਤੀ 90-ਮਿੰਟ ਸੈਸ਼ਨ ਅਤੇ $5 ਪ੍ਰਤੀ ਪੂਰੀ ਹੋਈ ਗੇਮ, ਲਗਭਗ $12.78 ਪ੍ਰਤੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ ਗਈ ਗੇਮ ਦਾ ਭੁਗਤਾਨ ਕੀਤਾ ਗਿਆ। ਸੰਰਚਨਾ 'ਤੇ ਨਿਰਭਰ ਕਰਦੇ ਹੋਏ, ਇੱਕ ਪੂਰੀ Astra ਮੁਲਾਂਕਣ ਰਨ ਦੀ ਲਾਗਤ ਪੰਜ ਅੰਕਾਂ ਦੀ ਹੁੰਦੀ ਹੈ। ਪਰ ਏਆਰਸੀ ਪ੍ਰਾਈਜ਼ ਨੇ ਇੱਕ ਉਲਟ-ਅਨੁਭਵੀ ਝੁਰੜੀ ਨੋਟ ਕੀਤੀ: ਉੱਚ ਤਰਕ ਦੀ ਕੋਸ਼ਿਸ਼ ਆਮ ਤੌਰ 'ਤੇ ਘੱਟ ਖਰਚ ਹੁੰਦੀ ਹੈ, ਕਿਉਂਕਿ ਐਸਟਰਾ ਨੇ ਘੱਟ ਕਾਰਵਾਈਆਂ ਵਿੱਚ ਗੇਮਾਂ ਨੂੰ ਹੱਲ ਕੀਤਾ, ਪ੍ਰਤੀ ਰਨ ਬਰਨ ਕੀਤੇ ਮਾਡਲ ਕਾਲਾਂ ਅਤੇ ਟੋਕਨਾਂ ਦੀ ਕੁੱਲ ਗਿਣਤੀ ਨੂੰ ਘਟਾ ਦਿੱਤਾ।
ਇੱਕ ਮਾਡਲ ਜੋ ਆਪਣੀ ਭਾਸ਼ਾ ਬਣਾਉਂਦਾ ਹੈ
ਸਕੋਰਾਂ ਤੋਂ ਪਰੇ, ARC ਇਨਾਮ ਨੇ ਟੀਮ ਦੁਆਰਾ ਦੇਖਿਆ ਗਿਆ ਗੁਣਾਤਮਕ ਵਿਵਹਾਰ ਨੂੰ ਉਜਾਗਰ ਕੀਤਾ। ਐਸਟਰਾ ਨੇ ਲਗਾਤਾਰ ਅਣਜਾਣ ਵਾਤਾਵਰਣਾਂ ਨੂੰ ਸੰਖੇਪ ਪ੍ਰਤੀਕ ਵਿਸ਼ਵ ਮਾਡਲਾਂ ਵਿੱਚ ਬਦਲ ਦਿੱਤਾ — ਗੇਮ ਮਕੈਨਿਕਸ ਨੂੰ ਤਰਕਪੂਰਨ ਨਿਯਮਾਂ ਵਜੋਂ ਦਰਸਾਉਂਦਾ ਹੈ, ਅਤੇ ਰਾਜ ਅਤੇ ਯੋਜਨਾ ਕਾਰਵਾਈਆਂ ਨੂੰ ਟਰੈਕ ਕਰਨ ਲਈ ਆਪਣਾ ਡੋਮੇਨ-ਵਿਸ਼ੇਸ਼ ਸ਼ਾਰਟਹੈਂਡ ਵਿਕਸਿਤ ਕਰਦਾ ਹੈ।
ਇਹ ਬਿਲਕੁਲ ਉਹ ਹੁਨਰ ਹੈ ਜੋ ARC-AGI-3 ਨੂੰ ਪੜਤਾਲ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਸੀ। ਜਿੱਥੇ ਬੈਂਚਮਾਰਕ ਦੀਆਂ ਪਿਛਲੀਆਂ ਪੀੜ੍ਹੀਆਂ ਨੇ ਨਾਵਲ ਪੈਟਰਨਾਂ 'ਤੇ ਤਰਲ ਤਰਕ ਦੀ ਜਾਂਚ ਕੀਤੀ, ਤੀਜੀ ਪੀੜ੍ਹੀ ਇਹ ਜਾਂਚ ਕਰਦੀ ਹੈ ਕਿ ਕੀ ਕੋਈ ਏਜੰਟ ਖੋਜ ਕਰ ਸਕਦਾ ਹੈ, ਮਾਡਲ ਬਣਾ ਸਕਦਾ ਹੈ, ਟੀਚੇ ਨਿਰਧਾਰਤ ਕਰ ਸਕਦਾ ਹੈ ਅਤੇ ਵਾਤਾਵਰਣ ਵਿੱਚ ਯੋਜਨਾਵਾਂ ਨੂੰ ਲਾਗੂ ਕਰ ਸਕਦਾ ਹੈ ਜਿਸ ਨੇ ਕਦੇ ਨਹੀਂ ਦੇਖਿਆ - ਭਾਗ ARC ਇਨਾਮ ਸੂਚੀਆਂ ਜਿਵੇਂ ਕਿ ਖੋਜ, ਮਾਡਲਿੰਗ, ਟੀਚਾ-ਸੈਟਿੰਗ, ਅਤੇ ਯੋਜਨਾ ਅਤੇ ਐਗਜ਼ੀਕਿਊਸ਼ਨ।
ਏਜੀਆਈ-ਯੁੱਗ ਬੈਕਡ੍ਰੌਪ
ਓਪਨਏਆਈ ਤੋਂ ਹੀ ਵੱਧ ਤੋਂ ਵੱਧ ਬਿਆਨਬਾਜ਼ੀ ਦੇ ਵਿਚਕਾਰ ਬੈਂਚਮਾਰਕ ਨਤੀਜੇ ਆਏ। ਵੀਰਵਾਰ ਦੀ ਸ਼ੁਰੂਆਤ ਤੋਂ ਪਹਿਲਾਂ ਇੱਕ ਪ੍ਰੈਸ ਬ੍ਰੀਫਿੰਗ ਵਿੱਚ, ਕੰਪਨੀ ਦੇ ਪ੍ਰਧਾਨ ਗ੍ਰੇਗ ਬ੍ਰੋਕਮੈਨ ਨੇ ਕਿਹਾ ਕਿ "ਇਹ ਮਹਿਸੂਸ ਕਰਨਾ ਗੈਰਵਾਜਬ ਨਹੀਂ ਹੈ ਕਿ ਅਸੀਂ ਹੁਣ ਏਜੀਆਈ ਯੁੱਗ ਵਿੱਚ ਹਾਂ," ਜਦੋਂ ਕਿ ਲਾਂਚ ਦੇ ਨਿਊ ਸਟੈਕ ਦੇ ਕਵਰੇਜ ਦੇ ਅਨੁਸਾਰ, ਇੱਕ ਰਸਮੀ ਘੋਸ਼ਣਾ ਦੀ ਕਮੀ ਨੂੰ ਰੋਕਦੇ ਹੋਏ। ਉਸਨੇ AGI ਨੂੰ ਇਕਰਾਰਨਾਮੇ ਦੇ ਟਰਿੱਗਰ ਦੀ ਬਜਾਏ "ਮਿਸ਼ਨ ਸੰਕਲਪ ਜਾਂ ਅਧਿਆਤਮਿਕ ਸੰਕਲਪ" ਵਜੋਂ ਦਰਸਾਇਆ।
ਓਪਨਏਆਈ ਖੋਜਕਰਤਾ ਏਡਨ ਕਲਾਰਕ ਨੇ ਕਿਹਾ ਕਿ ਐਸਟਰਾ ਕੰਪਨੀ ਦੀ ਹੁਣ ਤੱਕ ਦੀ ਸਭ ਤੋਂ ਵੱਡੀ ਸਿਖਲਾਈ ਸੀ - ਟੈਕਸਾਸ ਵਿੱਚ ਸਟਾਰਗੇਟ ਸਾਈਟ 'ਤੇ 100,000 ਤੋਂ ਵੱਧ GPUs 'ਤੇ ਪਹਿਲੀ ਪ੍ਰੀ-ਟ੍ਰੇਨਡ - ਅਤੇ ਪਹਿਲੀ OpenAI ਰੀਲੀਜ਼ ਜਿਸ ਵਿੱਚ ਪਹਿਲੇ ਮਾਡਲਾਂ ਨੇ ਸਿਖਲਾਈ ਪ੍ਰਕਿਰਿਆ ਦੀ ਨਿਗਰਾਨੀ ਕਰਨ ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਭੂਮਿਕਾ ਨਿਭਾਈ ਸੀ। ਪਹੁੰਚ ਸਥਿਰ ਰਹਿੰਦੀ ਹੈ: ਰੋਲਆਉਟ ਡੇਬ੍ਰੇਕ ਪ੍ਰੋਗਰਾਮ ਵਿੱਚ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਗਾਹਕਾਂ ਨਾਲ ਸ਼ੁਰੂ ਹੁੰਦਾ ਹੈ, ਪਲੱਸ, ਪ੍ਰੋ, ਬਿਜ਼ਨਸ ਅਤੇ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਉਪਲਬਧਤਾ ਨਾਲ ਹੀ ਆਉਣ ਵਾਲੇ ਦਿਨਾਂ ਵਿੱਚ API ਅਤੇ AWS ਪਹੁੰਚ ਦਾ ਵਾਅਦਾ ਕੀਤਾ ਗਿਆ ਹੈ।
ਸਕੋਰ 'ਤੇ ਤਾਰਾ
ਕਈ ਮੋਰਚਿਆਂ 'ਤੇ ਸਾਵਧਾਨੀ ਦੀ ਲੋੜ ਹੈ। Astra ਦੀ ARC-AGI-3 ਕਾਰਗੁਜ਼ਾਰੀ ਹਾਰਨੈੱਸ ਕੌਂਫਿਗਰੇਸ਼ਨ 'ਤੇ ਬਹੁਤ ਜ਼ਿਆਦਾ ਨਿਰਭਰ ਕਰਦੀ ਹੈ, ਜਿਵੇਂ ਕਿ ਦੋ ਸਿਰਲੇਖ ਨੰਬਰ ਦਿਖਾਉਂਦੇ ਹਨ, ਅਤੇ ਕਸਟਮ ਹਾਰਨੈੱਸ ਜੋ ਮਾਡਲ ਸਟੇਟ ਨੂੰ ਸੁਰੱਖਿਅਤ ਰੱਖਦੇ ਹਨ, ਬੈਂਚਮਾਰਕ ਵਿਵਾਦਾਂ ਵਿੱਚ ਵਿਵਾਦ ਦਾ ਇੱਕ ਆਵਰਤੀ ਬਿੰਦੂ ਰਹੇ ਹਨ। ਲਾਂਚ ਦੇ ਨਵੇਂ ਸਟੈਕ ਦੇ ਵਿਸ਼ਲੇਸ਼ਣ ਨੇ ਨੋਟ ਕੀਤਾ ਕਿ Astra "ਵਿਸ਼ੇਸ਼ ਕਾਰਜਾਂ 'ਤੇ ਵੱਡੇ ਲਾਭਾਂ ਨੂੰ ਪੋਸਟ ਕਰਦਾ ਹੈ, ਪਰ ਇਹ ਇੱਕ ਪ੍ਰੀਮੀਅਮ 'ਤੇ ਆਉਂਦਾ ਹੈ ਅਤੇ ਸਪੱਸ਼ਟ ਤੌਰ 'ਤੇ ਕੋਡਿੰਗ ਪੈਕ ਦੀ ਅਗਵਾਈ ਨਹੀਂ ਕਰਦਾ ਹੈ" - ਇੱਕ ਯਾਦ ਦਿਵਾਉਂਦਾ ਹੈ ਕਿ ਏਜੰਟ ਬੁਝਾਰਤ ਬੈਂਚਮਾਰਕ ਅਤੇ ਰੋਜ਼ਾਨਾ ਵਪਾਰਕ ਵਰਕਲੋਡ ਵੱਖ-ਵੱਖ ਚੀਜ਼ਾਂ ਨੂੰ ਮਾਪਦੇ ਹਨ।
ARC ਪ੍ਰਾਈਜ਼ ਆਪਣੇ ਆਪ ਵਿੱਚ ਮੌਜੂਦਾ AI ਅਤੇ AGI ਵਿਚਕਾਰ "ਬਕਾਇਆ ਪਾੜੇ" ਨੂੰ ਮਾਪਣ ਦੇ ਰੂਪ ਵਿੱਚ ਅਭਿਆਸ ਨੂੰ ਫਰੇਮ ਕਰਦਾ ਹੈ, AGI ਨੂੰ ਕਿਸੇ ਵੀ ਹੁਨਰ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਦੀ ਯੋਗਤਾ ਵਜੋਂ ਪਰਿਭਾਸ਼ਿਤ ਕਰਦਾ ਹੈ, ਇੱਕ ਮਨੁੱਖ ਜਿੰਨਾ ਕੁਸ਼ਲਤਾ ਨਾਲ ਕਰ ਸਕਦਾ ਹੈ। ਅਨੁਕੂਲ ਸਥਿਤੀਆਂ ਵਿੱਚ ਨੇੜੇ-ਤੇੜੇ ਸੰਪੂਰਨ ਸਕੋਰ ਉਸ ਪਾੜੇ ਨੂੰ ਆਪਣੇ ਆਪ ਬੰਦ ਨਹੀਂ ਕਰਦਾ ਹੈ। ਅਤੇ $17,000 ਤੋਂ $50,000 ਪ੍ਰਤੀ ਮੁਲਾਂਕਣ ਰਨ 'ਤੇ, ਸਿਰਫ ਚੰਗੀ ਤਰ੍ਹਾਂ ਨਾਲ ਸੰਸਾਧਿਤ ਲੈਬ ਹੀ ਇਸ ਪੈਮਾਨੇ 'ਤੇ ਬੈਂਚਮਾਰਕ ਨੂੰ ਚਲਾਉਣ ਲਈ ਬਰਦਾਸ਼ਤ ਕਰ ਸਕਦੀਆਂ ਹਨ - ਹਾਲਾਂਕਿ ARC ਪ੍ਰਾਈਜ਼ ਦਾ ਲਾਗਤ ਡੇਟਾ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਚੁਸਤ ਤਰਕ ਅਸਲ ਵਿੱਚ ਬਿੱਲ ਨੂੰ ਘਟਾ ਸਕਦਾ ਹੈ।
ਇਹ ਮਾਇਨੇ ਕਿਉਂ ਰੱਖਦਾ ਹੈ
ਐਕਸ਼ਨ ਕੁਸ਼ਲਤਾ ਤੁਲਨਾ ਦਾ ਇੱਕ ਅਸਲ ਨਵਾਂ ਧੁਰਾ ਹੈ। ਇੱਕ ਮਾਡਲ ਜੋ ਹਰ ਪੱਧਰ ਨੂੰ ਹੱਲ ਕਰਦਾ ਹੈ ਪਰ ਹਜ਼ਾਰਾਂ ਕਾਲਾਂ ਨੂੰ ਬਰਬਾਦ ਕਰਦਾ ਹੈ - ਘੱਟ ਲਾਭਦਾਇਕ ਹੈ - ਅਤੇ ਵਧੇਰੇ ਮਹਿੰਗਾ - ਇੱਕ ਨਾਲੋਂ ਜੋ Astra ਇੱਥੇ ਕੰਮ ਕਰਦਾ ਹੈ: ਜਾਣਬੁੱਝ ਕੇ ਪੜਚੋਲ ਕਰਨਾ, ਜੋ ਕੁਝ ਸਿੱਖਦਾ ਹੈ ਉਸਨੂੰ ਸੰਕੁਚਿਤ ਕਰਨਾ, ਅਤੇ ਇਸ 'ਤੇ ਕੰਮ ਕਰਨਾ। AGI ਬਹਿਸ ਬਾਰੇ ਜੋ ਵੀ ਕੋਈ ਸਿੱਟਾ ਕੱਢਦਾ ਹੈ, ARC ਪ੍ਰਾਈਜ਼ ਡੇਟਾ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਫਰੰਟੀਅਰ ਏਜੰਟ ਹੁਣ ਮਨੁੱਖਾਂ ਨਾਲ ਮੇਲ ਖਾਂਦੇ ਹਨ ਨਾ ਸਿਰਫ਼ ਇਸ ਗੱਲ 'ਤੇ ਕਿ ਕੀ ਉਹ ਨਵੀਆਂ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰ ਸਕਦੇ ਹਨ, ਪਰ ਇਸ ਗੱਲ 'ਤੇ ਕਿ ਉਹ ਆਰਥਿਕ ਤੌਰ 'ਤੇ ਉਨ੍ਹਾਂ ਨੂੰ ਕਿਵੇਂ ਹੱਲ ਕਰਦੇ ਹਨ।
AI ਤੋਂ ਅੱਗੇ ਰਹੋ
ਹਰ ਬੈਂਚਮਾਰਕ ਨਤੀਜਾ, ਮਾਡਲ ਲਾਂਚ ਅਤੇ ਸੁਰੱਖਿਆ ਬਹਿਸ, ਜਿਵੇਂ ਇਹ ਵਾਪਰਦਾ ਹੈ ਟਰੈਕ ਕੀਤਾ ਜਾਂਦਾ ਹੈ — ਹੋਰ AI ਖਬਰਾਂ ਪੜ੍ਹੋ →
