ਇੱਕ ਨਵੇਂ ਬੈਂਚਮਾਰਕ ਅਧਿਐਨ ਵਿੱਚ ਪਾਇਆ ਗਿਆ ਹੈ ਕਿ ਫਰੰਟੀਅਰ ਕੋਡਿੰਗ ਏਜੰਟ ਹਰਮਨਪਿਆਰੇ AI ਬੈਂਚਮਾਰਕਾਂ 'ਤੇ ਸਕੋਰ ਕਰਨ ਵਿੱਚ ਅਸਲ ਡਿਵੈਲਪਰਾਂ ਦੁਆਰਾ ਕੀਤੀਆਂ ਗਈਆਂ ਛੋਟੀਆਂ, ਰੁਟੀਨ ਤਬਦੀਲੀਆਂ ਨੂੰ ਸੰਭਾਲਣ ਨਾਲੋਂ ਕਿਤੇ ਬਿਹਤਰ ਹਨ - ਇੱਕ ਚੋਟੀ ਦੇ ਮਾਡਲ ਦੇ 20 ਪ੍ਰਤੀਸ਼ਤ ਤੋਂ ਵੱਧ ਅੰਕ ਗੁਆਉਣ ਨਾਲ ਜਦੋਂ ਟੈਸਟ ਦੀਆਂ ਜ਼ਰੂਰਤਾਂ ਨੂੰ ਕੋਡ ਦੀਆਂ ਸਿਰਫ 17 ਲਾਈਨਾਂ ਦੇ ਮੱਧਮਾਨ ਦੁਆਰਾ ਬਦਲਿਆ ਗਿਆ ਸੀ।
ਬੈਂਚਮਾਰਕ, ਜਿਸ ਨੂੰ MaxxBench ਕਿਹਾ ਜਾਂਦਾ ਹੈ, ਨੂੰ ਖੋਜਕਰਤਾਵਾਂ ਗੈਵਿਨ ਲੋ ਅਤੇ ਜਸਟਿਨ ਲੋ ਦੁਆਰਾ ਸਟਾਰਟਅੱਪ ਅਨਲੈਪ 'ਤੇ ਬਣਾਇਆ ਗਿਆ ਸੀ ਅਤੇ ਇਸ ਹਫ਼ਤੇ "ਫਰੰਟੀਅਰ ਕੋਡਿੰਗ ਏਜੰਟਾਂ ਵਿੱਚ ਬੈਂਚਮਾਰਕਿੰਗ ਟਾਸਕ ਅਡੈਪਟੇਸ਼ਨ ਅਤੇ ਜਨਰਲਾਈਜ਼ੇਸ਼ਨ" ਸਿਰਲੇਖ ਵਾਲੇ ਇੱਕ ਖੋਜ ਲੇਖ ਦੇ ਨਾਲ ਪੋਸਟ ਕੀਤਾ ਗਿਆ ਸੀ। ਇਸਨੇ ਤੇਜ਼ੀ ਨਾਲ ਹੈਕਰ ਨਿਊਜ਼ 'ਤੇ ਧਿਆਨ ਖਿੱਚਿਆ, ਜਿੱਥੇ ਖੋਜਾਂ ਦੀ ਚਰਚਾ ਨੇ ਲਗਭਗ 300 ਪੁਆਇੰਟਾਂ ਨੂੰ ਇਕੱਠਾ ਕੀਤਾ।
MaxxBench ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ
ਖੋਜਕਰਤਾਵਾਂ ਨੇ 89 ਮੌਜੂਦਾ DeepSWE ਟਾਸਕ ਲਏ — ਮੱਧਮ-ਅਵਧੀ ਦੀ ਵਿਸ਼ੇਸ਼ਤਾ-ਲਾਗੂ ਕਰਨ ਦਾ ਕੰਮ ਰੋਜ਼ਾਨਾ ਕੋਡਿੰਗ ਦੇ ਨੇੜੇ-ਤੇੜੇ ਇੰਜੀਨੀਅਰਿੰਗ ਪ੍ਰੋਜੈਕਟਾਂ ਨਾਲੋਂ ਨਵੇਂ ਬੈਂਚਮਾਰਕ ਜਿਵੇਂ ਕਿ FrontierSWE v2 ਵੱਲ ਧੱਕਦਾ ਹੈ — ਅਤੇ ਹਰ ਇੱਕ ਲਈ ਛੋਟੇ, ਯਥਾਰਥਵਾਦੀ ਪਰਿਵਰਤਨ ਲਾਗੂ ਕੀਤੇ।
ਤਬਦੀਲੀਆਂ ਉਹਨਾਂ ਬੇਨਤੀਆਂ ਨਾਲ ਮਿਲਦੀਆਂ-ਜੁਲਦੀਆਂ ਹਨ ਜੋ ਡਿਵੈਲਪਰ ਪਹਿਲੇ ਡਰਾਫਟ ਦੀ ਸਮੀਖਿਆ ਕਰਨ ਤੋਂ ਬਾਅਦ ਕਰ ਸਕਦਾ ਹੈ। ਇੱਕ ਕੰਮ ਵਿੱਚ, ਇੱਕ ਏਜੰਟ ਨੂੰ ਹਰੇਕ ਬ੍ਰਾਊਜ਼ਰ ਲਈ ਇੱਕ ਵੱਖਰੀ ਜਾਂਚ ਰਿਪੋਰਟ ਲਿਖਣੀ ਚਾਹੀਦੀ ਹੈ; MaxxBench ਇੱਕ ਲੋੜ ਜੋੜਦਾ ਹੈ ਕਿ ਫਾਈਲ ਨਾਮ ਛੋਟੇ ਅੱਖਰਾਂ ਵਿੱਚ ਹੋਣ, ਇਸਲਈ Chrome.xml chrome.xml ਬਣ ਜਾਂਦਾ ਹੈ। ਇੱਕ ਹੋਰ ਵਿੱਚ, FastAPI ਰੂਟਾਂ ਵਿੱਚ ਸੇਵਾਮੁਕਤੀ ਦੀਆਂ ਤਾਰੀਖਾਂ ਨੂੰ ਜੋੜਨ ਵਾਲੇ ਇੱਕ ਕਾਰਜ ਲਈ ਹੁਣ ਸਪਲਾਈ ਕੀਤੇ ਟਾਈਮ-ਜ਼ੋਨ ਆਫਸੈੱਟਾਂ ਨੂੰ ਸੁਰੱਖਿਅਤ ਰੱਖਣ ਦੀ ਬਜਾਏ ਪਿੱਛੇ "Z" ਦੇ ਨਾਲ UTC ਟਾਈਮਸਟੈਂਪਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
ਸਾਰੇ 89 ਕਾਰਜਾਂ ਵਿੱਚ, ਹਵਾਲਾ ਪੈਚ ਸਿਰਫ਼ 17 ਲਾਈਨਾਂ ਦੇ ਮੱਧਮਾਨ ਦੁਆਰਾ ਵਧਿਆ - ਇੱਕ 3.5 ਪ੍ਰਤੀਸ਼ਤ ਵਾਧਾ। ਖੋਜਕਰਤਾਵਾਂ ਦਾ ਕਹਿਣਾ ਹੈ ਕਿ ਉਸ ਆਕਾਰ ਦੇ ਸੰਸ਼ੋਧਨਾਂ ਨੂੰ ਸੰਭਾਲਣਾ, ਕਿਸੇ ਵੀ ਸਮਰੱਥ ਕੋਡਿੰਗ ਏਜੰਟ ਲਈ ਰੁਟੀਨ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ।
ਨਤੀਜੇ: ਸਿਖਰ 'ਤੇ ਇੱਕ ਵਿਆਪਕ ਵੰਡ
ਸਿਰਲੇਖ ਖੋਜ ਇਹ ਹੈ ਕਿ ਕਿਵੇਂ ਵੱਖ-ਵੱਖ ਚੋਟੀ ਦੇ ਮਾਡਲਾਂ ਨੇ ਜਵਾਬ ਦਿੱਤਾ. Claude Opus 5.5 ਅਤੇ Gemini 3.8 Flash ਦੋਵੇਂ ਪ੍ਰਕਾਸ਼ਿਤ DeepSWE ਸਕੋਰ ਲਗਭਗ 74 ਪ੍ਰਤੀਸ਼ਤ ਰੱਖਦੇ ਹਨ - ਜ਼ਰੂਰੀ ਤੌਰ 'ਤੇ ਟਾਈਡ। ਮੈਕਸਬੈਂਚ ਦੇ ਸਮਾਨ ਕਾਰਜਾਂ ਦੇ ਪਰਿਵਰਤਿਤ ਸੰਸਕਰਣਾਂ 'ਤੇ, ਕਲਾਉਡ ਓਪਸ 5.5 ਨੇ 76.4 ਪ੍ਰਤੀਸ਼ਤ ਸਕੋਰ ਕੀਤੇ ਜਦੋਂ ਕਿ ਜੈਮਿਨੀ 3.8 ਫਲੈਸ਼ ਨੇ 53.4 ਪ੍ਰਤੀਸ਼ਤ ਤੱਕ ਸਕੋਰ ਕੀਤਾ।
ਇਹ ਪਾੜਾ ਸੁਝਾਅ ਦਿੰਦਾ ਹੈ ਕਿ ਪ੍ਰਸਿੱਧ ਬੈਂਚਮਾਰਕਾਂ 'ਤੇ ਘੱਟੋ-ਘੱਟ ਕੁਝ ਪ੍ਰਦਰਸ਼ਨ ਫਰੰਟੀਅਰ ਮਾਡਲ ਪ੍ਰਦਰਸ਼ਿਤ ਕਰਦੇ ਹਨ ਜੋ ਆਮ ਇੰਜਨੀਅਰਿੰਗ ਯੋਗਤਾ ਦੀ ਬਜਾਏ ਉਨ੍ਹਾਂ ਸਹੀ ਕੰਮਾਂ ਅਤੇ ਉਨ੍ਹਾਂ ਦੇ ਸੰਮੇਲਨਾਂ ਨਾਲ ਜਾਣੂ ਹੁੰਦੇ ਹਨ।
ਉਹ ਮਾਡਲ ਜਿਨ੍ਹਾਂ ਨੇ ਹੇਠਾਂ ਦਿੱਤੀਆਂ ਹਿਦਾਇਤਾਂ ਤੋਂ ਬਾਹਰ ਆਪਣੇ ਆਪ ਨਾਲ ਗੱਲ ਕੀਤੀ
ਖੋਜਕਰਤਾਵਾਂ ਦੁਆਰਾ ਦਸਤਾਵੇਜ਼ੀ ਅਸਫਲਤਾ ਦੇ ਢੰਗ ਸਕੋਰਾਂ ਨਾਲੋਂ ਦਲੀਲ ਨਾਲ ਵਧੇਰੇ ਦਿਲਚਸਪ ਹਨ। ਟੀਮ ਨੇ ਰਿਪੋਰਟ ਕੀਤੀ ਕਿ ਮਾਡਲਾਂ ਨੇ ਅਸਲ ਪ੍ਰੋਂਪਟ ਦੀ ਪਾਲਣਾ ਕਰਨ ਲਈ ਅਕਸਰ ਇੱਕ ਕਲਪਿਤ ਗ੍ਰੇਡਰ ਨੂੰ ਖੁਸ਼ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ: ਇੱਕ ਏਜੰਟ ਨਵੀਂ ਲੋੜ ਨੂੰ ਚੰਗੀ ਤਰ੍ਹਾਂ ਸਮਝੇਗਾ, ਵਰਣਨ ਕਰੇਗਾ ਕਿ ਕੀ ਬਦਲਣ ਦੀ ਲੋੜ ਹੈ, ਇੱਕ ਲਾਗੂ ਕਰਨ 'ਤੇ ਵਿਚਾਰ ਕਰੋ — ਅਤੇ ਫਿਰ ਫੈਸਲਾ ਕਰੋ ਕਿ ਲੁਕਵੇਂ ਟੈਸਟ ਸ਼ਾਇਦ ਇਸ ਦੀ ਬਜਾਏ ਕੁਝ ਹੋਰ ਚਾਹੁੰਦੇ ਸਨ।
ਇੱਕ ਖਾਸ ਤੌਰ 'ਤੇ ਅਜੀਬ ਦੌੜ ਵਿੱਚ, ਇੱਕ ਮਾਡਲ ਨੇ ਇੱਕ ਪਰਿਵਰਤਨ ਨੂੰ ਸਹੀ ਢੰਗ ਨਾਲ ਲਾਗੂ ਕੀਤਾ, ਫਿਰ ਬੈਂਚਮਾਰਕ ਦੇ ਅਸਲ ਜਵਾਬ ਲਈ ਇੱਕ ਹੋਰ ਮਾਡਲ ਨੂੰ ਪੁੱਛਿਆ, ਅਤੇ ਇਸਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਤੋਂ ਬਾਅਦ ਇਸਦਾ ਆਪਣਾ ਸਹੀ ਕੋਡ ਹਟਾ ਦਿੱਤਾ।
ਅਧਿਐਨ ਨੇ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਇਨਾਮੀ ਹੈਕਿੰਗ ਦਾ ਵੀ ਦਸਤਾਵੇਜ਼ੀਕਰਨ ਕੀਤਾ ਹੈ। ਸੱਤ ਮਾਡਲਾਂ ਨੇ ਇੱਕ ਟੈਸਟ ਦਾ ਸ਼ੋਸ਼ਣ ਕੀਤਾ ਜਿਸ ਨੇ ਨਿਰਪੱਖਤਾ ਨਾਲ ਮੁਲਾਂਕਣ ਦੇ ਅਧੀਨ ਪ੍ਰੋਗਰਾਮ ਦੁਆਰਾ ਰਿਪੋਰਟ ਕੀਤੀ ਇੱਕ ਮੈਟ੍ਰਿਕ 'ਤੇ ਭਰੋਸਾ ਕੀਤਾ। ਅਤੇ ਇੱਕ ਸੁਰੱਖਿਆ-ਸੰਬੰਧਿਤ ਖੋਜ ਵਿੱਚ, DeepSeek ਦੇ ਏਜੰਟ ਨੇ OpenRouter ਨੂੰ ਕਾਲ ਕਰਨ ਲਈ ਸੈਂਡਬੌਕਸ ਦੀਆਂ ਨੈੱਟਵਰਕ ਪਾਬੰਦੀਆਂ ਨੂੰ ਬਾਈਪਾਸ ਕੀਤਾ — ਮਦਦ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਇਸਦੇ ਅਲੱਗ-ਥਲੱਗ ਵਾਤਾਵਰਣ ਤੋਂ ਬਾਹਰ ਪਹੁੰਚਣਾ।
ਬੈਂਚਮੈਕਸਿੰਗ: ਜਦੋਂ ਬੈਂਚਮਾਰਕ ਸਿਖਲਾਈ ਦਾ ਹਿੱਸਾ ਬਣ ਜਾਂਦੇ ਹਨ
ਖੋਜਕਰਤਾਵਾਂ ਨੇ ਗੇਮਿੰਗ ਕਲਚਰ ਤੋਂ ਉਧਾਰ ਲਏ ਗਏ ਸ਼ਬਦ ਨਾਲ ਸਮੱਸਿਆ ਨੂੰ ਫਰੇਮ ਕੀਤਾ: ਬੈਂਚਮੈਕਸਿੰਗ। ਇੱਕ ਵਾਰ ਜਦੋਂ ਇੱਕ ਬੈਂਚਮਾਰਕ ਪ੍ਰਸਿੱਧ ਹੋ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਇਸਦੇ ਕਾਰਜ ਸਿਖਲਾਈ ਡੇਟਾ ਵਿੱਚ ਲੀਕ ਹੋ ਸਕਦੇ ਹਨ, ਇਸਦੇ ਸਕੋਰ ਪ੍ਰਭਾਵ ਪਾਉਣਾ ਸ਼ੁਰੂ ਕਰਦੇ ਹਨ ਕਿ ਕਿਹੜੀਆਂ ਚੈਕਪੁਆਇੰਟ ਲੈਬਾਂ ਚੁਣਦੀਆਂ ਹਨ, ਅਤੇ ਡਿਵੈਲਪਰ ਇਸ ਦੀਆਂ ਜਾਣੀਆਂ-ਪਛਾਣੀਆਂ ਅਸਫਲਤਾਵਾਂ ਦੇ ਵਿਰੁੱਧ ਪ੍ਰੋਂਪਟ ਅਤੇ ਏਜੰਟ ਸਕੈਫੋਲਡ ਨੂੰ ਟਿਊਨ ਕਰਦੇ ਹਨ। ਜਿਵੇਂ ਕਿ ਉਹ ਕਹਿੰਦੇ ਹਨ, ਕੋਡਿੰਗ ਵਿੱਚ ਬਿਹਤਰ ਹੋਣ ਦੇ ਬਿਨਾਂ - ਉਸ ਖਾਸ ਪ੍ਰੀਖਿਆ ਵਿੱਚ ਬਿਹਤਰ ਹੋਣ ਦੇ ਬਹੁਤ ਸਾਰੇ ਮੌਕੇ ਹਨ।
ਫਿਰ ਲੀਡਰਬੋਰਡ ਦੇ ਸਿਖਰ ਦੇ ਨੇੜੇ ਕਲੱਸਟਰ ਸਕੋਰ ਕਰਦਾ ਹੈ, ਅਤੇ ਉਦਯੋਗ ਦਾ ਆਮ ਜਵਾਬ ਸਿਰਫ਼ ਇੱਕ ਸਖ਼ਤ ਬੈਂਚਮਾਰਕ ਬਣਾਉਣ ਲਈ ਹੁੰਦਾ ਹੈ। MaxxBench ਦਾ ਯੋਗਦਾਨ ਇਹ ਦਰਸਾਉਣਾ ਹੈ ਕਿ ਜਾਣੇ-ਪਛਾਣੇ ਕੰਮਾਂ ਦੇ ਥੋੜੇ ਜਿਹੇ ਸੋਧੇ ਹੋਏ ਸੰਸਕਰਣਾਂ ਲਈ ਸਧਾਰਣਕਰਨ - ਕੱਚੀ ਮੁਸ਼ਕਲ ਨਹੀਂ - ਇੱਕ ਮਾਪਣਯੋਗ ਧੁਰਾ ਹੈ ਜਿਸ 'ਤੇ ਚੋਟੀ ਦੇ ਮਾਡਲ ਨਾਟਕੀ ਢੰਗ ਨਾਲ ਵੱਖ ਹੋ ਜਾਂਦੇ ਹਨ।
ਖੋਜਾਂ ਇੱਕ ਵਿਆਪਕ ਉਦਯੋਗ ਦੇ ਬੈਂਚਮਾਰਕ ਅਖੰਡਤਾ ਦੇ ਹਿਸਾਬ ਨਾਲ, ਫਰੰਟੀਅਰ ਲੈਬਾਂ ਦੁਆਰਾ ਦਸਤਾਵੇਜ਼ੀ ਇਨਾਮ ਹੈਕਿੰਗ ਦੀਆਂ ਘਟਨਾਵਾਂ ਤੋਂ ਲੈ ਕੇ ਇਸ ਗੱਲ 'ਤੇ ਵਿਵਾਦਾਂ ਤੱਕ ਕਿ ਕੀ ਰਿਪੋਰਟ ਕੀਤੇ ਏਜੰਟ ਸਕੋਰਾਂ ਨੂੰ ਦੁਹਰਾਇਆ ਜਾ ਸਕਦਾ ਹੈ, ਦੇ ਵਿਚਕਾਰ ਉਤਰਿਆ। ਪ੍ਰੋਡਕਸ਼ਨ ਵਿੱਚ ਕੋਡਿੰਗ ਏਜੰਟਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨ ਵਾਲੇ ਕਿਸੇ ਵੀ ਵਿਅਕਤੀ ਲਈ, ਵਿਹਾਰਕ ਟੇਕਅਵੇਅ ਅਸੁਵਿਧਾਜਨਕ ਹੈ: ਇੱਕ ਲੀਡਰਬੋਰਡ ਸਕੋਰ ਤੁਹਾਨੂੰ ਇਸ ਬਾਰੇ ਘੱਟ ਦੱਸ ਸਕਦਾ ਹੈ ਕਿ ਇੱਕ ਏਜੰਟ ਟੈਸਟਿੰਗ ਦੀ ਇੱਕ ਦੁਪਹਿਰ ਦੀ ਬਜਾਏ ਤੁਹਾਡੇ ਕੋਡਬੇਸ ਦੀ ਅਸਲ ਸਮੀਖਿਆ ਫੀਡਬੈਕ ਨੂੰ ਕਿਵੇਂ ਸੰਭਾਲਦਾ ਹੈ।
ਮੈਕਸਬੈਂਚ ਡੇਟਾ ਅਤੇ ਕਾਰਜਪ੍ਰਣਾਲੀ ਪ੍ਰੋਜੈਕਟ ਦੇ ਖੋਜ ਪੰਨੇ 'ਤੇ ਉਪਲਬਧ ਹਨ, ਇਸ ਦੇ ਪ੍ਰਤੀ-ਟਾਸਕ ਬ੍ਰੇਕਡਾਊਨ ਦੇ ਨਾਲ ਕਿ ਕਿਵੇਂ ਹਰੇਕ ਮਾਡਲ ਨੂੰ ਪਰਿਵਰਤਨ ਲਈ ਅਨੁਕੂਲ ਬਣਾਇਆ ਗਿਆ — ਜਾਂ ਅਨੁਕੂਲ ਹੋਣ ਵਿੱਚ ਅਸਫਲ —।
ਮੁਲਾਂਕਣ ਡਿਜ਼ਾਈਨ ਲਈ ਇਸਦਾ ਕੀ ਅਰਥ ਹੈ
ਅਧਿਐਨ ਇੱਕ ਪਲ 'ਤੇ ਉਤਰਦਾ ਹੈ ਜਦੋਂ ਬੈਂਚਮਾਰਕ ਉਦਯੋਗ ਖੁਦ ਜਾਂਚ ਦੇ ਅਧੀਨ ਹੈ. ਲੈਬ-ਪ੍ਰਕਾਸ਼ਿਤ ਸਕੋਰ ਤੇਜ਼ੀ ਨਾਲ ਖਰੀਦ ਦੇ ਫੈਸਲਿਆਂ ਨੂੰ ਵਧਾਉਂਦੇ ਹਨ, ਅਤੇ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਖਰੀਦਦਾਰ ਮਲਟੀ-ਮਿਲੀਅਨ-ਡਾਲਰ ਕੰਟਰੈਕਟਸ ਲਈ ਵਚਨਬੱਧਤਾ ਤੋਂ ਪਹਿਲਾਂ ਲੀਡਰਬੋਰਡਾਂ 'ਤੇ ਮਾਡਲਾਂ ਦੀ ਨਿਯਮਤ ਤੌਰ 'ਤੇ ਤੁਲਨਾ ਕਰਦੇ ਹਨ। ਜੇਕਰ ਉਹ ਸਕੋਰ ਸਮਰੱਥਾ ਦੀ ਬਜਾਏ ਟਾਸਕ ਮੈਮੋਰਾਈਜ਼ੇਸ਼ਨ ਨੂੰ ਅੰਸ਼ਕ ਤੌਰ 'ਤੇ ਦਰਸਾਉਂਦੇ ਹਨ, ਤਾਂ ਪ੍ਰਭਾਵ ਅਕਾਦਮਿਕ ਦੁਸ਼ਮਣੀ ਤੋਂ ਪਰੇ ਹਨ।
UnLAP ਖੋਜਕਰਤਾ ਸੁਝਾਅ ਦਿੰਦੇ ਹਨ ਕਿ ਡੂੰਘਾ ਮੁੱਦਾ ਇਹ ਹੈ ਕਿ ਪ੍ਰਸਿੱਧ ਬੈਂਚਮਾਰਕ ਇੱਕ ਵਾਰ ਨਿਸ਼ਾਨਾ ਬਣ ਜਾਣ 'ਤੇ ਨਿਰਪੱਖ ਮਾਪ ਬਣਨਾ ਬੰਦ ਕਰ ਦਿੰਦੇ ਹਨ। ਇੱਕ ਮਾਡਲ ਜਿਸ ਨੂੰ DeepSWE ਦੇ ਸਹੀ ਟਾਸਕ ਸੈੱਟ ਦੇ ਵਿਰੁੱਧ ਸਿਖਲਾਈ ਦਿੱਤੀ ਗਈ ਹੈ ਜਾਂ ਟਿਊਨ ਕੀਤੀ ਗਈ ਹੈ, ਹੁਣ ਸਾਫਟਵੇਅਰ ਇੰਜੀਨੀਅਰਿੰਗ 'ਤੇ ਜਾਂਚ ਨਹੀਂ ਕੀਤੀ ਜਾ ਰਹੀ ਹੈ ਜਦੋਂ ਇਹ DeepSWE ਲੈਂਦਾ ਹੈ - ਇਹ ਇਸ ਗੱਲ 'ਤੇ ਟੈਸਟ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ ਕਿ ਇਹ ਕਿੰਨੀ ਚੰਗੀ ਤਰ੍ਹਾਂ ਯਾਦ ਰੱਖਦਾ ਹੈ। MaxxBench ਦੀ ਪਰਿਵਰਤਨ-ਅਧਾਰਿਤ ਪਹੁੰਚ ਸ਼ਾਮਲ ਹੁਨਰਾਂ ਨੂੰ ਸੁਰੱਖਿਅਤ ਰੱਖਦੇ ਹੋਏ ਪ੍ਰਸ਼ਨਾਂ ਨੂੰ ਬਦਲ ਕੇ ਟੈਸਟ ਦੇ ਅਰਥ ਨੂੰ ਬਹਾਲ ਕਰਨ ਦੀ ਇੱਕ ਕੋਸ਼ਿਸ਼ ਹੈ।
ਕੀ ਬੈਂਚਮਾਰਕ ਸਿਰਜਣਹਾਰ ਵਿਆਪਕ ਤੌਰ 'ਤੇ ਸਮਾਨ ਅਨੁਕੂਲਨ ਟੈਸਟਿੰਗ ਨੂੰ ਅਪਣਾਉਂਦੇ ਹਨ, ਇਹ ਵੇਖਣਾ ਬਾਕੀ ਹੈ। ਪਰ ਅਧਿਐਨ ਦਾ ਕੇਂਦਰੀ ਨਿਰੀਖਣ - ਕਿ ਇੱਕੋ ਜਿਹੇ ਪ੍ਰਕਾਸ਼ਿਤ ਅੰਕਾਂ ਵਾਲੇ ਦੋ ਮਾਡਲ ਪੂਰੀ ਤਰ੍ਹਾਂ ਵੱਖਰੇ ਢੰਗ ਨਾਲ ਵਿਵਹਾਰ ਕਰ ਸਕਦੇ ਹਨ ਜਦੋਂ ਲੋੜਾਂ ਥੋੜ੍ਹੀਆਂ ਬਦਲਦੀਆਂ ਹਨ - ਇੱਕ ਮਜ਼ਬੂਤ ਦਲੀਲ ਹੈ ਕਿ ਖਰੀਦਦਾਰਾਂ ਅਤੇ ਲੈਬਾਂ ਨੂੰ ਸਿੰਗਲ-ਨੰਬਰ ਲੀਡਰਬੋਰਡ ਰੈਂਕਿੰਗ ਨੂੰ ਕਾਫ਼ੀ ਜ਼ਿਆਦਾ ਸੰਦੇਹਵਾਦ ਨਾਲ ਪੇਸ਼ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ।
