ਓਪਨਏਆਈ ਦੀ ਸਾਬਕਾ ਮੁੱਖ ਟੈਕਨਾਲੋਜੀ ਅਫਸਰ ਮੀਰਾ ਮੂਰਤੀ ਦੁਆਰਾ ਸਥਾਪਿਤ ਖੋਜ ਕੰਪਨੀ ਥਿੰਕਿੰਗ ਮਸ਼ੀਨ ਲੈਬ, ਨੇ ਇੱਕ ਵਿਸਤ੍ਰਿਤ ਤਕਨੀਕੀ ਵਿਆਖਿਆ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤੀ ਹੈ ਕਿ ਇਹ ਕਿਵੇਂ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਨੂੰ ਲਗਭਗ ਪੂਰੀ ਤਰ੍ਹਾਂ 4-ਬਿੱਟ ਸ਼ੁੱਧਤਾ ਵਿੱਚ ਸਿਖਲਾਈ ਦਿੰਦੀ ਹੈ - ਇੱਕ ਤਕਨੀਕ ਜੋ ਕੰਪਨੀ ਕਹਿੰਦੀ ਹੈ Nvidia ਦੇ ਸਭ ਤੋਂ ਨਵੇਂ ਡੇਟਾ ਸੈਂਟਰ ਹਾਰਡਵੇਅਰ 'ਤੇ ਵੱਡੀ ਗਤੀ ਅਤੇ ਮੈਮੋਰੀ ਬਚਤ ਨੂੰ ਅਨਲੌਕ ਕਰਦੀ ਹੈ।
"ਐਂਡ-ਟੂ-ਐਂਡ 4-ਬਿਟ ਟ੍ਰੇਨਿੰਗ" ਸਿਰਲੇਖ ਵਾਲਾ ਬਲੌਗ ਪੋਸਟ ਅਤੇ 13 ਨਵੰਬਰ ਨੂੰ ਕੰਪਨੀ ਦੀ ਵੈੱਬਸਾਈਟ 'ਤੇ ਪ੍ਰਕਾਸ਼ਿਤ, ਘੱਟ-ਸ਼ੁੱਧਤਾ ਸਿਖਲਾਈ ਦੇ ਪਿੱਛੇ ਸੰਖਿਆਤਮਕ ਵਪਾਰ-ਆਫਸ ਦੁਆਰਾ ਚੱਲਦਾ ਹੈ ਅਤੇ ਇਹ ਦੱਸਦਾ ਹੈ ਕਿ ਟੀਮ ਨੇ ਆਪਣੇ ਇਨਕਲਿੰਗ 2 ਸਮਾਲ ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦਿੰਦੇ ਸਮੇਂ ਉਹਨਾਂ ਦਾ ਪ੍ਰਬੰਧਨ ਕਿਵੇਂ ਕੀਤਾ। ਨਵੀਨਤਮ AI ਵਿਕਾਸ ਦੀ ਪਾਲਣਾ ਕਰਨ ਵਾਲੇ ਪਾਠਕਾਂ ਲਈ, ਪੋਸਟ ਇੰਜੀਨੀਅਰਿੰਗ ਫੈਸਲਿਆਂ 'ਤੇ ਇੱਕ ਦੁਰਲੱਭ ਜਨਤਕ ਦ੍ਰਿਸ਼ ਪੇਸ਼ ਕਰਦੀ ਹੈ ਜੋ ਇਹ ਨਿਰਧਾਰਤ ਕਰਦੀ ਹੈ ਕਿ ਇੱਕ ਫਰੰਟੀਅਰ-ਸਕੇਲ ਸਿਖਲਾਈ ਦੀ ਅਸਲ ਵਿੱਚ ਕੀਮਤ ਕਿੰਨੀ ਹੈ।
ਘੱਟ ਬਿੱਟ ਦਾ ਮਤਲਬ ਤੇਜ਼ ਸਿਖਲਾਈ ਕਿਉਂ ਹੈ
ਇੱਕ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਵਿੱਚ ਵੱਡੀ ਮਾਤਰਾ ਵਿੱਚ ਸੰਖਿਆਵਾਂ ਦੀ ਗਣਨਾ ਅਤੇ ਸਟੋਰ ਕਰਨਾ ਸ਼ਾਮਲ ਹੁੰਦਾ ਹੈ। ਹਰੇਕ ਮੁੱਲ ਲਈ ਘੱਟ ਬਿੱਟਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨ ਨਾਲ ਮੈਮੋਰੀ ਦੀ ਵਰਤੋਂ ਘਟਦੀ ਹੈ ਅਤੇ GPUs ਨੂੰ ਅੰਕਗਣਿਤ ਤੇਜ਼ੀ ਨਾਲ ਕਰਨ ਦਿੰਦਾ ਹੈ। ਲਾਗਤ ਸ਼ੁੱਧਤਾ ਹੈ: ਘੱਟ ਬਿੱਟਾਂ ਦਾ ਮਤਲਬ ਘੱਟ ਪ੍ਰਤੀਨਿਧਤਾਯੋਗ ਸੰਖਿਆਵਾਂ ਹਨ, ਇਸਲਈ ਮੁੱਲਾਂ ਨੂੰ ਵਧੇਰੇ ਹਮਲਾਵਰ ਰੂਪ ਵਿੱਚ ਗੋਲ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ।
ਕੰਪਨੀ ਇੱਕ ਸਧਾਰਨ ਉਦਾਹਰਣ ਦੇ ਨਾਲ ਸਮੱਸਿਆ ਨੂੰ ਦਰਸਾਉਂਦੀ ਹੈ. ਜੇਕਰ ਕੋਈ ਫਾਰਮੈਟ ਸਿਰਫ਼ 3 ਅਤੇ 4 ਨੰਬਰਾਂ ਨੂੰ ਹੀ ਦਰਸਾ ਸਕਦਾ ਹੈ, ਤਾਂ 3.2 ਨੂੰ ਸਟੋਰ ਕਰਨ ਲਈ 3 ਤੱਕ ਰਾਊਂਡਿੰਗ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, 0.2 ਦੀ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਗਲਤੀ ਪੇਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਇੱਕ ਸਿੰਗਲ ਰਾਊਂਡਿੰਗ ਗਲਤੀ ਮਾਮੂਲੀ ਹੈ, ਪਰ ਸਿਖਲਾਈ ਦੇ ਦੌਰਾਨ ਇਹ ਤਰੁੱਟੀਆਂ ਲੇਅਰਾਂ ਅਤੇ ਅਨੁਕੂਲਤਾ ਦੇ ਪੜਾਵਾਂ ਵਿੱਚ ਇਕੱਠੀਆਂ ਹੁੰਦੀਆਂ ਹਨ, ਅਤੇ ਇਹ ਸਿੱਖਣ ਦੀ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਦਖਲ ਦੇ ਸਕਦੀਆਂ ਹਨ।
"ਇਹ ਘੱਟ-ਸ਼ੁੱਧਤਾ ਸਿਖਲਾਈ ਦੀ ਕੇਂਦਰੀ ਚੁਣੌਤੀ ਹੈ: ਅਸੀਂ ਸਿੱਖਣ ਵਿੱਚ ਵਿਘਨ ਪਾਉਣ ਵਾਲੀਆਂ ਗਲਤੀਆਂ ਨੂੰ ਪੇਸ਼ ਕੀਤੇ ਬਿਨਾਂ ਤੇਜ਼ ਗਣਿਤ ਤੋਂ ਕਿਵੇਂ ਲਾਭ ਉਠਾ ਸਕਦੇ ਹਾਂ?" ਕੰਪਨੀ ਨੇ ਪੋਸਟ ਵਿੱਚ ਲਿਖਿਆ.
ਤਿੰਨ ਫਾਰਮੈਟ, ਇੱਕ ਟ੍ਰੇਨਿੰਗ ਰਨ
ਇੱਕ ਸਿੰਗਲ ਸ਼ੁੱਧਤਾ ਪੱਧਰ 'ਤੇ ਪ੍ਰਤੀਬੱਧ ਹੋਣ ਦੀ ਬਜਾਏ, ਥਿੰਕਿੰਗ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਦੇ ਵੱਖ-ਵੱਖ ਪੜਾਵਾਂ 'ਤੇ ਤਿੰਨ ਸੰਖਿਆਤਮਕ ਫਾਰਮੈਟਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੀ ਹੈ: BF16, MXFP8, ਅਤੇ NVFP4। ਹਰੇਕ ਫਾਰਮੈਟ ਵਿੱਚ ਨਿਸ਼ਚਿਤ ਸ਼ੁੱਧਤਾ ਹੁੰਦੀ ਹੈ, ਪਰ ਇਸਦੀ ਗਤੀ ਇਸ ਨੂੰ ਚਲਾਉਣ ਵਾਲੇ ਹਾਰਡਵੇਅਰ 'ਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ।
ਕੰਪਨੀ Nvidia ਦੇ ਗ੍ਰੇਸ ਬਲੈਕਵੈਲ ਅਲਟਰਾ ਪਲੇਟਫਾਰਮ, GB300 'ਤੇ ਸਿਖਲਾਈ ਦਿੰਦੀ ਹੈ, ਜੋ ਖਾਸ ਤੌਰ 'ਤੇ NVFP4 ਵਿੱਚ ਮੈਟ੍ਰਿਕਸ ਗੁਣਾ ਨੂੰ ਤੇਜ਼ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ। ਪੋਸਟ ਦੇ ਅਨੁਸਾਰ, NVFP4 BF16 ਨਾਲੋਂ 3.6 ਗੁਣਾ ਘੱਟ ਬਿੱਟਾਂ ਦੇ ਨਾਲ ਮੁੱਲ ਸਟੋਰ ਕਰਦਾ ਹੈ ਜਦੋਂ ਕਿ GB300 ਸਿਸਟਮਾਂ 'ਤੇ 6 ਗੁਣਾ ਤੇਜ਼ ਚੱਲਦਾ ਹੈ। ਕੱਚੇ ਥ੍ਰਰੂਪੁਟ ਸ਼ਬਦਾਂ ਵਿੱਚ, ਕੰਪਨੀ NVFP4 ਵਿੱਚ ਲਗਭਗ 15 PFLOPS, MXFP8 ਵਿੱਚ 5 PFLOPS, ਅਤੇ BF16 ਵਿੱਚ 2.5 PFLOPS 'ਤੇ GB300 ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਸੂਚੀਬੱਧ ਕਰਦੀ ਹੈ।
ਕੈਚ ਇਹ ਹੈ ਕਿ NVFP4 ਦਾ ਹਮਲਾਵਰ ਸੰਕੁਚਨ ਵਿਆਪਕ ਫਾਰਮੈਟਾਂ ਨਾਲੋਂ ਕਿਤੇ ਜ਼ਿਆਦਾ ਮਾਤਰਾਕਰਣ ਗਲਤੀ ਪੇਸ਼ ਕਰਦਾ ਹੈ। ਇਹ ਗਲਤੀ ਸਿਖਲਾਈ ਦੇ ਕੁਝ ਪੜਾਵਾਂ ਵਿੱਚ ਸਵੀਕਾਰਯੋਗ ਹੈ ਅਤੇ ਦੂਜਿਆਂ ਵਿੱਚ ਅਸਵੀਕਾਰਨਯੋਗ ਹੈ, ਇਸ ਲਈ ਕੰਪਨੀ ਹਰੇਕ ਪੜਾਅ ਨੂੰ ਵੱਖਰੇ ਤੌਰ 'ਤੇ ਮੰਨਦੀ ਹੈ।
ਵੱਖ-ਵੱਖ ਪੜਾਅ, ਵੱਖ-ਵੱਖ ਨਿਯਮ
ਬਲੌਗ ਪੋਸਟ ਸਿਖਲਾਈ ਨੂੰ ਚਾਰ ਪੜਾਵਾਂ ਵਿੱਚ ਵੰਡਦੀ ਹੈ — ਪ੍ਰੀਟ੍ਰੇਨਿੰਗ ਦੇ ਅੱਗੇ ਅਤੇ ਪਿੱਛੇ ਪਾਸ, ਰੀਨਫੋਰਸਮੈਂਟ ਲਰਨਿੰਗ ਸੈਂਪਲਰ, ਅਤੇ RL ਟ੍ਰੇਨਰ — ਅਤੇ ਹਰ ਇੱਕ ਨੂੰ ਗਲਤੀ ਨੂੰ ਘੱਟ ਕਰਨ, ਪੱਖਪਾਤ ਨੂੰ ਘੱਟ ਕਰਨ, ਗਤੀ ਵਧਾਉਣ, ਅਤੇ ਯਾਦਦਾਸ਼ਤ ਦੀ ਵਰਤੋਂ ਨੂੰ ਘਟਾਉਣ ਵਿਚਕਾਰ ਤਰਜੀਹਾਂ ਦਾ ਇੱਕ ਵੱਖਰਾ ਸੰਤੁਲਨ ਨਿਰਧਾਰਤ ਕਰਦਾ ਹੈ।
ਉੱਚ-ਆਵਾਜ਼ ਵਾਲੇ ਕਦਮਾਂ ਵਿੱਚ ਸਪੀਡ ਸਭ ਤੋਂ ਵੱਧ ਮਹੱਤਵ ਰੱਖਦੀ ਹੈ: ਪ੍ਰੀਟ੍ਰੇਨਿੰਗ, ਜੋ ਖਰਬਾਂ ਟੋਕਨਾਂ ਤੋਂ ਵੱਧ ਚੱਲਦੀ ਹੈ, ਅਤੇ RL ਸੈਂਪਲਿੰਗ, ਜੋ ਰੋਲਆਊਟਸ ਦੀ ਵੱਡੀ ਮਾਤਰਾ ਪੈਦਾ ਕਰਦੀ ਹੈ। ਬੈਕਵਰਡ ਪਾਸ, ਹਾਲਾਂਕਿ, ਇੱਕ ਵਿਸ਼ੇਸ਼ ਕੇਸ ਹਨ। ਪੋਸਟ ਦੱਸਦੀ ਹੈ ਕਿ ਇੱਕ ਬੈਚ ਵਿੱਚ ਬਹੁਤ ਸਾਰੇ ਟੋਕਨਾਂ ਉੱਤੇ ਔਸਤ ਬੈਕਵਰਡ ਪਾਸ ਕਰਦਾ ਹੈ, ਜੋ ਕਿ ਬੇਤਰਤੀਬੇ ਤੌਰ 'ਤੇ ਵੰਡੀਆਂ ਗਈਆਂ ਰਾਊਂਡਿੰਗ ਗਲਤੀਆਂ ਦੇ ਪ੍ਰਭਾਵ ਨੂੰ ਘੱਟ ਕਰਦਾ ਹੈ - ਪਰ ਉਹ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਪੱਖਪਾਤ ਲਈ ਬਹੁਤ ਜ਼ਿਆਦਾ ਸੰਵੇਦਨਸ਼ੀਲ ਹੁੰਦੇ ਹਨ, ਇਹ ਵਿਵਸਥਿਤ ਡ੍ਰਾਇਫਟ ਹੁੰਦਾ ਹੈ ਜਦੋਂ ਮੁੱਲ ਲਗਾਤਾਰ ਇੱਕ ਦਿਸ਼ਾ ਵਿੱਚ ਗੋਲ ਹੁੰਦੇ ਹਨ। ਬੇਤਰਤੀਬ ਸ਼ੋਰ ਦੇ ਉਲਟ, ਇਹ ਪੱਖਪਾਤ ਲੇਅਰਾਂ, ਨਮੂਨਿਆਂ ਅਤੇ ਸਿਖਲਾਈ ਦੇ ਪੜਾਵਾਂ ਵਿੱਚ ਮਿਸ਼ਰਤ ਹੋ ਸਕਦਾ ਹੈ।
ਕੰਪਨੀ ਦਾ ਕਹਿਣਾ ਹੈ ਕਿ ਉਸਨੇ ਇਨਕਲਿੰਗ 2 ਸਮਾਲ ਨੂੰ ਸਿਖਲਾਈ ਦਿੰਦੇ ਹੋਏ ਇਹਨਾਂ ਟ੍ਰੇਡ-ਆਫਾਂ ਦਾ ਪ੍ਰਬੰਧਨ ਕੀਤਾ, ਜੋ ਕਿ ਇਸ ਮਹੀਨੇ ਦੇ ਸ਼ੁਰੂ ਵਿੱਚ ਇੱਕ ਅਪਾਚੇ 2.0 ਲਾਇਸੈਂਸ ਦੇ ਤਹਿਤ ਜਾਰੀ ਕੀਤਾ ਗਿਆ ਓਪਨ-ਵੇਟ ਮਿਸ਼ਰਣ-ਔਫ-ਐਕਸਪਰਟਸ ਮਾਡਲ ਹੈ। ਪੋਸਟ ਇਹ ਦਾਅਵਾ ਨਹੀਂ ਕਰਦੀ ਹੈ ਕਿ ਰਨ ਦਾ ਹਰ ਹਿੱਸਾ 4 ਬਿੱਟਾਂ ਵਿੱਚ ਚੱਲਿਆ; ਇਸ ਦੀ ਬਜਾਏ, ਇਹ ਇੱਕ ਅੰਤ-ਤੋਂ-ਅੰਤ ਰਣਨੀਤੀ ਦਾ ਵਰਣਨ ਕਰਦਾ ਹੈ ਜਿਸ ਵਿੱਚ ਹਰੇਕ ਹਿੱਸੇ ਦੀ ਸ਼ੁੱਧਤਾ ਨੂੰ ਮੂਲ ਰੂਪ ਵਿੱਚ ਵਿਰਾਸਤ ਵਿੱਚ ਪ੍ਰਾਪਤ ਕਰਨ ਦੀ ਬਜਾਏ ਜਾਣਬੁੱਝ ਕੇ ਚੁਣਿਆ ਜਾਂਦਾ ਹੈ।
ਘੱਟ-ਸ਼ੁੱਧਤਾ ਸਿਖਲਾਈ ਮਾਅਨੇ ਕਿਉਂ ਰੱਖਦੇ ਹਨ
ਇੱਥੇ ਅਰਥ ਸ਼ਾਸਤਰ ਸਿੱਧੇ ਹਨ. ਕੰਪਿਊਟ ਫਰੰਟੀਅਰ ਮਾਡਲ ਵਿਕਾਸ ਵਿੱਚ ਪ੍ਰਮੁੱਖ ਲਾਗਤ ਹੈ, ਅਤੇ ਹਾਰਡਵੇਅਰ ਵਿਕਰੇਤਾ ਹਰ ਨਵੀਂ ਚਿੱਪ ਪੀੜ੍ਹੀ ਵਿੱਚ ਘੱਟ-ਸ਼ੁੱਧਤਾ ਪ੍ਰਵੇਗ ਜੋੜਨ ਲਈ ਦੌੜ ਰਹੇ ਹਨ। ਐਨਵੀਡੀਆ ਨੇ ਆਪਣੇ ਬਲੈਕਵੈਲ ਅਲਟਰਾ ਪਲੇਟਫਾਰਮ ਵਿੱਚ NVFP4 ਸਮਰਥਨ ਨੂੰ ਇੱਕ ਸਿਰਲੇਖ ਵਿਸ਼ੇਸ਼ਤਾ ਦੇ ਤੌਰ 'ਤੇ ਰੱਖਿਆ ਹੈ, ਅਤੇ AMD, Google, ਅਤੇ ਹੋਰਾਂ ਦੇ ਵਿਰੋਧੀ ਐਕਸੀਲੇਟਰ ਆਪਣੇ ਖੁਦ ਦੇ ਘਟੇ-ਸ਼ੁੱਧ-ਸ਼ੁੱਧਤਾ ਫਾਰਮੈਟਾਂ ਦਾ ਇਸ਼ਤਿਹਾਰ ਦਿੰਦੇ ਹਨ।
ਜੇਕਰ ਖੋਜ ਪ੍ਰਯੋਗਸ਼ਾਲਾਵਾਂ ਵਧੇਰੇ ਸਿਖਲਾਈ ਪਾਈਪਲਾਈਨ ਨੂੰ 4-ਬਿੱਟ ਅੰਕਗਣਿਤ ਵਿੱਚ ਸੁਰੱਖਿਅਤ ਢੰਗ ਨਾਲ ਧੱਕ ਸਕਦੀਆਂ ਹਨ, ਤਾਂ ਉਹੀ ਹਾਰਡਵੇਅਰ ਬਜਟ ਵਧੇਰੇ ਪ੍ਰਯੋਗਾਂ, ਵਧੇਰੇ ਟੋਕਨਾਂ, ਜਾਂ ਵੱਡੇ ਮਾਡਲਾਂ ਨੂੰ ਖਰੀਦਦਾ ਹੈ। ਇਹ ਇੱਕ ਮਾਰਕੀਟ ਵਿੱਚ ਇੱਕ ਅਰਥਪੂਰਨ ਫਾਇਦਾ ਹੈ ਜਿੱਥੇ ਅਤਿ-ਆਧੁਨਿਕ ਐਕਸੀਲੇਟਰਾਂ ਤੱਕ ਪਹੁੰਚ ਬਹੁਤ ਘੱਟ ਅਤੇ ਮਹਿੰਗੀ ਹੈ। ਇਹ ਉਦਯੋਗ ਦੀਆਂ ਕੁਸ਼ਲਤਾ ਤਕਨੀਕਾਂ ਜਿਵੇਂ ਕਿ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ-ਜਾਗਰੂਕ ਅਨੁਮਾਨ ਅਤੇ ਸੱਟੇਬਾਜੀ ਡੀਕੋਡਿੰਗ ਵੱਲ ਵਧਣ ਦੇ ਨਾਲ ਵੀ ਮਿਸ਼ਰਤ ਹੁੰਦਾ ਹੈ, ਜੋ ਦੋਵੇਂ ਸਥਿਰ ਹਾਰਡਵੇਅਰ ਤੋਂ ਵਧੇਰੇ ਸਮਰੱਥਾ ਨੂੰ ਨਿਚੋੜਦੇ ਹਨ।
ਪੋਸਟ ਇਸ ਗੱਲ ਦਾ ਵੀ ਸੰਕੇਤ ਹੈ ਕਿ ਖੋਜ ਭਾਈਚਾਰਾ ਕਿੱਥੇ ਜਾ ਰਿਹਾ ਹੈ। ਘੱਟ-ਸ਼ੁੱਧਤਾ ਦੀ ਸਿਖਲਾਈ ਨੂੰ ਲੰਬੇ ਸਮੇਂ ਤੋਂ ਅਨੁਮਾਨ ਤੋਂ ਪਰੇ ਕਿਸੇ ਵੀ ਚੀਜ਼ ਲਈ ਬਹੁਤ ਜੋਖਮ ਭਰਿਆ ਮੰਨਿਆ ਜਾਂਦਾ ਸੀ, ਕਿਉਂਕਿ ਰਾਊਂਡਿੰਗ ਗਲਤੀਆਂ ਨੂੰ ਸਿੱਖਣ ਨੂੰ ਭ੍ਰਿਸ਼ਟ ਕਰਨ ਲਈ ਮੰਨਿਆ ਜਾਂਦਾ ਸੀ। ਧਿਆਨ ਨਾਲ ਪੜਾਅ-ਦਰ-ਪੜਾਅ ਵਿਸ਼ਲੇਸ਼ਣ - ਜਿਵੇਂ ਕਿ ਇੱਕ ਥਿੰਕਿੰਗ ਮਸ਼ੀਨ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤੀ ਗਈ ਹੈ - ਇਹ ਹੈ ਕਿ ਇਹ ਧਾਰਨਾ ਕਿਵੇਂ ਪਰਖੀ ਜਾਂਦੀ ਹੈ ਅਤੇ, ਜਿੱਥੇ ਸੰਭਵ ਹੋਵੇ, ਉਲਟਾ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ।
ਬਲੌਗ ਪੋਸਟ ਤੋਂ ਓਪਨ ਵੇਟਸ ਤੱਕ
ਜੋ ਖੁਲਾਸਾ ਧਿਆਨ ਦੇਣ ਯੋਗ ਬਣਾਉਂਦਾ ਹੈ ਉਹ ਇਹ ਹੈ ਕਿ ਇਹ ਪੂਰੀ ਤਰ੍ਹਾਂ ਸਿਧਾਂਤਕ ਨਹੀਂ ਹੈ। ਕੰਪਨੀ ਨੇ ਇਸ ਤਕਨੀਕ ਨੂੰ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਉਸ ਮਾਡਲ ਨਾਲ ਜੋੜਿਆ ਹੈ ਜਿਸ ਨੂੰ ਅਸਲ ਵਿੱਚ ਭੇਜਿਆ ਗਿਆ ਹੈ। ਇਨਕਲਿੰਗ 2 ਸਮਾਲ ਨੂੰ ਨਵੰਬਰ ਦੇ ਸ਼ੁਰੂ ਵਿੱਚ ਡਾਊਨਲੋਡ ਕਰਨ ਯੋਗ ਵਜ਼ਨ ਦੇ ਨਾਲ ਜਾਰੀ ਕੀਤਾ ਗਿਆ ਸੀ, ਅਤੇ ਨਵੀਂ ਪੋਸਟ ਇਸਦੀ ਸਿਖਲਾਈ ਦੇ ਪਿੱਛੇ ਸੰਖਿਆਤਮਕ ਰਣਨੀਤੀ ਦੀ ਵਿਆਖਿਆ ਕਰਦੀ ਹੈ. ਪ੍ਰੈਕਟੀਸ਼ਨਰ ਜੋ ਮਾਡਲ ਨੂੰ ਡਾਊਨਲੋਡ ਕਰਦੇ ਹਨ, ਅਸਲ ਵਿੱਚ, ਕੰਪਨੀ ਦੁਆਰਾ ਵਰਣਨ ਕੀਤੀ ਗਈ ਘੱਟ-ਸ਼ੁੱਧਤਾ ਵਿਧੀ ਦੀ ਇੱਕ ਕਾਰਜਕਾਰੀ ਕਲਾਤਮਕਤਾ ਪ੍ਰਾਪਤ ਕਰ ਰਹੇ ਹਨ।
ਥਿੰਕਿੰਗ ਮਸ਼ੀਨਾਂ ਇੱਕ ਫਰੰਟੀਅਰ-ਸਕੇਲ ਲੈਬ ਲਈ ਅਸਧਾਰਨ ਤੌਰ 'ਤੇ ਖੁੱਲ੍ਹੀਆਂ ਹਨ, ਇਸਦੇ ਮਾਡਲ ਰੀਲੀਜ਼ਾਂ ਦੇ ਨਾਲ ਤਕਨੀਕੀ ਬਲੌਗ ਪੋਸਟਾਂ ਨੂੰ ਪ੍ਰਕਾਸ਼ਤ ਕਰਦੀਆਂ ਹਨ। ਇਹ ਪਾਰਦਰਸ਼ਤਾ ਬਾਹਰੀ ਖੋਜਕਰਤਾਵਾਂ ਨੂੰ ਕੁਝ ਦੁਰਲੱਭ ਪ੍ਰਦਾਨ ਕਰਦੀ ਹੈ: ਇੱਕ ਦਸਤਾਵੇਜ਼ੀ, ਪੁਨਰ-ਉਤਪਾਦਨ ਯੋਗ ਖਾਤਾ ਕਿ ਕਿਵੇਂ ਇੱਕ ਆਧੁਨਿਕ ਸਿਖਲਾਈ ਰਨ ਮਿਸ਼ਰਤ-ਸ਼ੁੱਧਤਾ ਗਣਿਤ ਦੀਆਂ ਗੜਬੜ ਵਾਲੀਆਂ ਸੰਖਿਆਤਮਕ ਹਕੀਕਤਾਂ ਨੂੰ ਸੰਭਾਲਦੀ ਹੈ।
ਵਿਆਪਕ ਉਦਯੋਗ ਲਈ, ਸੰਦੇਸ਼ ਇਹ ਹੈ ਕਿ 4-ਬਿੱਟ ਸਿਖਲਾਈ ਖੋਜ ਉਤਸੁਕਤਾ ਤੋਂ ਉਤਪਾਦਨ ਤਕਨੀਕ ਤੱਕ ਚਲੀ ਗਈ ਹੈ। ਜਿਵੇਂ ਕਿ ਹੋਰ ਪ੍ਰਯੋਗਸ਼ਾਲਾਵਾਂ ਸਮਾਨ ਰਣਨੀਤੀਆਂ ਅਪਣਾਉਂਦੀਆਂ ਹਨ, ਸਿਧਾਂਤਕ ਹਾਰਡਵੇਅਰ ਸਿਖਰ ਪ੍ਰਦਰਸ਼ਨ ਅਤੇ ਅਨੁਭਵੀ ਸਿਖਲਾਈ ਥ੍ਰਰੂਪੁਟ ਵਿਚਕਾਰ ਪਾੜਾ ਘੱਟ ਜਾਵੇਗਾ — ਅਤੇ ਸਿਖਲਾਈ ਦੇ ਸਮਰੱਥ ਮਾਡਲਾਂ ਦੀ ਲਾਗਤ ਘਟਦੀ ਰਹੇਗੀ।
AI ਤੋਂ ਅੱਗੇ ਰਹੋ
ਫਰੰਟੀਅਰ ਮਾਡਲਾਂ ਦੇ ਪਿੱਛੇ ਦੀਆਂ ਤਕਨੀਕਾਂ ਹਫਤਾਵਾਰੀ ਵਿਕਸਤ ਹੁੰਦੀਆਂ ਹਨ। ਖੇਤਰ ਨੂੰ ਆਕਾਰ ਦੇਣ ਵਾਲੀ ਖੋਜ 'ਤੇ ਸਪੱਸ਼ਟ, ਸਰੋਤ ਰਿਪੋਰਟਿੰਗ ਲਈ AI Buzz Wire ਦਾ ਅਨੁਸਰਣ ਕਰੋ।
ਹੋਰ AI ਖਬਰਾਂ ਪੜ੍ਹੋ →
