ਮਾਹਿਰਾਂ ਦੇ ਡਿਜ਼ਾਈਨ ਦਾ ਇੱਕ ਛੋਟਾ-ਪਰ-ਚੌੜਾ ਮਿਸ਼ਰਣ
MarkTechPost ਵਿੱਚ ਵਿਸਤ੍ਰਿਤ ਬ੍ਰੇਕਡਾਊਨ ਦੇ ਅਨੁਸਾਰ, Instella-MoE-16B-A3B ਇੱਕ ਡੀਕੋਡਰ-ਓਨਲੀ MoE ਮਾਡਲ ਹੈ ਜਿਸ ਵਿੱਚ 16 ਬਿਲੀਅਨ ਕੁੱਲ ਪੈਰਾਮੀਟਰ ਹਨ ਜੋ ਸਿਰਫ਼ 2.8 ਬਿਲੀਅਨ ਪ੍ਰਤੀ ਟੋਕਨ ਨੂੰ ਸਰਗਰਮ ਕਰਦਾ ਹੈ। ਇਸ ਦੀਆਂ 27 ਲੇਅਰਾਂ ਵਿੱਚੋਂ ਹਰ ਇੱਕ 2048 ਦੇ ਲੁਕਵੇਂ ਆਕਾਰ, 16 ਧਿਆਨ ਦੇ ਸਿਰ, ਅਤੇ ਇੱਕ 128,896-ਟੋਕਨ ਸ਼ਬਦਾਵਲੀ ਦੇ ਨਾਲ 2 ਸ਼ੇਅਰ ਕੀਤੇ ਮਾਹਰ ਅਤੇ 64 ਦੇ ਪੂਲ ਵਿੱਚੋਂ ਚੁਣੇ ਗਏ 6 ਰੂਟ ਕੀਤੇ ਮਾਹਰਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੀ ਹੈ। ਇੱਕ ਮਲਟੀ-ਟੋਕਨ ਪੂਰਵ-ਅਨੁਮਾਨ ਉਦੇਸ਼ ਪੂਰਵ-ਸਿਖਲਾਈ ਅਤੇ ਮੱਧ-ਸਿਖਲਾਈ ਦੋਵਾਂ ਦੌਰਾਨ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ।ਉਹ ਸਪਾਰਸ ਆਰਕੀਟੈਕਚਰ - ਜਿੱਥੇ ਹਰੇਕ ਟੋਕਨ ਲਈ ਨੈਟਵਰਕ ਦਾ ਇੱਕ ਛੋਟਾ ਜਿਹਾ ਟੁਕੜਾ "ਜਾਗਦਾ ਹੈ" - ਸਸਤੇ-ਟੂ-ਰਨ ਓਪਨ ਮਾਡਲਾਂ ਦੇ ਪਿੱਛੇ ਉਹੀ ਕੁਸ਼ਲਤਾ ਤਰਕ ਹੈ ਜਿਸ ਨੇ ਪਿਛਲੇ ਸਾਲ ਵਿੱਚ ਮਾਰਕੀਟ ਨੂੰ ਮੁੜ ਆਕਾਰ ਦਿੱਤਾ ਹੈ। AMD ਨੇ ਨਮੋਟ੍ਰੋਨ-CC-v2, MegaMath, FineMath, RefineCode, ਅਤੇ TxT360 ਸਮੇਤ ਓਪਨ ਕਾਰਪੋਰਾ ਤੋਂ ਖਿੱਚੇ ਗਏ 7.1 ਟ੍ਰਿਲੀਅਨ ਟੋਕਨ 'ਤੇ ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦਿੱਤੀ, ਫਿਰ ਡੋਲਮਾ3 ਡੌਲਮਿਨੋ 100B 'ਤੇ ਇੱਕ ਮੱਧ-ਸਿਖਲਾਈ ਪੜਾਅ ਨੂੰ ਤਿੰਨ ਡਾਟਾ ਵੇਰੀਐਂਟਸ ਵਿੱਚ ਚਲਾਇਆ ਜੋ ਕਿ ਇੱਕ ਦੂਜੇ ਦੇ ਭਾਰ ਨਾਲ ਮਿਲਾ ਦਿੱਤਾ ਗਿਆ ਸੀ। YaRN ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਇੱਕ ਲੰਮਾ-ਸੰਦਰਭ ਪੜਾਅ ਵਿੰਡੋ ਨੂੰ 4K ਤੋਂ 64K ਟੋਕਨ ਤੱਕ ਫੈਲਾਉਂਦਾ ਹੈ।
ਦੋ ਪ੍ਰਣਾਲੀਆਂ-ਪੱਧਰ ਦੀਆਂ ਨਵੀਨਤਾਵਾਂ
ਰੀਲੀਜ਼ ਵਿੱਚ ਦੋ ਢਾਂਚਾਗਤ ਵਿਕਲਪ ਹਨ ਜੋ AMD ਸਾਰਥਕ ਇੰਜੀਨੀਅਰਿੰਗ ਜਿੱਤਾਂ ਵਜੋਂ ਉਜਾਗਰ ਕਰਦਾ ਹੈ। ਪਹਿਲਾ ਹੈ ਗੇਟਿਡ ਮਲਟੀ-ਹੈੱਡ ਲੇਟੈਂਟ ਅਟੈਂਸ਼ਨ (ਗੇਟਿਡ ਐਮ.ਐਲ.ਏ.), ਜੋ ਮਲਟੀ-ਹੈੱਡ ਲੇਟੈਂਟ ਅਟੈਂਸ਼ਨ ਵਿੱਚ ਇੱਕ ਹਲਕੇ ਸਿੱਖਣ ਵਾਲੇ ਆਉਟਪੁੱਟ ਗੇਟ ਨੂੰ ਜੋੜਦਾ ਹੈ। ਇੱਕ ਸਮਰਪਿਤ ਰੇਖਿਕ ਪ੍ਰੋਜੈਕਸ਼ਨ ਇੱਕ ਇਨਪੁਟ-ਕੰਡੀਸ਼ਨਡ ਗੇਟ ਪ੍ਰਾਪਤ ਕਰਦਾ ਹੈ ਜੋ ਆਉਟਪੁੱਟ ਪ੍ਰੋਜੈਕਸ਼ਨ ਤੋਂ ਪਹਿਲਾਂ ਗੁਣਾਤਮਕ ਤੌਰ 'ਤੇ ਲਾਗੂ ਹੁੰਦਾ ਹੈ।
ਦੂਜੀ, FarSkip-Collective, ਇੱਕ ਕਨੈਕਟੀਵਿਟੀ ਸਕੀਮ ਹੈ ਜੋ ਗਣਨਾ ਦੇ ਨਾਲ ਮਾਹਰ-ਸਮਾਂਤਰ ਸੰਚਾਰ ਨੂੰ ਓਵਰਲੈਪ ਕਰਦੇ ਹੋਏ, MoE ਅਤੇ ਧਿਆਨ ਦੀਆਂ ਪਰਤਾਂ ਵਿੱਚ ਪੁਰਾਣੀ ਅਤੇ ਅੰਸ਼ਕ ਸਰਗਰਮੀਆਂ ਨੂੰ ਪਾਸ ਕਰਦੀ ਹੈ। AMD ਇੱਕ 12.7% ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ ਸਪੀਡਅਪ ਅਤੇ ਇੱਕ ਪਹਿਲੇ ਟੋਕਨ ਲਈ ਸਮੇਂ ਵਿੱਚ 39.2% ਤੱਕ ਦੀ ਕਮੀ** ਦੀ ਰਿਪੋਰਟ ਕਰਦਾ ਹੈ ਜਦੋਂ ਮਾਹਰ ਸਮਾਨਤਾ ਨਾਲ ਸੇਵਾ ਕਰਦੇ ਹੋ। ਕੀਮਤ-ਪ੍ਰਦਰਸ਼ਨ 'ਤੇ ਆਪਣੇ ਹਾਰਡਵੇਅਰ ਨੂੰ ਪਿਚ ਕਰਨ ਵਾਲੀ ਕੰਪਨੀ ਲਈ, ਇਹ ਬਿਲਕੁਲ ਉਹ ਨੰਬਰ ਹਨ ਜੋ ਇੱਕ ਖਰੀਦਦਾਰ ਦੇਖਣਾ ਚਾਹੁੰਦਾ ਹੈ।
ਇੱਕ ਪੂਰੀ ਤਰ੍ਹਾਂ ਖੁੱਲ੍ਹੇ ਮਾਡਲ ਲਈ ਮਜ਼ਬੂਤ ਬੈਂਚਮਾਰਕ
ਬੇਸ ਚੈਕਪੁਆਇੰਟ 'ਤੇ, Instella-MoE ਸਾਰੇ ਮੁਲਾਂਕਣਾਂ ਵਿੱਚ ਔਸਤ 76.7 ਹੈ, ਜਿਸ ਨੂੰ AMD ਪੂਰੀ ਤਰ੍ਹਾਂ ਖੁੱਲ੍ਹੇ ਮਾਡਲਾਂ ਵਿੱਚ ਸਭ ਤੋਂ ਮਜ਼ਬੂਤ ਨਤੀਜਾ ਕਹਿੰਦਾ ਹੈ। ਇਹ ਇਸਨੂੰ ਮੂਨਲਾਈਟ-16B-A3B (76.2), SmolLM3-3B-ਬੇਸ (70.5), OLMo-3-7B (70.1), ਅਤੇ OLMoE-1B-7B (61.9) ਤੋਂ ਅੱਗੇ ਰੱਖਦਾ ਹੈ, ਹਾਲਾਂਕਿ ਇਹ ਅਜੇ ਵੀ Qwen3.5-4B-ਬੇਸ (79.5) ਤੋਂ ਅੱਗੇ ਹੈ। ਇਹ 86.5 ਦੇ ਸਕੋਰ ਨਾਲ WinoGrande 'ਤੇ ਅੱਗੇ ਹੈ ਅਤੇ HumanEval+ 'ਤੇ 65.7 ਪੋਸਟ ਕਰਦਾ ਹੈ। ਲੰਬੇ ਸੰਦਰਭ ਵਾਲੇ ਕੰਮਾਂ ਲਈ, ਇਹ ਹੈਲਮੇਟ 'ਤੇ ਔਸਤਨ 41.5 ਅਤੇ ਰੂਲਰ 'ਤੇ 79.4 ਹੈ।
ਪੋਸਟ-ਟ੍ਰੇਨਿੰਗ ਮਾਡਲ ਨੂੰ ਹੋਰ ਤਿੱਖਾ ਕਰਦੀ ਹੈ। ਔਸਤ ਸਕੋਰ ਔਲਮੋ3-7B-ਥਿੰਕ (71.97), Gemma-4-E4B ਥਿੰਕ (70.47), ਅਤੇ Qwen3.394) ਨੂੰ ਪਛਾੜਦੇ ਹੋਏ, DPO ਅਤੇ "Think" ਸੰਰਚਨਾ ਵਿੱਚ 73.22 ਦੀ ਨਿਗਰਾਨੀ ਦੇ ਬਾਅਦ 71.58 ਤੋਂ ਵੱਧ ਕੇ 72.67 ਤੱਕ ਪਹੁੰਚ ਗਏ। ਹਦਾਇਤਾਂ ਦੀ ਪਾਲਣਾ ਕਰਨ 'ਤੇ, IFEval 77.08 ਤੋਂ 83.70 ਤੱਕ ਵਧਦਾ ਹੈ।
ਪੋਸਟ-ਟ੍ਰੇਨਿੰਗ ਵਿਅੰਜਨ ਆਪਣੇ ਆਪ ਵਿੱਚ ਧਿਆਨ ਦੇਣ ਯੋਗ ਹੈ. Dolci-Think-SFT-7B ਅਤੇ Nemotron ਮਿਸ਼ਰਣ 'ਤੇ SFT ਤੋਂ ਬਾਅਦ, AMD ਰਾਊਟਰ ਬਿਆਸ ਅੱਪਡੇਟ ਦੇ ਨਾਲ DPO ਚਲਾਉਂਦਾ ਹੈ ਅਤੇ ਡਿਗਰੇਡੇਸ਼ਨ ਤੋਂ ਬਚਣ ਲਈ ਸਹਾਇਕ ਲੋਡ-ਸੰਤੁਲਨ ਨੁਕਸਾਨ ਨੂੰ ਅਸਮਰੱਥ ਬਣਾਇਆ ਗਿਆ ਹੈ। ਰੀਇਨਫੋਰਸਮੈਂਟ ਲਰਨਿੰਗ ਫਿਰ AMD ਦੇ ਮਾਈਲਸ ਫਰੇਮਵਰਕ ਦੇ ਅੰਦਰ ਅੱਗੇ ਵਧਦੀ ਹੈ: ਹਦਾਇਤਾਂ ਦੇ 1,400 ਪੜਾਅ-ਅਨੁਸਾਰੀ RLVR, ਇਸ ਤੋਂ ਬਾਅਦ ਮਲਟੀ-ਟੀਚਰ ਆਨ-ਪਾਲਿਸੀ ਡਿਸਟਿਲੇਸ਼ਨ ਜੋ ਗਣਿਤ ਜਾਂ ਕੋਡ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਦਾ ਬਲੀਦਾਨ ਕੀਤੇ ਬਿਨਾਂ ਲਾਭ ਨੂੰ ਵਾਪਸ ਜੋੜਦਾ ਹੈ।
ਲਾਇਸੈਂਸਿੰਗ ਕੈਚ
ਇੱਥੇ ਇੱਕ ਚੇਤਾਵਨੀ ਹੈ ਜੋ ਵਪਾਰਕ ਉਪਭੋਗਤਾਵਾਂ ਲਈ ਮਹੱਤਵਪੂਰਨ ਹੈ. ਮਾਡਲ ਦਾ ਵਜ਼ਨ ਰਿਸਰਚਰੇਲ ਲਾਇਸੰਸ ਦੇ ਤਹਿਤ ਭੇਜਿਆ ਜਾਂਦਾ ਹੈ, ਜੋ ਸਿਰਫ਼ ਅਕਾਦਮਿਕ ਅਤੇ ਖੋਜ ਉਦੇਸ਼ਾਂ ਲਈ ਵਰਤੋਂ ਨੂੰ ਸੀਮਤ ਕਰਦਾ ਹੈ, ਇਸਲਈ Instella-MoE ਉਤਪਾਦਨ ਤੈਨਾਤੀਆਂ ਲਈ ਇੱਕ ਡਰਾਪ-ਇਨ ਮਾਡਲ ਨਹੀਂ ਹੈ। ਸਿਖਲਾਈ ਕੋਡਬੇਸ, ਹਾਲਾਂਕਿ, MIT ਲਾਇਸੰਸਸ਼ੁਦਾ ਹੈ, ਅਤੇ ਇਹ ਦਲੀਲ ਨਾਲ ਵਧੇਰੇ ਮੁੜ ਵਰਤੋਂ ਯੋਗ ਸੰਪਤੀ ਹੈ — ਇਹ ਹੋਰ ਲੈਬਾਂ ਨੂੰ AMD ਸਿਲੀਕਾਨ 'ਤੇ ਸਿਖਲਾਈ ਲਈ ਇੱਕ ਠੋਸ ਬਲੂਪ੍ਰਿੰਟ ਦਿੰਦਾ ਹੈ।
AMD ਨੇ ਹਰ ਸਿਖਲਾਈ ਪੜਾਅ, ਡੇਟਾ ਮਿਸ਼ਰਣਾਂ, ਸਿਖਲਾਈ ਸੰਰਚਨਾਵਾਂ, ਅਤੇ ਇੱਕ ਹੱਗਿੰਗ ਫੇਸ ਸੰਗ੍ਰਹਿ, ਇੱਕ GitHub ਰਿਪੋਜ਼ਟਰੀ, ਅਤੇ ਇਸਦੇ ROCm ਬਲੌਗ ਵਿੱਚ ਅਨੁਮਾਨ ਕੋਡ ਨੂੰ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤਾ ਹੈ। ਖੁੱਲੇਪਨ ਦਾ ਉਹ ਪੱਧਰ — ਸਿਖਲਾਈ-ਪੜਾਅ-ਦਰ-ਸਿਖਲਾਈ-ਪੜਾਅ, ਨਾ ਕਿ ਸਿਰਫ਼ ਇੱਕ ਅੰਤਮ ਜਾਂਚ-ਪੁਆਇੰਟ — ਉਹ ਹੈ ਜੋ ਇੱਕ ਆਮ ਓਪਨ-ਵੇਟ ਤੋਂ ਇੱਕ "ਪੂਰੀ ਤਰ੍ਹਾਂ ਖੁੱਲ੍ਹੀ" ਰੀਲੀਜ਼ ਨੂੰ ਵੱਖਰਾ ਕਰਦਾ ਹੈ।
ਇਹ ਮਾਪਦੰਡਾਂ ਤੋਂ ਪਰੇ ਕਿਉਂ ਹੈ
ਰੀਲੀਜ਼ ਦਾ ਸਬਟੈਕਸਟ ਹਾਰਡਵੇਅਰ ਮੁਕਾਬਲਾ ਹੈ। ਐਨਵੀਡੀਆ ਦਾ CUDA ਈਕੋਸਿਸਟਮ ਅਤੇ H100-ਕਲਾਸ GPU ਫਰੰਟੀਅਰ ਮਾਡਲ ਸਿਖਲਾਈ ਲਈ ਡਿਫੌਲਟ ਸਬਸਟਰੇਟ ਰਹੇ ਹਨ, ਅਤੇ ਚੁਣੌਤੀਆਂ ਨੇ ਇਹ ਸਾਬਤ ਕਰਨ ਲਈ ਕਈ ਸਾਲ ਬਿਤਾਏ ਹਨ ਕਿ ਉਹਨਾਂ ਦੇ ਐਕਸਲੇਟਰ ਪੂਰੇ ਸਿਖਲਾਈ ਸਟੈਕ ਨੂੰ ਸੰਭਾਲ ਸਕਦੇ ਹਨ। Instella-MoE ਇੱਕ ਭਰੋਸੇਮੰਦ ਆਰਟੀਫੈਕਟ ਹੈ ਜੋ AMD ਦੀ Instinct ਲਾਈਨ - ਪਹਿਲਾਂ ਹੀ ਹਾਈਪਰਸਕੇਲਰ ਅਤੇ ਰਾਸ਼ਟਰੀ ਲੈਬਾਂ ਦੁਆਰਾ ਪੈਮਾਨੇ 'ਤੇ ਤੈਨਾਤ ਕੀਤੀ ਗਈ ਹੈ - ਅਨੁਮਾਨ ਵਰਕਲੋਡ ਤੋਂ ਵੱਧ ਕਰ ਸਕਦੀ ਹੈ। ਜੇਕਰ AMD ਆਪਣੇ ਖੁਦ ਦੇ ਹਾਰਡਵੇਅਰ 'ਤੇ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਪ੍ਰਤੀਯੋਗੀ ਓਪਨ ਮਾਡਲਾਂ ਦਾ ਉਤਪਾਦਨ ਜਾਰੀ ਰੱਖ ਸਕਦਾ ਹੈ, ਤਾਂ ਇਹ AI ਕੰਪਿਊਟ ਮਾਰਕੀਟ 'ਤੇ Nvidia ਦੀ ਪਕੜ ਨੂੰ ਤੋੜਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰ ਰਹੇ ਖਰੀਦਦਾਰਾਂ ਲਈ ਕੇਸ ਨੂੰ ਮਜ਼ਬੂਤ ਕਰਦਾ ਹੈ।
ਖੋਜਕਰਤਾਵਾਂ ਲਈ, ਅਪੀਲ ਪਾਰਦਰਸ਼ਤਾ ਹੈ। ਪੂਰੀ ਤਰ੍ਹਾਂ ਖੁੱਲ੍ਹੀਆਂ ਰੀਲੀਜ਼ਾਂ ਜੋ ਡੇਟਾ ਮਿਸ਼ਰਣ, ਮਿਡ-ਟ੍ਰੇਨਿੰਗ ਮਿਸ਼ਰਣ, ਡਿਸਟਿਲੇਸ਼ਨ ਰਣਨੀਤੀ, ਅਤੇ RL ਪਾਠਕ੍ਰਮ ਦਾ ਦਸਤਾਵੇਜ਼ ਬਣਾਉਂਦੀਆਂ ਹਨ, ਅਤੇ ਉਹ ਕਮਿਊਨਿਟੀ ਨੂੰ ਆਡਿਟ ਕਰਨ ਅਤੇ ਦਾਅਵਿਆਂ ਨੂੰ ਦੁਬਾਰਾ ਤਿਆਰ ਕਰਨ ਦਿੰਦੇ ਹਨ ਨਾ ਕਿ ਇਸਦੇ ਲਈ ਲੈਬ ਦਾ ਸ਼ਬਦ ਲੈਣ ਦੀ ਬਜਾਏ। Instella-MoE ਇੱਕ ਛੋਟੇ ਪਰ ਵਧ ਰਹੇ ਰੋਸਟਰ ਵਿੱਚ ਸ਼ਾਮਲ ਹੁੰਦਾ ਹੈ — ਜਿਸ ਵਿੱਚ AMD ਦੇ ਆਪਣੇ ਪੁਰਾਣੇ Instella ਸੰਘਣੇ ਮਾਡਲ ਸ਼ਾਮਲ ਹਨ — ਉਸ ਮਿਆਰ ਨੂੰ ਅੱਗੇ ਵਧਾਉਂਦੇ ਹੋਏ।
AI ਤੋਂ ਅੱਗੇ ਰਹੋ
ਇਸ ਤਰ੍ਹਾਂ ਦੀ ਡੂੰਘੀ ਤਕਨੀਕੀ ਕਵਰੇਜ ਚਾਹੁੰਦੇ ਹੋ ਜਿਵੇਂ ਇਹ ਵਾਪਰਦਾ ਹੈ? ਨਵੀਨਤਮ AI ਵਿਕਾਸ ਲਈ ਸਾਡੇ ਹੱਬ ਨੂੰ ਬੁੱਕਮਾਰਕ ਕਰੋ ਅਤੇ ਕਦੇ ਵੀ ਰਿਲੀਜ਼ ਨਾ ਕਰੋ।
ਹੋਰ AI ਖਬਰਾਂ ਪੜ੍ਹੋ →
