Amazon ਨੇ TorchNeuron ਦੀ ਘੋਸ਼ਣਾ ਕੀਤੀ ਹੈ, ਇੱਕ ਓਪਨ-ਸਰੋਤ ਮੂਲ PyTorch ਬੈਕਐਂਡ AI ਚਿਪਸ ਦੇ ਇਸ ਦੇ ਟਰੇਨੀਅਮ ਪਰਿਵਾਰ ਲਈ, ਇੱਕ ਕਦਮ ਵਿੱਚ ਜੋ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਵਰਕਲੋਡ ਲਈ ਕਸਟਮ ਸਿਲੀਕਾਨ ਨੂੰ ਅਪਣਾਉਣ ਵਿੱਚ ਸਭ ਤੋਂ ਵੱਡੀ ਵਿਹਾਰਕ ਰੁਕਾਵਟਾਂ ਵਿੱਚੋਂ ਇੱਕ ਨੂੰ ਦੂਰ ਕਰਦਾ ਹੈ। 20 ਅਕਤੂਬਰ ਨੂੰ ਪਾਈਟੋਰਚ ਕਾਨਫਰੰਸ ਉੱਤਰੀ ਅਮਰੀਕਾ ਤੋਂ ਪਹਿਲਾਂ ਪ੍ਰਕਾਸ਼ਿਤ ਪਾਈਟੋਰਚ ਬਲੌਗ 'ਤੇ ਇੱਕ ਅਧਿਕਾਰਤ ਪੋਸਟ ਦੇ ਅਨੁਸਾਰ, ਡਿਵੈਲਪਰ ਹੁਣ ਮਲਕੀਅਤ ਟੂਲਿੰਗ ਦੇ ਆਲੇ ਦੁਆਲੇ ਆਪਣੇ ਵਰਕਫਲੋ ਨੂੰ ਮੁੜ ਲਿਖਣ ਦੀ ਬਜਾਏ, ਇੱਕ ਸਿੰਗਲ-ਲਾਈਨ ਤਬਦੀਲੀ ਨਾਲ ਟਰੇਨੀਅਮ 'ਤੇ ਮੌਜੂਦਾ ਪਾਈਟੋਰਚ ਮਾਡਲ ਕੋਡ ਚਲਾ ਸਕਦੇ ਹਨ।

ਘੋਸ਼ਣਾ ਨੇ ਤੁਰੰਤ ਧਿਆਨ ਖਿੱਚਿਆ ਕਿਉਂਕਿ ਇਹ ਉਹਨਾਂ ਨੂੰ ਨਿਸ਼ਾਨਾ ਬਣਾਉਂਦਾ ਹੈ ਜੋ ਵਿਸ਼ਲੇਸ਼ਕਾਂ ਨੇ ਲੰਬੇ ਸਮੇਂ ਤੋਂ ਐਨਵੀਡੀਆ ਦੇ ਸਭ ਤੋਂ ਟਿਕਾਊ ਫਾਇਦੇ ਵਜੋਂ ਵਰਣਿਤ ਕੀਤਾ ਹੈ: ਕੱਚੀ ਚਿੱਪ ਪ੍ਰਦਰਸ਼ਨ ਨਹੀਂ, ਪਰ CUDA ਸੌਫਟਵੇਅਰ ਈਕੋਸਿਸਟਮ ਜੋ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਇਸਦੇ GPUs ਨਾਲ ਜੋੜਦਾ ਹੈ। ਰਾਇਟਰਜ਼ ਨੇ ਐਮਾਜ਼ਾਨ ਦੇ ਰੂਪ ਵਿੱਚ ਰਿਲੀਜ਼ ਨੂੰ ਫਰੇਮ ਕੀਤਾ ਕਿ ਇਸਦੀ ਏਆਈ ਚਿਪਸ ਏਆਈ ਵਿੱਚ ਸਭ ਤੋਂ ਪ੍ਰਸਿੱਧ ਵਿਕਾਸ ਫਰੇਮਵਰਕ ਦੇ ਨਾਲ ਕੰਮ ਕਰੇਗੀ, ਜਦੋਂ ਕਿ ਟੇਕਕ੍ਰੰਚ ਨੇ ਟੋਰਚਨਯੂਰੋਨ ਨੂੰ ਐਨਵੀਡੀਆ ਵਿੱਚ ਕੰਪਨੀ ਦਾ ਅਜੇ ਤੱਕ ਦਾ ਸਭ ਤੋਂ ਵੱਡਾ ਸ਼ਾਟ ਕਿਹਾ। ਐਕਸਲੇਟਰ ਬਜ਼ਾਰ ਕਿਵੇਂ ਬਦਲ ਰਿਹਾ ਹੈ, ਇਸ ਬਾਰੇ ਵਿਆਪਕ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਲਈ, ਸਾਡਾ ਚੱਲ ਰਿਹਾ AI ਹਾਰਡਵੇਅਰ ਨਿਊਜ਼ ਕਵਰੇਜ ਇਹਨਾਂ ਵਿਕਾਸ ਨੂੰ ਟ੍ਰੈਕ ਕਰਦਾ ਹੈ ਜਿਵੇਂ ਕਿ ਇਹ ਸਾਹਮਣੇ ਆਉਂਦੇ ਹਨ।

TorchNeuron ਅਸਲ ਵਿੱਚ ਕੀ ਬਦਲਦਾ ਹੈ

TorchNeuron ਦਾ ਮੁੱਖ ਵਾਅਦਾ ਸਾਦਗੀ ਹੈ. PyTorch ਬਲੌਗ 'ਤੇ ਪ੍ਰਕਾਸ਼ਿਤ ਉਦਾਹਰਨ ਵਿੱਚ, ਇੱਕ ਮੌਜੂਦਾ ਸਿਖਲਾਈ ਲੂਪ '.to('neuron')` ਨਾਲ ਮਾਡਲ ਨੂੰ ਨਵੇਂ ਡਿਵਾਈਸ 'ਤੇ ਲਿਜਾਣ ਤੋਂ ਇਲਾਵਾ ਹੋਰ ਕੁਝ ਨਹੀਂ ਹੋਣ ਤੋਂ ਬਾਅਦ ਟ੍ਰੇਨਿਅਮ 'ਤੇ ਚੱਲਦਾ ਹੈ। ਪੋਸਟ ਦੇ ਅਨੁਸਾਰ, `torch.accelerator` ਦੇ ਵਿਰੁੱਧ ਲਿਖਿਆ ਕੋਡ, PyTorch ਦੀ ਸਿਫ਼ਾਰਿਸ਼ ਕੀਤੀ ਡਿਵਾਈਸ-ਅਗਨੋਸਟਿਕ API, ਅਣਸੋਧਿਆ ਚੱਲਦਾ ਹੈ। ਕੰਪਾਇਲ ਕੀਤੇ ਵਰਕਲੋਡਾਂ ਲਈ, ਡਿਵੈਲਪਰ ਇੱਕ ਵਾਰ `torch.compiler.set_default_backend("neuron")` ਨਾਲ ਡਿਫੌਲਟ ਬੈਕਐਂਡ ਸੈਟ ਕਰਦੇ ਹਨ ਅਤੇ ਫਿਰ ਬਿਨਾਂ ਕਿਸੇ ਬਦਲਾਅ ਦੇ `model.compile()` ਨੂੰ ਸ਼ੁਰੂ ਕਰਦੇ ਹਨ।

ਹੁੱਡ ਦੇ ਹੇਠਾਂ, TorchNeuron ਕਸਟਮ ਹਾਰਡਵੇਅਰ ਬੈਕਐਂਡ ਲਈ PyTorch ਦੇ ਅਧਿਕਾਰਤ ਐਕਸਟੈਂਸ਼ਨ ਪੁਆਇੰਟ, PrivateUse1 ਦੁਆਰਾ ਟਰੇਨੀਅਮ ਨੂੰ ਰਜਿਸਟਰ ਕਰਦਾ ਹੈ, ਜਿਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਚਿੱਪ ਫਰੇਮਵਰਕ 'ਤੇ ਬੋਲਟ ਕੀਤੇ ਇੱਕ ਅਪੈਂਡੇਜ ਦੀ ਬਜਾਏ ਇੱਕ ਮਿਆਰੀ PyTorch ਡਿਵਾਈਸ ਦੇ ਰੂਪ ਵਿੱਚ ਵਿਹਾਰ ਕਰਦੀ ਹੈ। AWS ਏਕੀਕਰਣ ਨੂੰ ਕਈ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਮੋਡਸ ਦੇ ਰੂਪ ਵਿੱਚ ਵਰਣਨ ਕਰਦਾ ਹੈ:

  • ਇੱਕ ਪ੍ਰਯੋਗਾਤਮਕ "ਅਡੈਪਟਿਵ ਈਜ਼ਰ ਮੋਡ" ਦੇ ਨਾਲ, ਖੋਜ ਅਤੇ ਡੀਬਗਿੰਗ ਲਈ ਉਤਸ਼ਾਹਪੂਰਨ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਜੋ ਲਾਂਚ ਓਵਰਹੈੱਡ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ
  • ਟੌਰਚ.ਕੰਪਾਈਲ ਉਤਪਾਦਨ ਪ੍ਰਦਰਸ਼ਨ ਲਈ, ਮਾਡਲਾਂ ਨੂੰ ਗ੍ਰਾਫਾਂ ਵਿੱਚ ਕੈਪਚਰ ਕਰਨਾ ਜੋ ਨਿਊਰੋਨ ਕੰਪਾਈਲਰ ਅਨੁਕੂਲ ਬਣਾਉਂਦਾ ਹੈ, ਫਲੈਕਸ ਅਟੈਂਸ਼ਨ ਲਈ ਮੂਲ ਸਮਰਥਨ ਨਾਲ
  • ਨਿਊਰੋਨ ਕਰਨਲ ਇੰਟਰਫੇਸ (NKI) ਖੋਜਕਰਤਾਵਾਂ ਲਈ ਜਿਨ੍ਹਾਂ ਨੂੰ ਕਸਟਮ, ਘੱਟ-ਪੱਧਰੀ ਕਰਨਲ ਦੀ ਲੋੜ ਹੈ

ਘੋਸ਼ਣਾ ਦੇ ਅਨੁਸਾਰ, ਬੈਕਐਂਡ Trainium2 ਅਤੇ ਨਵੇਂ Trainium3 ਚਿਪਸ ਦੋਵਾਂ 'ਤੇ ਕੰਮ ਕਰਦਾ ਹੈ।

ਐਨਵੀਡੀਆ ਦੇ ਸੌਫਟਵੇਅਰ ਮੋਟ 'ਤੇ ਸਿੱਧੀ ਹੜਤਾਲ

AI ਕੰਪਿਊਟਿੰਗ 'ਤੇ Nvidia ਦੀ ਪਕੜ ਕਦੇ ਵੀ ਸਿਰਫ਼ ਤੇਜ਼ ਹਾਰਡਵੇਅਰ 'ਤੇ ਹੀ ਟਿਕੀ ਨਹੀਂ ਹੈ। CUDA, ਕੰਪਨੀ ਦਾ ਦੋ ਦਹਾਕੇ ਪੁਰਾਣਾ ਸਾਫਟਵੇਅਰ ਪਲੇਟਫਾਰਮ ਹੈ, ਜਿੱਥੇ ਜ਼ਿਆਦਾਤਰ AI ਰਿਸਰਚ ਕੋਡ ਲਿਖਿਆ, ਟਿਊਨ ਕੀਤਾ ਅਤੇ ਲਗਾਇਆ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਹਰ ਚੈਲੇਂਜਰ ਚਿੱਪ — AMD ਦੀ Instinct ਲਾਈਨ ਤੋਂ ਲੈ ਕੇ Google ਦੇ TPUs ਅਤੇ Amazon ਦੇ Trainium ਤੱਕ — ਨੂੰ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਇਸ ਨੂੰ ਛੱਡਣ ਲਈ ਕਹਿਣ ਦੀ ਲਾਗਤ ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਪਿਆ ਹੈ। GeekWire, Benzinga, ਅਤੇ GuruFocus ਵਿੱਚ TorchNeuron ਲਾਂਚ ਦੀ ਕਵਰੇਜ ਨੇ ਉਸ ਖਾਈ 'ਤੇ ਹਮਲੇ ਵਜੋਂ ਘੋਸ਼ਣਾ ਨੂੰ ਇਕਸਾਰ ਰੂਪ ਵਿੱਚ ਤਿਆਰ ਕੀਤਾ।

ਐਮਾਜ਼ਾਨ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਜਿੱਤਣ ਲਈ ਪਾਈਟੋਰਚ ਤੋਂ ਬਾਹਰ ਕੱਢਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਨਹੀਂ ਕਰ ਰਿਹਾ ਹੈ. ਇਸ ਦੀ ਬਜਾਏ, ਇਹ PyTorch ਵਿੱਚ ਟਰੇਨੀਅਮ ਲਿਆ ਰਿਹਾ ਹੈ, ਇਸ ਲਈ ਫਰੇਮਵਰਕ ਦਾ ਵਿਸ਼ਾਲ ਉਪਭੋਗਤਾ ਅਧਾਰ ਆਦਤਾਂ ਨੂੰ ਬਦਲਣ ਤੋਂ ਬਿਨਾਂ ਚਿੱਪ ਨੂੰ ਅਪਣਾ ਸਕਦਾ ਹੈ. ਪਾਈਟੋਰਚ ਬਲੌਗ ਪੋਸਟ ਵਿੱਚ ਮੈਟਾ ਤੋਂ ਇੱਕ ਸਮਰਥਨ ਸ਼ਾਮਲ ਹੈ, ਜੋ ਫਰੇਮਵਰਕ ਨੂੰ ਬਰਕਰਾਰ ਰੱਖਦਾ ਹੈ: "AWS ਟ੍ਰੇਨਿਅਮ ਲਈ ਮੂਲ ਸਮਰਥਨ ਉਸ ਵਿਕਲਪ ਦਾ ਵਿਸਤਾਰ ਕਰਦਾ ਹੈ, ਖੋਜਕਰਤਾਵਾਂ ਅਤੇ ਇੰਜੀਨੀਅਰਾਂ ਨੂੰ ਉਤਸੁਕ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਅਤੇ ਡਿਸਟ੍ਰੀਬਿਊਟ APIs ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਪ੍ਰਯੋਗ ਕਰਨ ਅਤੇ ਦੁਹਰਾਉਣ ਦੇ ਯੋਗ ਬਣਾਉਂਦਾ ਹੈ ਜੋ ਉਹ ਪਹਿਲਾਂ ਹੀ ਜਾਣਦੇ ਹਨ," ਜਾਨਾ ਵੈਨ ਗਰੂਨੇਨ, ਪਾਇਟੋਰਚ ਇੰਜੀਨੀਅਰਿੰਗ ਦੇ ਡਾਇਰੈਕਟਰ ਨੇ ਕਿਹਾ।

ਇਹ ਫਰੇਮਿੰਗ AWS ਦੇ ਕਲਾਉਡ ਕਾਰੋਬਾਰ ਲਈ ਮਹੱਤਵਪੂਰਨ ਹੈ। ਟ੍ਰੇਨਿਅਮ ਉਦਾਹਰਨਾਂ ਨੂੰ ਸਿਖਲਾਈ ਅਤੇ ਅਨੁਮਾਨ ਲਈ Nvidia GPUs ਦੇ ਇੱਕ ਘੱਟ ਲਾਗਤ ਵਾਲੇ ਵਿਕਲਪ ਵਜੋਂ ਮਾਰਕੀਟ ਕੀਤਾ ਗਿਆ ਹੈ, ਅਤੇ ਚਿਪਸ ਨੇ ਪਹਿਲਾਂ ਹੀ ਮਾਰਕੀ ਏਆਈ ਗਾਹਕਾਂ ਨੂੰ ਆਕਰਸ਼ਿਤ ਕੀਤਾ ਹੈ। ਚਿਪਸ ਨੂੰ ਪਾਈਟੋਰਚ ਦਾ ਮੂਲ ਮਹਿਸੂਸ ਕਰਨਾ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਉਸ ਇਤਰਾਜ਼ ਨੂੰ ਸੰਬੋਧਿਤ ਕਰਦਾ ਹੈ ਜਿਸ ਨੇ ਵਿਆਪਕ ਗੋਦ ਲੈਣ ਨੂੰ ਹੌਲੀ ਕਰ ਦਿੱਤਾ ਹੈ: ਪੋਰਟਿੰਗ ਕੋਸ਼ਿਸ਼।

ਤਕਨੀਕੀ ਸਕੋਪ, ਨੋਟਬੁੱਕ ਤੋਂ ਕਲੱਸਟਰ-ਸਕੇਲ ਸਿਖਲਾਈ ਤੱਕ

ਪਾਈਟੋਰਚ ਬਲੌਗ 'ਤੇ ਸੂਚੀਬੱਧ ਸਮਰੱਥਾਵਾਂ ਸੁਝਾਅ ਦਿੰਦੀਆਂ ਹਨ ਕਿ ਐਮਾਜ਼ਾਨ ਸ਼ੌਕੀਨ ਪ੍ਰਯੋਗਾਂ ਤੋਂ ਪਰੇ ਹੈ। TorchNeuron BF16, FP32, ਅਤੇ FP16 ਸ਼ੁੱਧਤਾ ਦੇ ਨਾਲ ਟੈਕਸਟ, ਮਲਟੀਮੋਡਲ, ਅਤੇ ਵਿਜ਼ਨ-ਲੈਂਗਵੇਜ ਮਾਡਲਾਂ ਦੇ ਨਾਲ-ਨਾਲ ਚਿੱਤਰ ਅਤੇ ਵੀਡੀਓ ਜਨਰੇਸ਼ਨ, ਸਟੇਟ ਸਪੇਸ ਮਾਡਲ, ਅਤੇ ਵਿਸ਼ਵ ਮਾਡਲਾਂ ਵਿੱਚ ਦੇਖੇ ਗਏ ਓਪਰੇਟਰ ਸੈੱਟਾਂ ਨੂੰ ਕਵਰ ਕਰਦਾ ਹੈ; TorchAO ਅਤੇ FP8 ਸਮਰਥਨ ਅਗਲੀ ਰੀਲੀਜ਼ ਵਿੱਚ ਆਮ ਉਪਲਬਧਤਾ ਤੋਂ ਪਹਿਲਾਂ ਨਿੱਜੀ ਬੀਟਾ ਵਿੱਚ ਹਨ।

ਵਿਤਰਿਤ ਸਿਖਲਾਈ, ਅਨੁਸ਼ਾਸਨ ਜੋ ਸਿੰਗਲ-ਜੀਪੀਯੂ ਕੋਡ ਨੂੰ ਕਲੱਸਟਰ-ਸਕੇਲ ਰਨ ਵਿੱਚ ਬਦਲਦਾ ਹੈ, ਮਿਆਰੀ PyTorch API - DDP, FSDP2, SimpleFSDP, ਟੈਂਸਰ ਅਤੇ ਪਾਈਪਲਾਈਨ ਸਮਾਨਤਾ, ਅਤੇ ZeRO-ਸ਼ੈਲੀ ਸ਼ਾਰਡਿੰਗ, ਬਹੁ-ਆਯਾਮੀ ਪ੍ਰਕਿਰਿਆ ਸਮੂਹਾਂ ਲਈ DTensor ਅਤੇ DeviceMesh ਦੇ ਨਾਲ ਸਮਰਥਿਤ ਹੈ। ਸਟ੍ਰੀਮਜ਼ ਅਤੇ ਇਵੈਂਟਸ PyTorch ਦੇ ਅਰਥ ਵਿਗਿਆਨ ਨੂੰ ਟਰੇਨੀਅਮ ਦੇ ਹਾਰਡਵੇਅਰ ਕਤਾਰਾਂ 'ਤੇ ਮੈਪ ਕਰਦੇ ਹਨ, ਪੋਸਟ ਨੇ ਕਿਹਾ.

ਅਨੁਮਾਨ ਲਈ, ਐਮਾਜ਼ਾਨ ਦੇ ਨਿਊਰੋਨ ਸਟੈਕ ਉਸੇ ਬੁਨਿਆਦ 'ਤੇ ਬਣਦੇ ਹਨ: vLLM ਨਿਯੂਰੋਨ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਦੀ ਸੇਵਾ ਕਰਦਾ ਹੈ, ਜਦੋਂ ਕਿ vLLM ਓਮਨੀ ਨਿਊਰੋਨ ਚਿੱਤਰ ਅਤੇ ਵੀਡੀਓ ਬਣਾਉਣ ਲਈ ਪ੍ਰਸਾਰ ਮਾਡਲਾਂ ਦੀ ਸੇਵਾ ਕਰਦਾ ਹੈ। ਨਿਊਰੋਨ ਕਰਨਲ ਇੰਟਰਫੇਸ ਖੋਜਕਰਤਾਵਾਂ ਨੂੰ ਉਤਸੁਕ ਅਤੇ ਸੰਕਲਿਤ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਦੋਵਾਂ ਲਈ ਕਸਟਮ ਓਪਰੇਟਰਾਂ ਨੂੰ ਲਿਖਣ ਦਿੰਦਾ ਹੈ, ਅਤੇ AWS ਓਪਨ-ਸੋਰਸਿੰਗ NKI-lib ਹੈ, ਮੁੱਖ ਧਾਰਾ LLM ਅਤੇ ਮਲਟੀਮੋਡਲ ਦ੍ਰਿਸ਼ਾਂ ਲਈ FlashAttention ਅਤੇ MoE ਬਲਾਕਵਾਈਜ਼ ਕੰਪਿਊਟੇਸ਼ਨਾਂ ਨੂੰ ਕਵਰ ਕਰਨ ਵਾਲੇ ਟਰੇਨੀਅਮ-ਅਨੁਕੂਲ ਕਰਨਲ ਦਾ ਇੱਕ ਸੈੱਟ।

ਪ੍ਰਦਰਸ਼ਨ ਟੂਲਿੰਗ ਵੀ ਸ਼ਾਮਲ ਹੈ। ਨਿਊਰੋਨ ਐਕਸਪਲੋਰਰ ਫਰੇਮਵਰਕ ਤੋਂ ਹਾਰਡਵੇਅਰ ਤੱਕ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਨੂੰ ਟਰੇਸ ਕਰਨ ਲਈ ਸਟੈਂਡਰਡ `torch.profiler` ਦਾ ਵਿਸਤਾਰ ਕਰਦਾ ਹੈ, ਹਰ ਇਵੈਂਟ ਨੂੰ ਇਸਦੀ ਸਰੋਤ ਲਾਈਨ ਨਾਲ ਜੋੜਦਾ ਹੈ, ਅਤੇ Parquet-formatted ਮੈਟ੍ਰਿਕਸ ਨੂੰ ਨਿਰਯਾਤ ਕਰ ਸਕਦਾ ਹੈ ਜੋ ਪੋਸਟ ਨੋਟਸ ਸਵੈਚਲਿਤ ਰੁਕਾਵਟ ਵਿਸ਼ਲੇਸ਼ਣ ਲਈ ਏਜੰਟ ਦੁਆਰਾ ਖਪਤ ਕੀਤੇ ਜਾ ਸਕਦੇ ਹਨ।

ਉਪਲਬਧਤਾ ਅਤੇ ਅੱਗੇ ਕੀ ਆਉਂਦਾ ਹੈ

TorchNeuron 20 ਅਕਤੂਬਰ ਨੂੰ PyTorch ਕਾਨਫਰੰਸ ਉੱਤਰੀ ਅਮਰੀਕਾ ਵਿਖੇ ਆਪਣੇ ਓਪਨ-ਸੋਰਸ ਲਾਂਚ ਲਈ ਤਿਆਰ ਹੈ, ਬਲੌਗ ਪੋਸਟ ਦੇ ਅਨੁਸਾਰ, ਹੱਗਿੰਗ ਫੇਸ ਟ੍ਰਾਂਸਫਾਰਮਰ v5 ਤੱਕ ਅਨੁਕੂਲਤਾ ਦੇ ਨਾਲ। AWS ਟਰੇਨੀਅਮ ਨੂੰ ਕਲਾਉਡ-ਸਕੇਲ AI ਸਿਖਲਾਈ ਅਤੇ ਅਨੁਮਾਨ ਲਈ ਜ਼ਮੀਨ ਤੋਂ ਡਿਜ਼ਾਇਨ ਕੀਤੇ ਚਿਪਸ ਦੇ ਇੱਕ ਪੋਰਟਫੋਲੀਓ ਵਜੋਂ ਵਰਣਨ ਕਰਦਾ ਹੈ।

ਰਣਨੀਤਕ ਸੰਦਰਭ ਇੱਕ ਮਾਰਕੀਟ ਹੈ ਜਿਸ ਵਿੱਚ ਹਰ ਪ੍ਰਮੁੱਖ ਕਲਾਉਡ ਪ੍ਰਦਾਤਾ ਇੱਕੋ ਸਮੇਂ ਐਨਵੀਡੀਆ ਐਕਸਲੇਟਰਾਂ ਦਾ ਸਭ ਤੋਂ ਵੱਡਾ ਖਰੀਦਦਾਰ ਅਤੇ ਇੱਕ ਪ੍ਰਤੀਯੋਗੀ ਹੁੰਦਾ ਹੈ। ਮਾਈਕਰੋਸਾਫਟ, ਗੂਗਲ ਅਤੇ ਮੈਟਾ ਸਾਰੇ ਕਸਟਮ ਸਿਲੀਕਾਨ ਵਿਕਸਿਤ ਕਰਦੇ ਹਨ, ਅਤੇ ਹੁਆਵੇਈ ਸਮੇਤ ਚੀਨੀ ਫਰਮਾਂ CUDA ਦੀ ਗੰਭੀਰਤਾ ਤੋਂ ਬਚਣ ਲਈ ਆਪਣੇ ਖੁਦ ਦੇ ਸਾਫਟਵੇਅਰ ਸਟੈਕ ਬਣਾ ਰਹੀਆਂ ਹਨ। PyTorch ਦੇ ਅੰਦਰ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਮਾਈਗਰੇਟ ਕਰਨ ਲਈ ਕਹਿਣ ਦੀ ਬਜਾਏ, ਐਮਾਜ਼ਾਨ ਨੇ ਉਸ ਮੁਕਾਬਲੇ ਵਿੱਚ ਸਭ ਤੋਂ ਘੱਟ ਵਿਘਨ ਪਾਉਣ ਵਾਲਾ ਰਸਤਾ ਚੁਣਿਆ ਹੈ - ਅਤੇ ਇੱਕ ਸਭ ਤੋਂ ਵੱਧ ਸੰਭਾਵਤ ਤੌਰ 'ਤੇ, ਜੇਕਰ ਡਿਵੈਲਪਰ ਦਾ ਤਜਰਬਾ ਕਾਇਮ ਰਹਿੰਦਾ ਹੈ, ਤਾਂ Nvidia ਹਾਰਡਵੇਅਰ ਤੋਂ ਅਸਲ ਸਿਖਲਾਈ ਦੇ ਵਰਕਲੋਡ ਨੂੰ ਤਬਦੀਲ ਕਰਨ ਲਈ।

ਕੀ TorchNeuron ਸੱਚਮੁੱਚ CUDA ਦੇ ਫਾਇਦੇ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ, ਪੈਮਾਨੇ 'ਤੇ ਪ੍ਰਦਰਸ਼ਨ ਅਤੇ ਅਸਲ-ਸੰਸਾਰ ਮਾਡਲਾਂ ਦੀ ਲੰਮੀ ਪੂਛ 'ਤੇ ਨਿਰਭਰ ਕਰੇਗਾ, ਉਨ੍ਹਾਂ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਜਿਨ੍ਹਾਂ ਦਾ ਲਾਂਚ ਸਮੱਗਰੀ ਜਵਾਬ ਨਹੀਂ ਦਿੰਦੀ ਹੈ। ਪਰ ਰੁਕਾਵਟ ਜਿਸ ਨੇ ਜ਼ਿਆਦਾਤਰ ਪਾਈਟੋਰਚ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਟਰੇਨੀਅਮ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਨ ਤੋਂ ਰੋਕਿਆ - ਇੱਕ ਮੁੜ ਲਿਖਣਾ - ਹੁਣ ਕੋਡ ਦੀ ਇੱਕ ਲਾਈਨ ਤੱਕ ਘਟਾ ਦਿੱਤਾ ਗਿਆ ਹੈ।

---

AI ਤੋਂ ਅੱਗੇ ਰਹੋ

ਨਵੀਨਤਮ AI ਖਬਰਾਂ, ਵਿਸ਼ਲੇਸ਼ਣ ਅਤੇ ਸਫਲਤਾਵਾਂ ਪ੍ਰਾਪਤ ਕਰੋ - ਸਭ ਇੱਕ ਥਾਂ 'ਤੇ।

ਹੋਰ AI ਖਬਰਾਂ ਪੜ੍ਹੋ →