DeepSeek ਕੋਲ ਓਪਨ-ਸੋਰਸਡ DeepInfer ਹੈ, ਉੱਚ-ਪ੍ਰਦਰਸ਼ਨ ਅਨੁਮਾਨ ਫਰੇਮਵਰਕ ਜਿਸ ਬਾਰੇ ਚੀਨੀ AI ਲੈਬ ਕਹਿੰਦੀ ਹੈ ਕਿ ਇਸ ਦੀਆਂ ਆਪਣੀਆਂ ਵੱਡੇ-ਪੱਧਰੀ ਉਤਪਾਦਨ ਸੇਵਾਵਾਂ ਨੂੰ ਸ਼ਕਤੀ ਪ੍ਰਦਾਨ ਕਰਦੀ ਹੈ। ਕੋਡ ਅਪਾਚੇ 2.0 ਲਾਇਸੈਂਸ ਦੇ ਤਹਿਤ GitHub 'ਤੇ ਪ੍ਰਗਟ ਹੋਇਆ ਸੀ ਅਤੇ ਕੁਝ ਦਿਨਾਂ ਦੇ ਅੰਦਰ ਪਹਿਲਾਂ ਹੀ 5,500 ਤੋਂ ਵੱਧ ਸਿਤਾਰੇ ਇਕੱਠੇ ਕਰ ਚੁੱਕੇ ਸਨ, ਸੋਮਵਾਰ ਨੂੰ ਰੀਲੀਜ਼ ਬਾਰੇ ਹੈਕਰ ਨਿਊਜ਼ ਦੀ ਚਰਚਾ ਦੇ ਸੈਂਕੜੇ ਅਪਵੋਟਸ ਖਿੱਚਣ ਤੋਂ ਬਾਅਦ.
ਪ੍ਰੋਜੈਕਟ ਦੇ README ਦੇ ਅਨੁਸਾਰ, ਰੀਲੀਜ਼ ਮੁੱਖ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੇ ਨਾਲ ਔਫਲਾਈਨ ਅਨੁਮਾਨ ਪ੍ਰਦਾਨ ਕਰਦੀ ਹੈ ਡੀਪਸੀਕ ਆਪਣੇ ਮਾਡਲਾਂ ਨੂੰ ਪੈਮਾਨੇ 'ਤੇ ਪੇਸ਼ ਕਰਨ ਲਈ ਨਿਰਭਰ ਕਰਦਾ ਹੈ। ਪੂਰਵ-ਨਿਰਧਾਰਤ ਸੰਰਚਨਾ DeepSeek-V4.1-Flash ਨੂੰ ਨਿਸ਼ਾਨਾ ਬਣਾਉਂਦਾ ਹੈ, ਅਤੇ ਫਰੇਮਵਰਕ ਪਹਿਲੀ ਵਾਰ ਚੱਲਣ 'ਤੇ ਹੱਗਿੰਗ ਫੇਸ ਤੋਂ DeepSeek-V4.1-Flash-1017 ਚੈੱਕਪੁਆਇੰਟ ਨੂੰ ਆਪਣੇ ਆਪ ਡਾਊਨਲੋਡ ਕਰਦਾ ਹੈ। For more context on this story, see our ongoing latest AI developments.
DeepInfer ਵਿੱਚ ਅਸਲ ਵਿੱਚ ਕੀ ਸ਼ਾਮਲ ਹੈ
ਡੀਪਇਨਫਰ ਇੱਕ ਸਕ੍ਰੈਚ ਰੀਰਾਈਟ ਨਹੀਂ ਹੈ। ਇਹ ਡੀਪਸੀਕ ਦੁਆਰਾ ਪਿਛਲੇ ਦੋ ਸਾਲਾਂ ਤੋਂ ਟੁਕੜੇ-ਟੁਕੜੇ ਜਾਰੀ ਕੀਤੇ ਜਾਣ ਵਾਲੇ ਵਿਸ਼ੇਸ਼ ਕਰਨਲ - FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect, ਅਤੇ ਕਸਟਮ ਟਾਇਲੈਂਗ ਕਰਨਲ - ਨੂੰ ਮਾਡਲ ਅਤੇ ਸੈਂਪਲਰ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਦੇ ਨਾਲ ਇੱਕ ਸਿੰਗਲ ਰਨਟਾਈਮ ਵਿੱਚ ਜੋੜਦਾ ਹੈ।
ਫਰੇਮਵਰਕ ਕਈ ਸਰਵਿੰਗ ਤਕਨੀਕਾਂ ਨੂੰ ਵੀ ਭੇਜਦਾ ਹੈ ਜੋ ਕਿ ਰਿਪੋਜ਼ਟਰੀ ਵਿੱਚ ਵੇਰਵੇ ਵਿੱਚ ਦਰਜ ਹਨ:
- ਵਿਸ਼ਵਾਸ-ਨਿਰਧਾਰਤ ਤਸਦੀਕ, ਇੱਕ ਅੰਦਾਜ਼ਾ ਲਗਾਉਣ ਵਾਲੀ ਡੀਕੋਡਿੰਗ ਪਹੁੰਚ ਜੋ ਤਸਦੀਕ ਨੂੰ ਤਹਿ ਕਰਨ ਲਈ ਡਰਾਫਟ ਟੋਕਨਾਂ ਅਤੇ ਵਿਸ਼ਵਾਸ ਅਨੁਮਾਨਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੀ ਹੈ, ਵਾਤਾਵਰਣ ਵੇਰੀਏਬਲ ਦੁਆਰਾ ਨਿਯੰਤਰਿਤ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ
- ਡੀਕੋਡਰ SWA ਬਾਊਂਡਡ ਰੀਪਲੇਅ, ਜੋ ਕਿ ਕ੍ਰਮ ਦੇ ਸਿਰਫ਼ ਇੱਕ ਬਾਊਂਡਡ ਪਿਛੇਤਰ ਨੂੰ ਰੀਪਲੇਅ ਕਰਕੇ ਡੀਕੋਡਰ ਪ੍ਰੀਫਿਲ ਕੰਮ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ।
- ਅਸਿੰਕ੍ਰੋਨਸ ਸਮਾਂ-ਸਾਰਣੀ ਜੋ ਕਿ ਡਿਵਾਈਸ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਦੇ ਨਾਲ CPU ਬੈਚ ਸ਼ਡਿਊਲਿੰਗ ਨੂੰ ਓਵਰਲੈਪ ਕਰਦੀ ਹੈ, ਡਿਫੌਲਟ ਰੂਪ ਵਿੱਚ ਸਮਰੱਥ
- ਬੈਚ-ਇਨਵੇਰੀਐਂਟ ਇਨਫਰੈਂਸ, ਜੋ ਵੱਖ-ਵੱਖ ਬੈਚ ਰਚਨਾਵਾਂ ਵਿੱਚ ਮਾਡਲ ਨਤੀਜਿਆਂ ਨੂੰ ਇੱਕੋ ਜਿਹਾ ਰੱਖਦਾ ਹੈ
- ਨਿਰਧਾਰਨਵਾਦੀ ਨਮੂਨਾ, ਇੱਕੋ ਜਿਹੇ ਇਨਪੁਟਸ ਅਤੇ ਸੈਂਪਲਿੰਗ ਪੈਰਾਮੀਟਰਾਂ ਲਈ ਇੱਕੋ ਜਿਹੇ ਆਉਟਪੁੱਟ ਪੈਦਾ ਕਰਨਾ
- ਸਟ੍ਰਕਚਰਡ ਆਉਟਪੁੱਟ, ਇੱਕ ਰੇਜੈਕਸ, JSON ਸਕੀਮਾ, ਜਾਂ EBNF ਵਿਆਕਰਣ ਲਈ ਪੀੜ੍ਹੀ ਨੂੰ ਸੀਮਤ ਕਰਨਾ
ਇਹ ਸੁਮੇਲ ਉਹਨਾਂ ਓਪਰੇਟਰਾਂ 'ਤੇ ਨਿਸ਼ਾਨਾ ਹੈ ਜਿਨ੍ਹਾਂ ਨੂੰ ਪ੍ਰਯੋਗਾਤਮਕ ਪਲੇਥਿੰਗਾਂ ਦੀ ਬਜਾਏ ਪ੍ਰਜਨਨਯੋਗ, ਉੱਚ-ਥਰੂਪੁਟ ਟੈਕਸਟ ਜਨਰੇਸ਼ਨ ਦੀ ਜ਼ਰੂਰਤ ਹੈ। ਉਹਨਾਂ ਉੱਦਮਾਂ ਲਈ ਵਿਸ਼ੇਸ਼ ਮਾਮਲੇ ਵਿੱਚ ਬੈਚ ਇਨਵੇਰੀਅੰਸ ਅਤੇ ਨਿਰਧਾਰਨਵਾਦੀ ਨਮੂਨਾ ਜਿਸ ਨੂੰ ਆਡਿਟ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਇੱਕ ਮਾਡਲ ਨੇ ਇੱਕ ਦਿੱਤਾ ਆਉਟਪੁੱਟ ਕਿਉਂ ਪੈਦਾ ਕੀਤਾ।
NVIDIA ਅਤੇ Huawei Ascend, ਨਾਲ-ਨਾਲ
ਸਭ ਤੋਂ ਨੇੜਿਓਂ ਦੇਖਿਆ ਗਿਆ ਵੇਰਵਾ ਹਾਰਡਵੇਅਰ ਸਮਰਥਨ ਹੈ। DeepInfer ਨੇ CUDA 13 ਰਾਹੀਂ NVIDIA SM100 GPUs ਅਤੇ CANN 9.2 ਰਾਹੀਂ Huawei Ascend 950 NPUs ਨੂੰ ਨਿਸ਼ਾਨਾ ਬਣਾਇਆ ਹੈ, ਜਿਸ ਵਿੱਚ Linux, GCC 13, ਅਤੇ Python 3.12 ਨੂੰ ਦੋਵਾਂ ਮਾਰਗਾਂ ਲਈ ਪੂਰਵ-ਸ਼ਰਤਾਂ ਵਜੋਂ ਸੂਚੀਬੱਧ ਕੀਤਾ ਗਿਆ ਹੈ।
ਉਹ ਦੋਹਰਾ-ਪਲੇਟਫਾਰਮ ਰੁਖ ਡੀਪਸੀਕ ਦੇ ਹਾਲੀਆ ਇਤਿਹਾਸ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ। ਕੰਪਨੀ ਨੇ ਅਸੈਂਡ ਹਾਰਡਵੇਅਰ ਲਈ ਟਾਇਲੈਂਗ-ਅਧਾਰਿਤ ਸੌਫਟਵੇਅਰ ਵਿਕਸਿਤ ਕਰਨ ਅਤੇ ਜਨਤਕ ਤੌਰ 'ਤੇ ਚੁਣੌਤੀਪੂਰਨ ਧਾਰਨਾਵਾਂ ਨੂੰ ਵਿਕਸਿਤ ਕਰਨ ਲਈ ਮਹੀਨੇ ਬਿਤਾਏ ਹਨ ਕਿ CUDA ਅਟੱਲ ਹੈ। ਇੱਕ ਪ੍ਰੋਡਕਸ਼ਨ ਇਨਫਰੈਂਸ ਫਰੇਮਵਰਕ ਸ਼ਿਪਿੰਗ ਜੋ Ascend ਨੂੰ ਇੱਕ ਪਹਿਲੇ ਦਰਜੇ ਦੇ ਨਾਗਰਿਕ ਵਜੋਂ ਪੇਸ਼ ਕਰਦਾ ਹੈ - ਇੱਕ ਖੋਜ ਤੋਂ ਬਾਅਦ ਸੋਚਣ ਦੀ ਬਜਾਏ - ਉਸ ਰਣਨੀਤੀ ਨੂੰ ਵਧਾਉਂਦਾ ਹੈ, ਅਤੇ ਇਹ ਇੱਕ ਅਜਿਹੇ ਸਮੇਂ 'ਤੇ ਉਤਰਦਾ ਹੈ ਜਦੋਂ ਅਮਰੀਕੀ ਨਿਰਯਾਤ ਨਿਯੰਤਰਣ ਇਸ 'ਤੇ ਪਾਬੰਦੀ ਲਗਾਉਣਾ ਜਾਰੀ ਰੱਖਦੇ ਹਨ ਕਿ Nvidia ਚਿਪਸ ਚੀਨੀ ਕੰਪਨੀਆਂ ਖਰੀਦ ਸਕਦੀਆਂ ਹਨ।
ਘਰੇਲੂ ਸਿਲੀਕਾਨ ਚਲਾਉਣ ਵਾਲੇ ਚੀਨੀ ਕਲਾਉਡ ਓਪਰੇਟਰਾਂ ਲਈ, ਇੱਕ ਬਣਾਈ ਰੱਖਿਆ ਇੰਜਨ ਜੋ ਅਸੈਂਡ 950 ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ, ਐਨਵੀਡੀਆ ਈਕੋਸਿਸਟਮ ਦੇ ਬਾਹਰ ਫਰੰਟੀਅਰ-ਕਲਾਸ ਓਪਨ ਮਾਡਲਾਂ ਦੀ ਸੇਵਾ ਕਰਨ ਲਈ ਵਿਹਾਰਕ ਰੁਕਾਵਟਾਂ ਵਿੱਚੋਂ ਇੱਕ ਨੂੰ ਹਟਾਉਂਦਾ ਹੈ।
ਰੀਲੀਜ਼ ਵਿੱਚ ਕੀ ਗੁੰਮ ਹੈ
README ਸਪੱਸ਼ਟ ਹੈ ਕਿ ਇਹ ਅਜੇ ਪੂਰਾ ਸਰਵਿੰਗ ਸਟੈਕ ਨਹੀਂ ਹੈ। DeepInfer 'ਤੇ ਬਣਾਈ ਗਈ ਇੱਕ ਉਤਪਾਦਨ ਤੈਨਾਤੀ ਨੂੰ ਅਜੇ ਵੀ ਤਿੰਨ ਭਾਗਾਂ ਦੀ ਲੋੜ ਹੈ ਜਿਸ ਵਿੱਚ ਰੀਲੀਜ਼ ਸ਼ਾਮਲ ਨਹੀਂ ਹੈ: ਇੱਕ KV ਕੈਸ਼ ਸਿਸਟਮ, ਪ੍ਰੀਫਿਲ ਅਤੇ ਡੀਕੋਡ ਡਿਸਗਰੀਗੇਸ਼ਨ, ਅਤੇ ਡਾਟਾ-ਸਮਾਨਾਂਤਰ ਪ੍ਰਤੀਕ੍ਰਿਤੀਆਂ ਵਿੱਚ ਲੋਡ ਸੰਤੁਲਨ। ਰਿਪੋਜ਼ਟਰੀ ਨੋਟ ਕਰਦੀ ਹੈ ਕਿ ਡਿਸਗ੍ਰੀਗੇਸ਼ਨ ਲਈ ਜ਼ਿਆਦਾਤਰ ਲੋੜੀਂਦੀ ਇੰਜਣ ਕਾਰਜਕੁਸ਼ਲਤਾ ਪਹਿਲਾਂ ਹੀ ਲਾਗੂ ਕੀਤੀ ਗਈ ਹੈ, ਪਰ ਆਲੇ ਦੁਆਲੇ ਦੇ ਸਿਸਟਮ ਆਪਰੇਟਰ 'ਤੇ ਛੱਡ ਦਿੱਤੇ ਗਏ ਹਨ।
ਅਭਿਆਸ ਵਿੱਚ ਇਸਦਾ ਮਤਲਬ ਹੈ ਕਿ DeepInfer ਨੂੰ ਕਮਿਊਨਿਟੀ ਸਰਵਿਸਿੰਗ ਫਰੇਮਵਰਕ ਦੇ ਟਰਨਕੀ ਵਿਕਲਪ ਦੀ ਬਜਾਏ DeepSeek ਦੇ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦੇ ਗਣਨਾ ਇੰਜਣ ਵਜੋਂ ਸਭ ਤੋਂ ਵਧੀਆ ਸਮਝਿਆ ਜਾਂਦਾ ਹੈ। ਟੀਮਾਂ ਨੂੰ ਅਜੇ ਵੀ ਇਸਨੂੰ ਅਸਲ ਟ੍ਰੈਫਿਕ ਦੇ ਸਾਹਮਣੇ ਰੱਖਣ ਤੋਂ ਪਹਿਲਾਂ ਕੈਚਿੰਗ ਅਤੇ ਰੂਟਿੰਗ ਲੇਅਰਾਂ ਨਾਲ ਏਕੀਕ੍ਰਿਤ ਕਰਨ ਦੀ ਜ਼ਰੂਰਤ ਹੋਏਗੀ.
ਇਹ ਕਿਉਂ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ
ਡੀਪਸੀਕ ਦਾ ਕਾਰੋਬਾਰ ਬਹੁਤ ਹੀ ਸਸਤੇ ਮਾਡਲਾਂ ਦੀ ਸੇਵਾ ਕਰਨ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ, ਅਤੇ ਉਸ ਕਾਰੋਬਾਰ ਦਾ ਅਰਥ ਸ਼ਾਸਤਰ ਗਹਿਰੀ ਜਾਂਚ ਦਾ ਵਿਸ਼ਾ ਰਿਹਾ ਹੈ ਕਿਉਂਕਿ ਕੰਪਨੀ ਉਸ ਵੱਲ ਜਾ ਰਹੀ ਹੈ ਜਿਸ ਬਾਰੇ ਇਸਨੇ ਦੱਸਿਆ ਹੈ ਕਿ ਕੀਮਤ ਆਪਣੀ ਪੁਰਾਣੀ ਘੱਟ ਕੀਮਤ ਵਾਲੀ ਸਥਿਤੀ ਤੋਂ ਦੂਰ ਜਾਂਦੀ ਹੈ। ਅਸਲ ਉਤਪਾਦਨ ਅਨੁਮਾਨ ਮਾਰਗ ਨੂੰ ਖੋਲ੍ਹਣਾ - ਸਿਰਫ ਖੋਜ ਕੋਡ ਹੀ ਨਹੀਂ - ਬਾਹਰੀ ਡਿਵੈਲਪਰਾਂ ਅਤੇ ਕਲਾਉਡ ਪ੍ਰਦਾਤਾਵਾਂ ਨੂੰ ਉਹਨਾਂ ਲਾਗਤਾਂ ਦੇ ਪਿੱਛੇ ਤਕਨੀਕਾਂ 'ਤੇ ਇੱਕ ਅਸਧਾਰਨ ਤੌਰ 'ਤੇ ਸਿੱਧੀ ਨਜ਼ਰ ਦਿੰਦਾ ਹੈ।
ਇਹ ਵੀ ਇੱਕ ਜਾਣਬੁੱਝ ਕੇ ਪੈਟਰਨ ਜਾਰੀ ਹੈ. FlashMLA, DeepGEMM, ਅਤੇ DeepEP ਸਾਰੇ ਵੱਖਰੇ ਤੌਰ 'ਤੇ ਜਾਰੀ ਕੀਤੇ ਗਏ ਸਨ ਕਿਉਂਕਿ ਲੈਬ ਨੇ ਆਪਣਾ ਸਟੈਕ ਬਣਾਇਆ ਸੀ; ਡੀਪਇਨਫਰ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਦਸਤਾਵੇਜ਼ ਬਣਾਉਂਦਾ ਹੈ ਕਿ ਟੁਕੜੇ ਇਕੱਠੇ ਕਿਵੇਂ ਫਿੱਟ ਹੁੰਦੇ ਹਨ। ਖੋਜਕਰਤਾਵਾਂ ਲਈ, ਰੀਲੀਜ਼ ਡੀਪਸੀਕ ਦੇ ਪ੍ਰਕਾਸ਼ਿਤ ਪ੍ਰਦਰਸ਼ਨ ਦੇ ਦਾਅਵਿਆਂ ਨੂੰ ਦੁਬਾਰਾ ਬਣਾਉਣਾ ਸੌਖਾ ਬਣਾਉਂਦਾ ਹੈ। ਪ੍ਰਤੀਯੋਗੀਆਂ ਲਈ, ਇਹ ਓਪਨ ਇਨਫਰੈਂਸ ਸਟੈਕ ਦੇ ਤੌਰ 'ਤੇ ਗਿਣਨ ਲਈ ਬਾਰ ਨੂੰ ਵਧਾਉਂਦਾ ਹੈ।
Apache 2.0 ਲਾਇਸੈਂਸ ਕਾਪੀਲਫਟ ਜ਼ਿੰਮੇਵਾਰੀਆਂ ਤੋਂ ਬਿਨਾਂ ਵਪਾਰਕ ਵਰਤੋਂ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ, ਜਿਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਪੱਛਮੀ ਕਲਾਉਡ ਪ੍ਰਦਾਤਾ ਇਸਨੂੰ ਕਾਨੂੰਨੀ ਤੌਰ 'ਤੇ ਤੈਨਾਤ ਕਰ ਸਕਦੇ ਹਨ - ਹਾਲਾਂਕਿ ਇਸਦਾ ਮਾਡਲ ਸਮਰਥਨ ਵਰਤਮਾਨ ਵਿੱਚ DeepSeek ਦੇ ਆਪਣੇ V4.1-ਫਲੈਸ਼ ਚੈੱਕਪੁਆਇੰਟ ਤੱਕ ਸੀਮਿਤ ਹੈ, ਇਸਲਈ ਜ਼ਿਆਦਾਤਰ ਇਸਨੂੰ ਹੁਣ ਲਈ ਇੱਕ ਸੰਦਰਭ ਲਾਗੂ ਕਰਨ ਦੇ ਰੂਪ ਵਿੱਚ ਮੰਨਣਗੇ।
ਕੀ ਦੇਖਣਾ ਹੈ
ਤਿੰਨ ਸਵਾਲ ਇਹ ਨਿਰਧਾਰਤ ਕਰਨਗੇ ਕਿ ਕੀ DeepInfer ਵਿਆਪਕ ਤੌਰ 'ਤੇ ਅਪਣਾਇਆ ਜਾਂਦਾ ਹੈ ਜਾਂ ਇੱਕ ਉਤਸੁਕਤਾ ਬਣਿਆ ਰਹਿੰਦਾ ਹੈ। ਪਹਿਲਾਂ, ਕੀ ਕਮਿਊਨਿਟੀ ਇਸਨੂੰ V4.1-ਫਲੈਸ਼ ਤੋਂ ਪਰੇ ਹੋਰ ਮਾਡਲ ਆਰਕੀਟੈਕਚਰ ਲਈ ਪੋਰਟ ਕਰਦੀ ਹੈ। ਦੂਜਾ, ਕੀ ਰਿਪੋਜ਼ਟਰੀ ਦੇ ਪ੍ਰਦਰਸ਼ਨ ਟੇਬਲ ਵਿੱਚ ਪ੍ਰਕਾਸ਼ਿਤ ਬੈਂਚਮਾਰਕ ਨਤੀਜੇ DeepSeek ਦੇ ਆਪਣੇ ਕਲੱਸਟਰਾਂ ਦੇ ਬਾਹਰ ਹਾਰਡਵੇਅਰ 'ਤੇ ਬਰਕਰਾਰ ਹਨ। ਤੀਜਾ, ਕੀ ਗੁੰਮ ਹੋਏ ਟੁਕੜੇ — KV ਕੈਸ਼ ਪ੍ਰਬੰਧਨ, ਵਿਸਤਾਰ, ਅਤੇ ਲੋਡ ਸੰਤੁਲਨ — ਭਵਿੱਖ ਦੇ ਰੀਲੀਜ਼ਾਂ ਵਿੱਚ ਆਉਂਦੇ ਹਨ, ਇੰਜਣ ਨੂੰ ਇੱਕ ਸੰਪੂਰਨ ਸਰਵਿੰਗ ਫਰੇਮਵਰਕ ਵਿੱਚ ਬਦਲਦੇ ਹਨ।
ਹੁਣ ਲਈ, ਰੀਲੀਜ਼ ਇੱਕ ਲੈਬ ਤੋਂ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਪਾਰਦਰਸ਼ਤਾ ਚਾਲ ਹੈ ਜਿਸ ਨੇ ਆਪਣੇ ਮਾਡਲਾਂ ਦੇ ਹੇਠਾਂ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਨੂੰ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਨ ਲਈ ਵਾਰ-ਵਾਰ ਚੁਣਿਆ ਹੈ। ਡਿਵੈਲਪਰ ਜੋ ਪ੍ਰਯੋਗ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹਨ ਉਹ ਕਿਸੇ ਵੀ ਸਮਰਥਿਤ ਪਲੇਟਫਾਰਮ 'ਤੇ ਸਰੋਤ ਤੋਂ DeepInfer ਬਣਾ ਸਕਦੇ ਹਨ ਅਤੇ ਇੱਕ ਸਿੰਗਲ ਉਦਾਹਰਨ ਸਕ੍ਰਿਪਟ ਨਾਲ ਔਫਲਾਈਨ ਅਨੁਮਾਨ ਚਲਾ ਸਕਦੇ ਹਨ।
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
