Qualcomm ਨੇ Cloud AI 100 Ultra ਨੂੰ ਲਾਂਚ ਕੀਤਾ ਹੈ, ਇੱਕ ਡੇਟਾ ਸੈਂਟਰ ਇਨਫਰੈਂਸ ਐਕਸਲੇਟਰ ਜੋ INT8 ਪ੍ਰਦਰਸ਼ਨ ਦੇ 870 TOPS ਅਤੇ FP16 ਕੰਪਿਊਟ ਦੇ 288 TFLOPS ਤੱਕ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ ਜਦੋਂ ਕਿ ਸਿਰਫ 150 ਵਾਟਸ ਡਰਾਇੰਗ ਕਰਦਾ ਹੈ - GPUs ਦੇ ਪਾਵਰ ਲਿਫਾਫੇ ਦਾ ਇੱਕ ਹਿੱਸਾ ਜੋ ਵਰਤਮਾਨ ਵਿੱਚ ਸੰਦਰਭ ਜਨਰੇਸ਼ਨ ਵਿੱਚ ਹਾਵੀ ਹੈ।

ਕਾਰਡ, Qualcomm ਦੇ ਅਧਿਕਾਰਤ ਡਾਟਾ ਸੈਂਟਰ ਉਤਪਾਦ ਪੇਜ 'ਤੇ ਸੂਚੀਬੱਧ ਹੈ ਅਤੇ ਲਾਂਚ ਕਵਰੇਜ ਵਿੱਚ ਵਿਸਤ੍ਰਿਤ ਹੈ, ਖਾਸ ਤੌਰ 'ਤੇ ਜਨਰੇਟਿਵ AI ਅਤੇ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲ ਵਰਕਲੋਡ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ। ਇਹ ਮੋਬਾਈਲ ਚਿੱਪ ਦਿੱਗਜ ਨੂੰ ਅਨੁਮਾਨ ਬਜ਼ਾਰ ਵਿੱਚ ਇੱਕ ਸਿੱਧੇ ਚੁਣੌਤੀ ਦੇ ਰੂਪ ਵਿੱਚ ਰੱਖਦਾ ਹੈ, ਜਿੱਥੇ ਮੰਗ ਵਧ ਰਹੀ ਹੈ ਕਿਉਂਕਿ ਉੱਦਮ ਏਆਈ ਏਜੰਟ, ਕੋਪਾਇਲਟ ਅਤੇ ਪੁਨਰ-ਪ੍ਰਾਪਤੀ-ਵਧੀਆਂ ਐਪਲੀਕੇਸ਼ਨਾਂ ਨੂੰ ਪੈਮਾਨੇ 'ਤੇ ਤਾਇਨਾਤ ਕਰਦੇ ਹਨ। AI ਹਾਰਡਵੇਅਰ ਰੇਸ ਬਾਰੇ ਹੋਰ ਪ੍ਰਸੰਗ ਲਈ, ਸਾਡੀ AI ਨਿਊਜ਼ ਕਵਰੇਜ ਦੇਖੋ।

ਸਪੈਕਸ: SRAM ਪਹਿਲਾ, DRAM ਦੂਜਾ

ਕਲਾਉਡ AI 100 ਅਲਟਰਾ ਦੇ ਦਿਲ ਵਿੱਚ 64 AI ਕੋਰ ਅਤੇ 576 MB ਆਨ-ਡਾਈ SRAM ਹਨ। ਕੁਆਲਕਾਮ ਦੀ ਸ਼ਰਤ ਇਹ ਹੈ ਕਿ ਮਾਡਲ ਵਜ਼ਨ ਅਤੇ ਐਕਟੀਵੇਸ਼ਨਾਂ ਨੂੰ ਸਰੀਰਕ ਤੌਰ 'ਤੇ ਕੰਪਿਊਟ ਯੂਨਿਟਾਂ ਦੇ ਨੇੜੇ ਰੱਖਣਾ - ਹਰ ਟੋਕਨ ਨੂੰ ਬਾਹਰੀ ਮੈਮੋਰੀ 'ਤੇ ਬੰਦ ਕਰਨ ਦੀ ਬਜਾਏ - ਟ੍ਰਾਂਸਫਾਰਮਰ-ਅਧਾਰਿਤ ਮਾਡਲਾਂ ਲਈ ਭੁਗਤਾਨ ਕਰਦਾ ਹੈ, ਜੋ ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ 'ਤੇ ਰਹਿੰਦੇ ਅਤੇ ਮਰਦੇ ਹਨ।

ਕਾਰਡ ਵਿੱਚ ਅਜੇ ਵੀ 128 GB ਦੀ LPDDR4x ਮੈਮੋਰੀ ਹੈ ਜਿਸ ਵਿੱਚ ਵੱਡੇ ਮਾਡਲਾਂ ਅਤੇ ਲੰਬੇ ਸੰਦਰਭਾਂ ਲਈ 548 GB/s ਬੈਂਡਵਿਡਥ ਹੈ, 16 ਲੇਨਾਂ ਨਾਲ PCIe Gen4 ਨਾਲ ਜੁੜਿਆ ਹੋਇਆ ਹੈ। ਉਹ ਸੁਮੇਲ — ਵੱਡਾ ਆਨ-ਡਾਈ SRAM ਅਤੇ ਇੱਕ ਮਾਮੂਲੀ 150W ਪਾਵਰ ਡਰਾਅ — ਕਾਰਡ ਦਾ ਵੱਖਰਾ ਕਰਨ ਵਾਲਾ ਹੈ। Nvidia ਦੇ ਡਾਟਾ ਸੈਂਟਰ GPUs ਦੀ ਰੇਂਜ ਆਮ ਤੌਰ 'ਤੇ 300W ਤੋਂ 700W ਤੱਕ ਹੁੰਦੀ ਹੈ, ਅਤੇ ਹਰ ਵਾਟ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ ਜਦੋਂ ਅਨੁਮਾਨ ਟੋਕਨ ਦੁਆਰਾ ਬਿਲ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਅਤੇ ਡੇਟਾ ਸੈਂਟਰ ਪਾਵਰ ਉਦਯੋਗ ਦਾ ਸਭ ਤੋਂ ਵੱਧ ਮੁਕਾਬਲੇ ਵਾਲਾ ਸਰੋਤ ਹੈ।

"ਕਲਾਉਡ AI 100 ਅਲਟਰਾ ਇੱਕ ਪ੍ਰਦਰਸ਼ਨ- ਅਤੇ ਲਾਗਤ-ਅਨੁਕੂਲਿਤ AI ਅਨੁਮਾਨ ਹੱਲ ਹੈ," ਕੰਪਨੀ ਨੇ ਕੰਪਿਊਟਰ ਵਿਜ਼ਨ ਤੋਂ ਲੈ ਕੇ ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਪ੍ਰੋਸੈਸਿੰਗ ਤੱਕ ਦੇ ਵਰਕਲੋਡਾਂ ਵਿੱਚ ਪ੍ਰੋਗਰਾਮੇਬਿਲਟੀ 'ਤੇ ਜ਼ੋਰ ਦਿੰਦੇ ਹੋਏ, ਆਪਣੀ ਉਤਪਾਦ ਸਮੱਗਰੀ ਵਿੱਚ ਕਿਹਾ।

ਸੌਫਟਵੇਅਰ: ਇੱਕ OpenAI- ਅਨੁਕੂਲ ਆਨ-ਰੈਂਪ

ਡਾਟਾ ਸੈਂਟਰ ਵਿੱਚ ਹਾਰਡਵੇਅਰ ਕਦੇ ਵੀ ਕੁਆਲਕਾਮ ਦੀ ਸਮੱਸਿਆ ਨਹੀਂ ਰਿਹਾ; ਸਾਫਟਵੇਅਰ ਹੈ. ਕੰਪਨੀ ਇਸ ਗੱਲ ਨੂੰ ਸੰਬੋਧਿਤ ਕਰ ਰਹੀ ਹੈ ਕਿ ਇਸਦੇ AI ਇਨਫਰੈਂਸ ਸੂਟ ਦੇ ਨਾਲ, ਇੱਕ ਸਾਫਟਵੇਅਰ ਪਰਤ ਜੋ ਚੈਟਬੋਟਸ, ਕੋਪਾਇਲਟ ਅਤੇ AI ਏਜੰਟ ਬਣਾਉਣ ਲਈ OpenAI- ਅਨੁਕੂਲ APIs ਦਾ ਪਰਦਾਫਾਸ਼ ਕਰਦੀ ਹੈ।

ਸੂਟ ਚੈਟ, ਚਿੱਤਰ ਜਨਰੇਸ਼ਨ, ਮਲਟੀਮੋਡਲ ਮਾਡਲਾਂ ਅਤੇ ਰੀਟ੍ਰੀਵਲ-ਐਗਮੈਂਟੇਡ ਜਨਰੇਸ਼ਨ (RAG) ਵਰਕਫਲੋ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ, ਅਤੇ ਕੁਬਰਨੇਟਸ ਜਾਂ ਬੇਅਰ-ਮੈਟਲ ਕੰਟੇਨਰਾਂ ਦੁਆਰਾ ਤੈਨਾਤ ਕਰਦਾ ਹੈ। ਕੁਆਲਕਾਮ ਉਪਭੋਗਤਾ ਪ੍ਰਬੰਧਨ ਅਤੇ ਪ੍ਰਸ਼ਾਸਨ ਟੂਲ ਵੀ ਭੇਜਦਾ ਹੈ - ਇੱਕ ਬੇਮਿਸਾਲ ਜੋੜ ਜਿਸ ਵਿੱਚ ਕੱਚੇ ਐਕਸਲੇਟਰ ਪੇਸ਼ਕਸ਼ਾਂ ਦੀ ਅਕਸਰ ਘਾਟ ਹੁੰਦੀ ਹੈ, ਪਰ ਇੱਕ ਜੋ ਇੰਟਰਪ੍ਰਾਈਜ਼ ਆਈਟੀ ਟੀਮਾਂ ਦਾ ਭਾਰ ਬਹੁਤ ਜ਼ਿਆਦਾ ਹੁੰਦਾ ਹੈ ਜਦੋਂ ਉਹ ਘਰ ਵਿੱਚ ਕੰਮ ਦੇ ਬੋਝ ਨੂੰ ਮੂਵ ਕਰਦੇ ਹਨ।

ਓਪਨਏਆਈ-ਅਨੁਕੂਲ API ਸਤਹ ਰਣਨੀਤਕ ਤੌਰ 'ਤੇ ਮਹੱਤਵਪੂਰਨ ਹੈ: ਇਹ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਕੁਆਲਕਾਮ ਹਾਰਡਵੇਅਰ 'ਤੇ ਮੌਜੂਦਾ ਓਪਨਏਆਈ-ਬਾਉਂਡ ਪਾਈਪਲਾਈਨਾਂ ਨੂੰ ਮੁੜ ਲਿਖਣ ਦੀ ਬਜਾਏ ਇੱਕ ਸੰਰਚਨਾ ਤਬਦੀਲੀ ਨਾਲ ਦਰਸਾਉਣ ਦਿੰਦਾ ਹੈ, ਸਵਿਚਿੰਗ ਲਾਗਤ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ ਜਿਸ ਨੇ ਇਸ ਮਾਰਕੀਟ ਵਿੱਚ ਅਧਿਕਾਰ ਨੂੰ ਸੁਰੱਖਿਅਤ ਕੀਤਾ ਹੈ।

ਇੱਕ ਸਾਫ਼ ਲੀਡਰ ਵਾਲਾ ਭੀੜ ਵਾਲਾ ਮੈਦਾਨ

ਕੁਆਲਕਾਮ ਇੱਕ ਅਨੁਮਾਨ ਬਾਜ਼ਾਰ ਵਿੱਚ ਦਾਖਲ ਹੁੰਦਾ ਹੈ ਜੋ AI ਹਾਰਡਵੇਅਰ ਚੱਕਰ ਦਾ ਮੈਦਾਨ ਬਣ ਗਿਆ ਹੈ। Nvidia ਦਾ L40S ਅਤੇ H100 ਹਾਵੀ ਹੈ; AMD ਦੇ MI300X ਅਤੇ Intel ਦੇ Gaudi 3 ਇੱਕੋ ਵਰਕਲੋਡ ਨੂੰ ਨਿਸ਼ਾਨਾ ਬਣਾਉਂਦੇ ਹਨ; ਅਤੇ Groq ਅਤੇ Cerebras ਤੋਂ ਵਿਸ਼ੇਸ਼ ਸਿਲੀਕਾਨ ਨੇ ਕੱਚੀ ਅਨੁਮਾਨ ਦੀ ਗਤੀ 'ਤੇ ਸਥਾਨ ਬਣਾਏ ਹਨ।

ਮੰਗ ਵਾਲਾ ਪੱਖ ਰਗੜ ਦੀ ਵਿਆਖਿਆ ਕਰਦਾ ਹੈ। AI ਏਜੰਟਾਂ ਅਤੇ RAG ਪਾਈਪਲਾਈਨਾਂ ਦੀ ਸੇਵਾ ਕਰਨਾ ਇੱਕ ਸਿੰਗਲ ਉਪਭੋਗਤਾ ਸੈਸ਼ਨ ਦੁਆਰਾ ਤਿਆਰ ਕੀਤੇ ਮਾਡਲ ਕਾਲਾਂ ਦੀ ਸੰਖਿਆ ਨੂੰ ਗੁਣਾ ਕਰਦਾ ਹੈ, ਅਤੇ ਉਹਨਾਂ ਕਾਲਾਂ ਵਿੱਚੋਂ ਹਰ ਇੱਕ ਇੱਕ ਅਨੁਮਾਨ ਸਮੱਸਿਆ ਹੈ ਜੋ ਪ੍ਰਤੀ ਟੋਕਨ ਦੀ ਸਭ ਤੋਂ ਘੱਟ ਕੀਮਤ 'ਤੇ ਹੱਲ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ। ਹਾਈਪਰਸਕੇਲਰ ਇਸ ਨੂੰ ਸੰਭਾਲਣ ਲਈ ਫਲੈਗਸ਼ਿਪ GPU ਦੇ ਰੈਕ ਖਰੀਦਦੇ ਹਨ; ਉਹਨਾਂ ਦੇ ਹੇਠਾਂ ਵਾਲੇ ਉੱਦਮ ਉਹਨਾਂ ਹਾਰਡਵੇਅਰ ਦੀ ਭਾਲ ਕਰ ਰਹੇ ਹਨ ਜੋ ਇੱਕ ਮਿਆਰੀ ਸਰਵਰ ਵਿੱਚ ਫਿੱਟ ਹੋਣ, ਇੱਕ ਮਿਆਰੀ ਪਾਵਰ ਸਰਕਟ ਉੱਤੇ, ਉਹਨਾਂ ਦੇ ਬਿਜਲੀ ਦੇ ਇਕਰਾਰਨਾਮੇ ਨੂੰ ਮੁੜ-ਗਈਬਾਤ ਕੀਤੇ ਬਿਨਾਂ।

ਕੁਆਲਕਾਮ ਦੀ ਪਿੱਚ ਉੱਚ ਪ੍ਰਦਰਸ਼ਨ ਦੀ ਬਜਾਏ ਮਲਕੀਅਤ ਦੀ ਕੁੱਲ ਲਾਗਤ ਹੈ। ਪੈਮਾਨੇ 'ਤੇ ਅਨੁਮਾਨਾਂ ਨੂੰ ਚਲਾਉਣ ਵਾਲੇ ਉੱਦਮਾਂ ਲਈ, ਬਿਜਲੀ ਦੀ ਖਪਤ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਓਪਰੇਟਿੰਗ ਖਰਚਿਆਂ ਵਿੱਚ ਵਹਿੰਦੀ ਹੈ, ਅਤੇ 150W 'ਤੇ ਪ੍ਰਤੀਯੋਗੀ ਥ੍ਰੋਪੁੱਟ ਪ੍ਰਦਾਨ ਕਰਨ ਵਾਲਾ ਇੱਕ ਕਾਰਡ ਬਰੂਟ-ਫੋਰਸ GPUs ਦੇ ਅਰਥ ਸ਼ਾਸਤਰ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ। ਸਿਖਲਾਈ ਐਨਵੀਡੀਆ ਦਾ ਡੋਮੇਨ ਬਣੀ ਹੋਈ ਹੈ — ਅਲਟਰਾ ਇਸ 'ਤੇ ਕੋਈ ਦਾਅਵਾ ਨਹੀਂ ਕਰਦਾ — ਪਰ ਅਨੁਮਾਨ ਉਹ ਹੈ ਜਿੱਥੇ ਉਦਯੋਗ ਦੀ ਇਕਾਈ ਅਰਥ ਸ਼ਾਸਤਰ ਦਾ ਅਸਲ ਵਿੱਚ ਫੈਸਲਾ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਇਹ ਕੰਮ ਦਾ ਬੋਝ ਹੈ ਜ਼ਿਆਦਾਤਰ ਉੱਦਮ ਆਪਣੇ ਆਪ ਨੂੰ ਚਲਾਉਣਗੇ, ਭਾਵੇਂ ਇੱਕ ਆਨ-ਪ੍ਰੀਮਿਸਸ ਕਲੱਸਟਰ ਵਿੱਚ ਜਾਂ ਇੱਕ ਕਲੋਕੇਸ਼ਨ ਪਿੰਜਰੇ ਵਿੱਚ।

ਸਾਫਟਵੇਅਰ ਈਕੋਸਿਸਟਮ ਉਪਰਲੀ ਲੜਾਈ ਬਣੀ ਹੋਈ ਹੈ। ਐਨਵੀਡੀਆ ਦਾ ਸੀਯੂਡੀਏ ਪਲੇਟਫਾਰਮ ਅਜੇ ਵੀ ਜ਼ਿਆਦਾਤਰ ਏਆਈ ਡਿਵੈਲਪਰਾਂ ਲਈ ਡਿਫੌਲਟ ਵਿਕਲਪ ਹੈ, ਅਤੇ ਜਦੋਂ ਕਿ ਓਪਨਏਆਈ-ਅਨੁਕੂਲ API ਦਾਖਲੇ ਦੀ ਰੁਕਾਵਟ ਨੂੰ ਘੱਟ ਕਰਦੇ ਹਨ, ਉਹ ਕਸਟਮ ਇਨਫਰੈਂਸ ਪਾਈਪਲਾਈਨਾਂ ਲਈ ਲੋੜੀਂਦੇ ਮੁੜ ਕੰਮ ਨੂੰ ਖਤਮ ਨਹੀਂ ਕਰਦੇ ਹਨ।

ਜਿੱਥੇ ਇਹ Qualcomm ਦੇ ਲਾਈਨਅੱਪ ਵਿੱਚ ਫਿੱਟ ਬੈਠਦਾ ਹੈ

ਅਲਟਰਾ Qualcomm ਦੇ ਇਨਫਰੈਂਸ ਲਾਈਨਅੱਪ ਦੇ ਸਿਖਰ 'ਤੇ ਬੈਠਦਾ ਹੈ, ਜਿਸ ਵਿੱਚ Cloud AI 80 Ultra (SRAM ਦੇ ਉਸੇ 576 MB ਦੇ ਨਾਲ INT8 ਦੇ 618 TOPS ਤੱਕ), ਕਲਾਊਡ AI 100 ਪ੍ਰੋ, ਅਤੇ ਕਲਾਊਡ AI 100 ਸਟੈਂਡਰਡ, ਜੋ ਕਿ 5W ਸਕੇਲ ਦੇ 5W ਸਕੇਲ ਦੇ ਨਾਲ ਕਿਨਾਰੇ ਅਤੇ ਛੋਟੇ-ਮੋਟੇ ਪਾਵਰਾਂ ਨੂੰ ਨਿਸ਼ਾਨਾ ਬਣਾਉਂਦਾ ਹੈ।

ਲਾਂਚ Qualcomm ਦੇ Dragonfly ਡਾਟਾ ਸੈਂਟਰ ਰੋਡਮੈਪ ਦੀ ਮੌਜੂਦਾ ਪੀੜ੍ਹੀ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ, ਜਿਸ ਨੂੰ ਕੰਪਨੀ ਕਲਾਉਡ-ਸਕੇਲ AI ਵਰਕਲੋਡ ਲਈ ਵਿਕਸਤ ਕਰ ਰਹੀ ਹੈ - ਅਤੇ ਜੋ ਹੁਣ Qualcomm ਨੂੰ ਉਹਨਾਂ ਉੱਦਮਾਂ ਲਈ ਇੱਕ ਦਲੀਲ ਦਿੰਦਾ ਹੈ ਜੋ ਜਨਤਕ ਕਲਾਉਡ ਦੀ ਬਜਾਏ ਜਨਰੇਟਿਵ AI ਇਨਫਰੈਂਸ ਨੂੰ ਆਨ-ਪ੍ਰੀਮਿਸਸ ਚਲਾਉਣਾ ਚਾਹੁੰਦੇ ਹਨ, ਚਾਹੇ ਲਾਗਤ, ਲੇਟੈਂਸੀ ਜਾਂ ਡਾਟਾ ਗਵਰਨੈਂਸ ਕਾਰਨ ਹੋਵੇ।

ਬਾਜ਼ੀ, ਇੱਕ ਵਾਕ ਵਿੱਚ

ਕੁਆਲਕਾਮ ਇਹ ਦਾਅਵਾ ਕਰ ਰਿਹਾ ਹੈ ਕਿ ਜਿਵੇਂ ਕਿ AI ਮੁੱਠੀ ਭਰ ਹਾਈਪਰਸਕੇਲਰ ਤੋਂ ਹਜ਼ਾਰਾਂ ਉੱਦਮਾਂ ਤੱਕ ਜਾਂਦਾ ਹੈ, ਜਿੱਤਣ ਵਾਲਾ ਅਨੁਮਾਨ ਕਾਰਡ ਸਭ ਤੋਂ ਤੇਜ਼ ਨਹੀਂ ਬਲਕਿ ਸਭ ਤੋਂ ਕੁਸ਼ਲ ਕਾਰਡ ਹੈ। ਕਲਾਉਡ AI 100 ਅਲਟਰਾ ਸਿਲੀਕਾਨ ਵਿੱਚ ਉਹ ਦਲੀਲ ਹੈ; ਕੀ ਡਿਵੈਲਪਰ ਵਾਟਸ ਦੀ ਪਾਲਣਾ ਕਰਦੇ ਹਨ, ਇਹ ਖੁੱਲਾ ਸਵਾਲ ਹੈ।

---

AI ਤੋਂ ਅੱਗੇ ਰਹੋ

ਨਵੀਨਤਮ AI ਖਬਰਾਂ, ਵਿਸ਼ਲੇਸ਼ਣ ਅਤੇ ਸਫਲਤਾਵਾਂ ਪ੍ਰਾਪਤ ਕਰੋ - ਸਭ ਇੱਕ ਥਾਂ 'ਤੇ।

ਹੋਰ AI ਖਬਰਾਂ ਪੜ੍ਹੋ →