ਕਲਾਉਡਫਲੇਅਰ ਨੇ ਇੱਕ ਵਿਸਤ੍ਰਿਤ ਘਟਨਾ ਰਿਪੋਰਟ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤੀ ਹੈ ਜਿਸ ਵਿੱਚ ਦੱਸਿਆ ਗਿਆ ਹੈ ਕਿ ਕਿਵੇਂ ਇਸਦੇ ਸਰਵਰ ਰਹਿਤ AI ਪਲੇਟਫਾਰਮ ਵਿੱਚ ਇੱਕ ਕੈਸ਼-ਹੈਂਡਲਿੰਗ ਬੱਗ ਨੇ ਇੱਕ GLM-5.3 ਮਾਡਲ ਤੈਨਾਤੀ ਦੇ ਘੱਟੋ-ਘੱਟ 155 ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਦੂਜੇ ਗਾਹਕਾਂ ਦੇ ਪ੍ਰੋਂਪਟ ਅਤੇ ਆਉਟਪੁੱਟ ਦੇ ਟੁਕੜਿਆਂ ਵਾਲੇ ਜਵਾਬ ਪ੍ਰਾਪਤ ਕੀਤੇ। ਰਿਪੋਰਟ, 26 ਅਕਤੂਬਰ ਨੂੰ SGLang ਓਪਨ-ਸੋਰਸ ਇਨਫਰੈਂਸ ਇੰਜਨ ਪ੍ਰੋਜੈਕਟ ਦੇ ਨਾਲ ਇੱਕ ਤਾਲਮੇਲ ਵਾਲੇ ਖੁਲਾਸੇ ਵਜੋਂ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤੀ ਗਈ, ਮਲਟੀ-ਟੇਨੈਂਟ LLM ਸਰਵਿੰਗ ਦੀ ਪਲੰਬਿੰਗ ਦੇ ਅੰਦਰ ਇੱਕ ਦੁਰਲੱਭ ਜਨਤਕ ਦਿੱਖ ਪੇਸ਼ ਕਰਦੀ ਹੈ — ਅਤੇ GPU ਮੈਮੋਰੀ ਦੀਆਂ ਸੁਰੱਖਿਆ ਧਾਰਨਾਵਾਂ ਬਾਰੇ ਇੱਕ ਚੇਤਾਵਨੀ।
ਲੀਕ ਕਿਵੇਂ ਪਾਈ ਗਈ For more context on this story, see our ongoing more AI stories.
Cloudflare ਦੇ ਅਨੁਸਾਰ, Knostic ਦੇ ਸੁਰੱਖਿਆ ਖੋਜਕਰਤਾ Gadi Evron ਨੇ 8 ਸਤੰਬਰ, 2026 ਨੂੰ ਕੰਪਨੀ ਨੂੰ ਇਸਦੇ HackerOne ਬੱਗ ਬਾਊਂਟੀ ਪ੍ਰੋਗਰਾਮ ਰਾਹੀਂ ਸੁਚੇਤ ਕੀਤਾ। ਈਵਰੋਨ ਨੇ ਰਿਪੋਰਟ ਕੀਤੀ ਕਿ ਕਲਾਉਡਫਲੇਅਰ ਦੇ ਵਰਕਰਜ਼ ਏਆਈ ਪਲੇਟਫਾਰਮ 'ਤੇ GLM-5.3 ਮਾਡਲ ਨੂੰ ਭੇਜੇ ਗਏ ਬਹੁਤ ਲੰਬੇ ਪ੍ਰੋਂਪਟ ਕਈ ਵਾਰ ਟੈਕਸਟ ਵਾਪਸ ਕਰਦੇ ਹਨ ਜੋ ਦੂਜੇ ਉਪਭੋਗਤਾਵਾਂ ਦੇ ਸੈਸ਼ਨਾਂ ਨਾਲ ਸਬੰਧਤ ਸੀ। ਕਲਾਉਡਫਲੇਅਰ ਨੇ ਅਗਲੀ ਸਵੇਰ ਇਸ ਮੁੱਦੇ ਨੂੰ ਦੁਬਾਰਾ ਪੇਸ਼ ਕੀਤਾ ਅਤੇ ਉਸੇ ਦਿਨ ਮਾਡਲ ਨੂੰ ਅਸਮਰੱਥ ਕਰ ਦਿੱਤਾ, ਫਿਕਸ ਲਗਾਉਣ ਤੋਂ ਬਾਅਦ 9 ਸਤੰਬਰ ਨੂੰ ਇਸਨੂੰ ਬਹਾਲ ਕੀਤਾ।
ਪ੍ਰਭਾਵਿਤ ਮਾਡਲ @cf/zai-org/glm-5.3 ਸੀ — Z.ai ਤੋਂ ਏਜੰਟਿਕ ਕੋਡਿੰਗ ਮਾਡਲ ਜੋ ਕਿ Cloudflare Workers AI, ਕੰਪਨੀ ਦੇ ਸਰਵਰ ਰਹਿਤ ਇਨਫਰੈਂਸ ਪਲੇਟਫਾਰਮ ਦੁਆਰਾ ਸੇਵਾ ਕਰਦਾ ਹੈ। ਕਲਾਉਡਫਲੇਅਰ ਨੇ ਪੁਸ਼ਟੀ ਕੀਤੀ ਕਿ ਪਲੇਟਫਾਰਮ 'ਤੇ ਹੋਸਟ ਕੀਤਾ ਕੋਈ ਹੋਰ ਮਾਡਲ ਪ੍ਰਭਾਵਿਤ ਨਹੀਂ ਹੋਇਆ ਸੀ।
ਅਸਲ ਵਿੱਚ ਕੀ ਹੋਇਆ
ਇਹ ਘਟਨਾ ਦੋ ਓਵਰਲੈਪਿੰਗ ਸਮੱਸਿਆਵਾਂ ਦਾ ਪਤਾ ਲਗਾਉਂਦੀ ਹੈ, ਇੱਕ ਕਾਰਜਸ਼ੀਲ ਅਤੇ ਇੱਕ ਇੰਜਣ ਵਿੱਚ ਹੀ।
ਪਹਿਲੀ, ਗਲਤ ਸੰਰਚਨਾ. Cloudflare ਨੇ 1,048,576-ਟੋਕਨ ਸੰਦਰਭ ਵਿੰਡੋ ਦੇ ਨਾਲ GLM-5.3 ਨੂੰ ਤੈਨਾਤ ਕੀਤਾ, ਪਰ ਇਸਦੇ ਪ੍ਰੀਫਿਲ GPUs 'ਤੇ ਕੀ-ਵੈਲਯੂ (KV) ਕੈਸ਼ ਪੂਲ ਵਿੱਚ ਸਿਰਫ 681,280 ਟੋਕਨਾਂ ਲਈ ਜਗ੍ਹਾ ਸੀ। ਕੰਪਨੀ ਨੇ ਸਵੀਕਾਰ ਕੀਤਾ ਕਿ ਉਹ ਲਾਂਚ ਤੋਂ ਪਹਿਲਾਂ ਇਸ ਬੇਮੇਲਤਾ ਤੋਂ ਜਾਣੂ ਸੀ ਅਤੇ ਉਮੀਦ ਕਰਦੀ ਹੈ ਕਿ ਅਨੁਮਾਨ ਇੰਜਣ ਵੱਧ-ਲੰਬਾਈ ਦੀਆਂ ਬੇਨਤੀਆਂ ਨੂੰ ਸੁਰੱਖਿਅਤ ਢੰਗ ਨਾਲ ਰੱਦ ਕਰ ਦੇਵੇਗਾ।
ਦੂਜਾ, ਇੰਜਣ ਬੱਗ। ਵਿਸਤ੍ਰਿਤ ਪ੍ਰੀਫਿਲ/ਡੀਕੋਡ ਮੋਡ ਵਿੱਚ — ਆਰਕੀਟੈਕਚਰ ਵਰਕਰਜ਼ AI ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ, ਜਿਸ ਵਿੱਚ GPUs ਦਾ ਇੱਕ ਪੂਲ ਪ੍ਰੋਂਪਟ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਦਾ ਹੈ ਅਤੇ ਨਤੀਜੇ ਵਜੋਂ KV ਕੈਸ਼ ਨੂੰ GPUs ਦੇ ਇੱਕ ਵੱਖਰੇ ਪੂਲ ਵਿੱਚ ਸੌਂਪਦਾ ਹੈ ਜੋ ਜਵਾਬ ਪੈਦਾ ਕਰਦੇ ਹਨ — SGLang ਨੇ ਓਵਰ-ਲੰਬਾਈ ਬੇਨਤੀ ਨੂੰ ਗਲਤ ਢੰਗ ਨਾਲ ਸੰਭਾਲਿਆ। ਇੱਕ ਪ੍ਰੋਂਪਟ ਜੋ ਪੂਲ ਵਿੱਚ ਫਿੱਟ ਨਹੀਂ ਸੀ, ਅੰਦਰੂਨੀ ਤੌਰ 'ਤੇ ਅਸਵੀਕਾਰ ਕੀਤੇ ਵਜੋਂ ਚਿੰਨ੍ਹਿਤ ਕੀਤਾ ਗਿਆ ਸੀ ਅਤੇ ਇੱਕ-ਟੋਕਨ ਪਲੇਸਹੋਲਡਰ ਨਾਲ ਬਦਲਿਆ ਗਿਆ ਸੀ। ਪਰ ਬੇਨਤੀ ਨੂੰ ਅਧੂਰਾ ਛੱਡਣ ਅਤੇ ਇੱਕ ਕਲਾਇੰਟ ਗਲਤੀ ਵਾਪਸ ਕਰਨ ਦੀ ਬਜਾਏ, ਪ੍ਰੀਫਿਲ ਪੜਾਅ ਨੇ ਪਲੇਸਹੋਲਡਰ ਪ੍ਰੋਂਪਟ ਲਈ ਕੇਵੀ ਕੈਸ਼ ਤਿਆਰ ਕੀਤਾ ਅਤੇ ਇਸਨੂੰ ਡੀਕੋਡ ਨੋਡ ਵਿੱਚ ਟ੍ਰਾਂਸਫਰ ਕੀਤਾ, ਜਿਸਨੇ ਫਿਰ ਇੱਕ ਜਵਾਬ ਪੈਦਾ ਕੀਤਾ ਜੋ ਪਿਛਲੀਆਂ ਬੇਨਤੀਆਂ ਤੋਂ ਬਚੇ ਹੋਏ ਡੇਟਾ ਵਿੱਚ ਮਿਲਾਇਆ ਜਾਂਦਾ ਹੈ ਜੋ ਸਮਾਨ ਮੈਮੋਰੀ ਪੰਨਿਆਂ ਨੂੰ ਸਾਂਝਾ ਕਰਦਾ ਹੈ।
ਨਤੀਜਾ: 27 ਅਗਸਤ ਅਤੇ 9 ਸਤੰਬਰ ਦੇ ਵਿਚਕਾਰ, ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰਨ ਵਾਲੇ ਗਾਹਕਾਂ ਦੀ ਇੱਕ ਛੋਟੀ ਜਿਹੀ ਗਿਣਤੀ ਨੂੰ ਜਵਾਬ ਪ੍ਰਾਪਤ ਹੋਏ ਜਿਨ੍ਹਾਂ ਵਿੱਚ ਉਹਨਾਂ ਦੇ ਗਾਹਕਾਂ ਦੀਆਂ ਬੇਨਤੀਆਂ ਤੋਂ ਕੁਝ ਸਮਾਂ ਪਹਿਲਾਂ ਕੀਤਾ ਗਿਆ ਡੇਟਾ ਸ਼ਾਮਲ ਸੀ। ਕੁੱਲ ਮਿਲਾ ਕੇ, 155 ਜਵਾਬ ਪ੍ਰਭਾਵਿਤ ਹੋਏ - ਸਾਰੇ, Cloudflare ਨੇ ਪਾਇਆ, 681,280 ਟੋਕਨਾਂ ਤੋਂ ਵੱਧ ਸਮੇਂ ਲਈ ਪ੍ਰੋਂਪਟ ਕਰਨ ਲਈ।
ਜਾਣਬੁੱਝ ਕੇ ਸ਼ੋਸ਼ਣ ਦਾ ਕੋਈ ਸਬੂਤ ਨਹੀਂ
ਕਲਾਉਡਫਲੇਅਰ ਨੇ ਕਿਹਾ ਕਿ ਇਸਦੀ ਆਪਣੀ ਜਾਂਚ ਅਤੇ ਖੋਜਕਰਤਾ ਦੀਆਂ ਪ੍ਰਮਾਣਿਕਤਾ ਬੇਨਤੀਆਂ ਨੂੰ ਛੱਡਣ ਤੋਂ ਬਾਅਦ, ਪ੍ਰਭਾਵਿਤ ਬੇਨਤੀਆਂ ਆਮ ਲੰਬੇ ਸੰਦਰਭ ਦੀ ਵਰਤੋਂ ਦੇ ਨਾਲ ਸਮੇਂ ਅਤੇ ਮਾਤਰਾ ਵਿੱਚ ਇਕਸਾਰ ਸਨ, ਅਤੇ ਕੰਪਨੀ ਨੂੰ ਕੋਈ ਸਬੂਤ ਨਹੀਂ ਮਿਲਿਆ ਕਿ ਕਿਸੇ ਨੇ ਜਾਣਬੁੱਝ ਕੇ ਬੱਗ ਦਾ ਸ਼ੋਸ਼ਣ ਕੀਤਾ ਹੈ। ਕਿਉਂਕਿ ਹਰੇਕ ਪ੍ਰਭਾਵਿਤ ਬੇਨਤੀ ਹੇਠਲੇ ਆਕਾਰ ਦੇ ਪੂਲ ਦੀ ਸਮਰੱਥਾ ਤੋਂ ਵੱਧ ਗਈ ਸੀ, ਐਕਸਪੋਜ਼ਰ ਵਿੰਡੋ ਨੂੰ ਕੱਸ ਕੇ ਬੰਨ੍ਹਿਆ ਗਿਆ ਸੀ - ਇੱਕ ਸਿਲਵਰ ਲਾਈਨਿੰਗ ਜੋ ਬਹੁਤ ਗਲਤ ਸੰਰਚਨਾ ਤੋਂ ਪੈਦਾ ਹੁੰਦੀ ਹੈ ਜਿਸ ਨਾਲ ਸਮੱਸਿਆ ਪੈਦਾ ਹੋਈ।
ਫਿਕਸ: ਵੱਡੇ ਪੂਲ ਅਤੇ ਇੱਕ ਸੁਰੱਖਿਅਤ ਅਸਫਲਤਾ ਮਾਰਗ
ਉਪਚਾਰ ਨੇ ਅਸਫਲਤਾ ਦੀਆਂ ਦੋਵੇਂ ਪਰਤਾਂ 'ਤੇ ਕੰਮ ਕੀਤਾ। ਕਲਾਉਡਫਲੇਅਰ ਨੇ ਆਪਣੀ GLM-5.2 ਸੰਰਚਨਾ ਨਾਲ ਮੇਲ ਕਰਨ ਲਈ ਆਪਣੀ GLM-5.3 ਤੈਨਾਤੀ ਨੂੰ ਮੁੜ ਸੰਰਚਿਤ ਕੀਤਾ, ਕਾਫ਼ੀ GPU ਮੈਮੋਰੀ ਖਾਲੀ ਕੀਤੀ ਜੋ ਕਿ ਪ੍ਰੀਫਿਲ KV ਪੂਲ ਵਿੱਚ ਹੁਣ ਲਗਭਗ 2.04 ਮਿਲੀਅਨ ਟੋਕਨ ਹਨ — ਮਾਡਲ ਦੀ 1,048,576-ਟੋਕਨ ਸੰਦਰਭ ਲੰਬਾਈ ਤੋਂ ਲਗਭਗ ਦੁੱਗਣਾ। ਇੱਕ ਪ੍ਰਾਉਟ ਜੋ ਸੰਦਰਭ ਵਿੰਡੋ ਵਿੱਚ ਫਿੱਟ ਹੁੰਦਾ ਹੈ ਹੁਣ ਹਮੇਸ਼ਾ ਪੂਲ ਵਿੱਚ ਫਿੱਟ ਹੁੰਦਾ ਹੈ।
ਪਰ ਕੰਪਨੀ ਨੇ ਇਹ ਵੀ ਜ਼ੋਰ ਦਿੱਤਾ ਕਿ ਇਕੱਲੇ ਪੂਲ ਸਾਈਜ਼ਿੰਗ 'ਤੇ ਭਰੋਸਾ ਕਰਨਾ ਨਾਜ਼ੁਕ ਹੈ: ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ, ਟੈਂਸਰ ਸਮਾਨਤਾ, CUDA ਗ੍ਰਾਫ ਆਕਾਰ, ਜਾਂ ਭਵਿੱਖ ਦੇ ਮਾਡਲ ਸੰਸਕਰਣ ਵਿੱਚ ਬਦਲਾਅ ਪੂਲ ਦੇ ਆਕਾਰ ਨੂੰ ਚੁੱਪਚਾਪ ਬਦਲ ਸਕਦੇ ਹਨ। ਇਸ ਲਈ ਇਸਨੇ SGLang ਦੇ ਅਸਵੀਕਾਰ ਮਾਰਗ ਨੂੰ ਵੀ ਪੈਚ ਕੀਤਾ, ਇਹ ਸੁਨਿਸ਼ਚਿਤ ਕਰਦੇ ਹੋਏ ਕਿ ਇੱਕ ਅਸਵੀਕਾਰ ਕੀਤੀ ਬੇਨਤੀ ਇੱਕ ਪਲੇਸਹੋਲਡਰ ਲਈ ਕੈਸ਼ ਬਣਾਉਣ ਅਤੇ ਟ੍ਰਾਂਸਫਰ ਕਰਨ ਦੀ ਬਜਾਏ ਸਾਫ਼ ਤੌਰ 'ਤੇ ਅਧੂਰੀ ਛੱਡਦੀ ਹੈ। ਮਾਡਲ ਨੂੰ ਬਹਾਲ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਖੋਜਕਰਤਾ ਦੀ ਪ੍ਰਜਨਨ ਸਕ੍ਰਿਪਟ ਅਤੇ ਕਲਾਉਡਫਲੇਅਰ ਦੇ ਆਪਣੇ ਕੈਨਰੀ-ਮਾਰਕਰ ਟੈਸਟਾਂ ਦੇ ਵਿਰੁੱਧ ਦੋਵੇਂ ਤਬਦੀਲੀਆਂ ਪ੍ਰਮਾਣਿਤ ਕੀਤੀਆਂ ਗਈਆਂ ਸਨ, ਅਤੇ ਫਿਕਸਸ ਨੂੰ SGLang ਮੇਨਟੇਨਰਜ਼ ਨੂੰ ਅੱਪਸਟ੍ਰੀਮ ਵਿੱਚ ਯੋਗਦਾਨ ਦਿੱਤਾ ਗਿਆ ਹੈ।
ਸ਼ੇਅਰਡ GPU ਮੈਮੋਰੀ ਇੱਕ ਸੁਰੱਖਿਆ ਸਵਾਲ ਕਿਉਂ ਹੈ
ਰਿਪੋਰਟ ਇੱਕ ਅਭਿਆਸ ਦੀ ਵਿਆਖਿਆ ਕਰਦੀ ਹੈ ਜੋ ਬਹੁਤ ਸਾਰੇ ਐਪਲੀਕੇਸ਼ਨ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਹੈਰਾਨ ਕਰ ਦੇਵੇਗੀ: ਅਨੁਮਾਨ ਇੰਜਣ ਆਮ ਤੌਰ 'ਤੇ ਬੇਨਤੀਆਂ ਦੇ ਵਿਚਕਾਰ ਕੇਵੀ ਕੈਸ਼ ਪੰਨਿਆਂ ਨੂੰ ਜ਼ੀਰੋ ਨਹੀਂ ਕਰਦੇ, ਕਿਉਂਕਿ ਅਗਲੀ ਬੇਨਤੀ ਉਹਨਾਂ ਨੂੰ ਸਿਰਫ਼ ਓਵਰਰਾਈਟ ਕਰ ਦਿੰਦੀ ਹੈ। ਇਹ ਇੱਕ ਜਾਣਬੁੱਝ ਕੇ ਪ੍ਰਦਰਸ਼ਨ ਦਾ ਵਪਾਰ ਹੈ, ਜੋ ਕਿ ਅਨੁਮਾਨ ਇੰਜਣਾਂ ਵਿੱਚ ਆਮ ਹੁੰਦਾ ਹੈ, ਪਰ ਜਿਵੇਂ ਕਿ ਇਹ ਘਟਨਾ ਦਰਸਾਉਂਦੀ ਹੈ, ਕੋਈ ਵੀ ਮਾਰਗ ਜੋ ਉਹਨਾਂ ਪੰਨਿਆਂ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਓਵਰਰਾਈਟ ਕੀਤੇ ਜਾਣ ਤੋਂ ਪਹਿਲਾਂ ਇੱਕ ਜਵਾਬ ਪੈਦਾ ਕਰਨ ਦਿੰਦਾ ਹੈ, ਇੱਕ ਪ੍ਰਦਰਸ਼ਨ ਅਨੁਕੂਲਨ ਨੂੰ ਡੇਟਾ-ਲੀਕ ਵੈਕਟਰ ਵਿੱਚ ਬਦਲ ਦਿੰਦਾ ਹੈ।
ਇਹ ਖੁਲਾਸਾ ਡਿਵੈਲਪਰ ਕਮਿਊਨਿਟੀ ਨਾਲ ਹੋਇਆ: ਕਹਾਣੀ ਹੈਕਰ ਨਿਊਜ਼ 'ਤੇ ਘੰਟਿਆਂ ਦੇ ਅੰਦਰ 123 ਪੁਆਇੰਟਾਂ 'ਤੇ ਪਹੁੰਚ ਗਈ, ਇਸ ਗੱਲ 'ਤੇ ਕੇਂਦ੍ਰਤ ਕੀਤੀ ਗਈ ਕਿ ਕਿਵੇਂ ਅਸਫਲਤਾ ਮੋਡ - ਇੱਕ ਬੇਨਤੀ ਜਿਸ ਨੂੰ ਭ੍ਰਿਸ਼ਟ ਸਥਿਤੀ 'ਤੇ ਚੁੱਪਚਾਪ ਅੱਗੇ ਵਧਣ ਦੀ ਬਜਾਏ ਉੱਚੀ ਆਵਾਜ਼ ਵਿੱਚ ਅਸਫਲ ਹੋਣਾ ਚਾਹੀਦਾ ਸੀ - ਵਿਤਰਿਤ ਸਿਸਟਮ ਇੰਜਨੀਅਰਿੰਗ ਦੇ ਕਲਾਸਿਕ ਪਾਠਾਂ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ।
AI ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਲਈ ਇੱਕ ਵਿਆਪਕ ਸਬਕ
ਇਹ ਘਟਨਾ ਇੱਕ ਯਾਦ ਦਿਵਾਉਂਦੀ ਹੈ ਕਿ AI ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ ਸੁਰੱਖਿਆ ਘੇਰਾ ਹੁਣ ਇਨਫਰੈਂਸ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਵਿੱਚ ਡੂੰਘਾ ਵਿਸਤ੍ਰਿਤ ਹੈ। ਬਹੁ-ਕਿਰਾਏਦਾਰ ਮਾਡਲ ਦੀ ਸੇਵਾ ਸ਼ੇਅਰਡ ਐਕਸਲੇਟਰਾਂ, ਸ਼ੇਅਰਡ ਕੈਸ਼ ਪੂਲ, ਅਤੇ ਵਿਸਤ੍ਰਿਤ ਪ੍ਰੀਫਿਲ ਅਤੇ ਰਿਮੋਟ ਡਾਇਰੈਕਟ ਮੈਮੋਰੀ ਐਕਸੈਸ ਵਰਗੇ ਵਧ ਰਹੇ ਵਿਦੇਸ਼ੀ ਆਰਕੀਟੈਕਚਰ ਦੁਆਰਾ ਬਹੁਤ ਸਾਰੇ ਗਾਹਕਾਂ ਦੇ ਡੇਟਾ ਨੂੰ ਕੇਂਦਰਿਤ ਕਰਦੀ ਹੈ। ਇੱਕ ਮਾਡਲ ਦੀ ਇਸ਼ਤਿਹਾਰੀ ਸੰਦਰਭ ਵਿੰਡੋ ਅਤੇ ਇਸਦੀ ਸੇਵਾ ਕਰਨ ਲਈ ਪ੍ਰਦਾਨ ਕੀਤੀ ਗਈ ਭੌਤਿਕ ਸਮਰੱਥਾ ਵਿਚਕਾਰ ਇੱਕ ਸੂਖਮ ਬੇਮੇਲ ਕਿਰਾਏਦਾਰ ਅਲੱਗ-ਥਲੱਗਤਾ ਦੀ ਉਲੰਘਣਾ ਕਰਨ ਲਈ ਕਾਫ਼ੀ ਸੀ।
ਸਰਵਰ ਰਹਿਤ AI ਪਲੇਟਫਾਰਮਾਂ 'ਤੇ ਨਿਰਮਾਣ ਕਰਨ ਵਾਲੇ ਉੱਦਮਾਂ ਲਈ, Cloudflare ਦੀ ਰਿਪੋਰਟ ਤੋਂ ਪ੍ਰਾਪਤੀ ਦੁੱਗਣੀ ਹੈ: LLM ਸਰਵਿੰਗ ਵਿੱਚ ਕਿਰਾਏਦਾਰ ਅਲੱਗ-ਥਲੱਗ ਬੱਗ ਅਸਲ ਹਨ ਅਤੇ ਉਤਪਾਦਨ ਵਿੱਚ ਪਹਿਲਾਂ ਹੀ ਵਾਪਰ ਚੁੱਕੇ ਹਨ, ਅਤੇ ਵਿਕਰੇਤਾਵਾਂ ਦਾ ਜਵਾਬ ਸਮਾਂ — ਰਿਪੋਰਟ ਤੋਂ ਅਯੋਗ ਹੋਣ ਤੱਕ 24 ਘੰਟਿਆਂ ਤੋਂ ਘੱਟ, ਠੀਕ ਕਰਨ ਅਤੇ ਮੁੜ ਬਹਾਲ ਕਰਨ ਲਈ ਇੱਕ ਦਿਨ — ਕਿਸੇ ਵੀ ਸੰਵੇਦਕ ਹੈਂਡਲਿੰਗ ਪ੍ਰਦਾਨ ਕਰਨ ਵਾਲੇ ਤੋਂ ਮੰਗ ਕਰਨ ਲਈ ਮਿਹਨਤ ਦਾ ਮਿਆਰ ਹੈ।
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
