DeepSeek ਨੇ DSpark ਜਾਰੀ ਕੀਤਾ ਹੈ, ਇੱਕ ਓਪਨ-ਸਰੋਤ ਸੱਟੇਬਾਜ਼ੀ ਡੀਕੋਡਿੰਗ ਫਰੇਮਵਰਕ ਜੋ ਕਿ ਕੰਪਨੀ ਦਾ ਕਹਿਣਾ ਹੈ ਕਿ ਆਉਟਪੁੱਟ ਗੁਣਵੱਤਾ ਵਿੱਚ ਕਿਸੇ ਵੀ ਨੁਕਸਾਨ ਦੇ ਬਿਨਾਂ ਲਾਈਵ ਟ੍ਰੈਫਿਕ ਦੇ ਅਧੀਨ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲ (LLM) ਅਨੁਮਾਨ ਨੂੰ 85% ਤੱਕ ਵਧਾਉਂਦਾ ਹੈ। ਡੀਪਸੀਕ-ਏਆਈ ਅਤੇ ਪੇਕਿੰਗ ਯੂਨੀਵਰਸਿਟੀ ਦੇ ਇੱਕ ਨਵੇਂ ਪੇਪਰ ਵਿੱਚ ਦੱਸਿਆ ਗਿਆ ਹੈ, ਸਿਸਟਮ ਪਹਿਲਾਂ ਹੀ ਡੀਪਸੀਕ-ਵੀ4 ਸਰਵਿੰਗ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦੇ ਅੰਦਰ ਚੱਲ ਰਿਹਾ ਹੈ ਜੋ ਅਸਲ ਉਪਭੋਗਤਾ ਬੇਨਤੀਆਂ ਨੂੰ ਸੰਭਾਲਦਾ ਹੈ।
ਕੰਮ ਉਤਪਾਦਨ AI ਵਿੱਚ ਸਭ ਤੋਂ ਜ਼ਿੱਦੀ ਸਮੱਸਿਆਵਾਂ ਵਿੱਚੋਂ ਇੱਕ ਨਾਲ ਨਜਿੱਠਦਾ ਹੈ: ਅਨੁਮਾਨ ਹੌਲੀ ਹੈ ਕਿਉਂਕਿ ਮਾਡਲ ਇੱਕ ਸਮੇਂ ਵਿੱਚ ਟੈਕਸਟ ਇੱਕ ਟੋਕਨ ਤਿਆਰ ਕਰਦੇ ਹਨ, ਹਰ ਇੱਕ ਨੂੰ ਨੈੱਟਵਰਕ ਦੁਆਰਾ ਪੂਰਾ ਪਾਸ ਕਰਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਸਪੈਕੂਲੇਟਿਵ ਡੀਕੋਡਿੰਗ ਇੱਕ ਪ੍ਰਸਿੱਧ ਉਪਾਅ ਹੈ ਜਿਸ ਵਿੱਚ ਇੱਕ ਛੋਟਾ, ਤੇਜ਼ "ਡਰਾਫਟ" ਮਾਡਲ ਟੋਕਨਾਂ ਦੇ ਇੱਕ ਬਲਾਕ ਦਾ ਪ੍ਰਸਤਾਵ ਦਿੰਦਾ ਹੈ ਜਿਸਦੀ ਫੁੱਲ-ਸਾਈਜ਼ ਮਾਡਲ ਫਿਰ ਇੱਕ ਸਿੰਗਲ ਪਾਸ ਵਿੱਚ ਪੁਸ਼ਟੀ ਕਰਦਾ ਹੈ, ਸਭ ਤੋਂ ਲੰਬੇ ਸਹੀ ਅਗੇਤਰ ਨੂੰ ਸਵੀਕਾਰ ਕਰਦਾ ਹੈ। ਕਿਉਂਕਿ ਤਸਦੀਕ ਸਮਾਨਾਂਤਰ ਅਤੇ ਗਣਿਤਿਕ ਤੌਰ 'ਤੇ ਸਹੀ ਹੈ, ਇਹ ਅਸਲ ਮਾਡਲ ਦੀ ਵੰਡ ਨੂੰ ਸੁਰੱਖਿਅਤ ਰੱਖਦੇ ਹੋਏ ਚੀਜ਼ਾਂ ਨੂੰ ਤੇਜ਼ ਕਰਦਾ ਹੈ। DSpark, GitHub 'ਤੇ DeepSpec ਟ੍ਰੇਨਿੰਗ ਰਿਪੋਜ਼ਟਰੀ ਦੇ ਨਾਲ-ਨਾਲ ਜਾਰੀ ਕੀਤਾ ਗਿਆ, ਛੇਤੀ ਹੀ ਹੈਕਰ ਨਿਊਜ਼ 'ਤੇ ਸਭ ਤੋਂ ਵੱਧ ਚਰਚਾ ਕੀਤੀ AI ਇੰਜੀਨੀਅਰਿੰਗ ਕਹਾਣੀਆਂ ਵਿੱਚੋਂ ਇੱਕ ਬਣ ਗਿਆ। For more context on this story, see our ongoing latest AI developments.
ਮੌਜੂਦਾ ਸੱਟੇਬਾਜ਼ੀ ਡੀਕੋਡਿੰਗ ਇੱਕ ਕੰਧ ਨੂੰ ਕਿਉਂ ਮਾਰਦੀ ਹੈ
ਹਾਲੀਆ ਅਟਕਲਾਂ ਵਾਲੀ ਡੀਕੋਡਿੰਗ ਖੋਜ "ਸਮਾਂਤਰ ਡਰਾਫਟਰਾਂ" ਵੱਲ ਵਧੀ ਹੈ ਜੋ ਇੱਕ ਸਿੰਗਲ ਫਾਰਵਰਡ ਪਾਸ ਵਿੱਚ ਉਮੀਦਵਾਰ ਟੋਕਨਾਂ ਦਾ ਇੱਕ ਪੂਰਾ ਬਲਾਕ ਤਿਆਰ ਕਰਦੇ ਹਨ, ਡਰਾਫਟ ਲੇਟੈਂਸੀ ਨੂੰ ਬਲਾਕ ਆਕਾਰ ਤੋਂ ਲਗਭਗ ਸੁਤੰਤਰ ਬਣਾਉਂਦੇ ਹਨ। ਡੀਐਸਪਾਰਕ ਪੇਪਰ ਦੋ ਰੁਕਾਵਟਾਂ ਦੀ ਪਛਾਣ ਕਰਦਾ ਹੈ ਜਿਨ੍ਹਾਂ ਨੇ ਇਹਨਾਂ ਤਰੀਕਿਆਂ ਨੂੰ ਆਪਣੇ ਵਾਅਦੇ ਨੂੰ ਪੈਮਾਨੇ 'ਤੇ ਪੂਰਾ ਕਰਨ ਤੋਂ ਰੋਕਿਆ ਹੈ।
ਪਹਿਲੀ ਇੱਕ ਗੁਣਵੱਤਾ ਸਮੱਸਿਆ ਹੈ. ਕਿਉਂਕਿ ਪੈਰਲਲ ਡਰਾਫਟਰ ਹਰੇਕ ਸਥਿਤੀ ਦੀ ਸੁਤੰਤਰ ਤੌਰ 'ਤੇ ਭਵਿੱਖਬਾਣੀ ਕਰਦੇ ਹਨ, ਉਹ ਮਾਡਲ ਨਹੀਂ ਕਰ ਸਕਦੇ ਕਿ ਕਿਵੇਂ ਇੱਕ ਬਲਾਕ ਦੇ ਅੰਦਰ ਟੋਕਨ ਇੱਕ ਦੂਜੇ 'ਤੇ ਨਿਰਭਰ ਕਰਦੇ ਹਨ। ਖੋਜਕਰਤਾ ਦਰਸਾਉਂਦੇ ਹਨ ਕਿ ਇਹ "ਮਲਟੀ-ਮੋਡਲ ਟੱਕਰਾਂ" ਵੱਲ ਲੈ ਜਾਂਦਾ ਹੈ ਅਤੇ ਡਰਾਫਟ ਬਲਾਕ ਵਿੱਚ ਬਾਅਦ ਦੀਆਂ ਸਥਿਤੀਆਂ 'ਤੇ ਤੇਜ਼ੀ ਨਾਲ ਸਵੀਕ੍ਰਿਤੀ ਸੜਦਾ ਹੈ, ਇੱਕ ਅਜਿਹੀ ਘਟਨਾ ਜਿਸ ਨੂੰ ਉਹ ਪਿਛੇਤਰ ਸੜਨ ਕਹਿੰਦੇ ਹਨ। ਸਮਾਂਤਰ ਬਲਾਕ ਜਿੰਨਾ ਲੰਬਾ ਹੋਵੇਗਾ, ਇਸਦੀ ਪੂਛ ਦੇ ਗਲਤ ਹੋਣ ਦੀ ਸੰਭਾਵਨਾ ਓਨੀ ਹੀ ਜ਼ਿਆਦਾ ਹੋਵੇਗੀ।
ਦੂਜਾ ਸਿਸਟਮ-ਪੱਧਰ ਦੀ ਸਮੱਸਿਆ ਹੈ। ਹਾਲਾਂਕਿ ਲੰਬੇ ਡਰਾਫਟ ਬਲਾਕ ਬਣਾਉਣਾ ਸਸਤੇ ਹੈ, ਹਰ ਪ੍ਰਸਤਾਵਿਤ ਟੋਕਨ ਦੀ ਅੰਨ੍ਹੇਵਾਹ ਤਸਦੀਕ ਕਰਨ ਨਾਲ ਟੋਕਨਾਂ 'ਤੇ ਘੱਟ ਬੈਚ ਸਮਰੱਥਾ ਨੂੰ ਰੱਦ ਕੀਤੇ ਜਾਣ ਦੀ ਸੰਭਾਵਨਾ ਹੈ। ਇੱਕ ਅਸਲੀ ਸਰਵਿੰਗ ਸਿਸਟਮ ਦੀ ਉੱਚ ਸਮਰੂਪਤਾ ਦੇ ਤਹਿਤ, ਆਦਰਸ਼ ਤਸਦੀਕ ਦੀ ਲੰਬਾਈ ਦੋ ਧੁਰਿਆਂ ਦੇ ਨਾਲ ਬਦਲਦੀ ਹੈ: ਕੋਡ ਵਰਗੀਆਂ ਢਾਂਚਾਗਤ ਬੇਨਤੀਆਂ ਓਪਨ-ਐਂਡ ਚੈਟ ਨਾਲੋਂ ਉੱਚ ਸਵੀਕ੍ਰਿਤੀ ਦਰਾਂ ਨੂੰ ਕਾਇਮ ਰੱਖਦੀਆਂ ਹਨ, ਅਤੇ ਵਾਧੂ ਟੋਕਨਾਂ ਦੀ ਪੁਸ਼ਟੀ ਕਰਨਾ ਹਲਕੇ ਲੋਡ ਦੇ ਅਧੀਨ ਲਗਭਗ ਮੁਫਤ ਹੈ ਪਰ ਜਦੋਂ ਸਿਸਟਮ ਸੰਤ੍ਰਿਪਤ ਹੁੰਦਾ ਹੈ ਤਾਂ ਮਹਿੰਗਾ ਹੁੰਦਾ ਹੈ।
ਇੱਕ ਅਰਧ-ਆਟੋਗਰੈਸਿਵ ਡਰਾਫਟ ਮਾਡਲ
ਪਿਛੇਤਰ ਸੜਨ ਨੂੰ ਠੀਕ ਕਰਨ ਲਈ, ਡੀਐਸਪਾਰਕ ਉਸ ਨੂੰ ਅਪਣਾਉਂਦਾ ਹੈ ਜਿਸਨੂੰ ਲੇਖਕ ਅਰਧ-ਆਟੋਰੇਗਰੈਸਿਵ ਆਰਕੀਟੈਕਚਰ ਕਹਿੰਦੇ ਹਨ। ਇਹ ਇੱਕ ਗਣਨਾਤਮਕ ਤੌਰ 'ਤੇ ਭਾਰੀ ਸਮਾਨਾਂਤਰ ਰੀੜ੍ਹ ਦੀ ਹੱਡੀ ਨੂੰ ਜੋੜਦਾ ਹੈ, ਜੋ ਇੱਕ ਹਲਕੇ ਕ੍ਰਮਵਾਰ ਮੋਡੀਊਲ ਦੇ ਨਾਲ, ਇੱਕ ਵਾਰ ਵਿੱਚ ਬਹੁਤ ਸਾਰੇ ਟੋਕਨਾਂ ਦਾ ਪ੍ਰਸਤਾਵ ਕਰ ਸਕਦਾ ਹੈ ਜੋ ਇੰਟਰਾ-ਬਲਾਕ ਨਿਰਭਰਤਾ ਮਾਡਲਿੰਗ ਨੂੰ ਪੇਸ਼ ਕਰਦਾ ਹੈ। ਡਿਜ਼ਾਇਨ ਦਾ ਮਕਸਦ ਸ਼ੁਰੂਆਤੀ ਅਹੁਦਿਆਂ 'ਤੇ ਸਮਾਨਾਂਤਰ ਮਾਡਲਾਂ ਦੀ ਉੱਚ ਸਮਰੱਥਾ ਨੂੰ ਰਵਾਇਤੀ ਆਟੋਰੀਗਰੈਸਿਵ ਡਰਾਫਟਰਾਂ ਦੇ ਪਿਛੇਤਰ ਤਾਲਮੇਲ ਨਾਲ ਜੋੜਨਾ ਹੈ, ਜੋ ਇੱਕ ਤੋਂ ਬਾਅਦ ਇੱਕ ਟੋਕਨ ਪੈਦਾ ਕਰਦੇ ਹਨ ਅਤੇ ਕੁਦਰਤੀ ਤੌਰ 'ਤੇ ਨਿਰਭਰਤਾ ਦਾ ਸਨਮਾਨ ਕਰਦੇ ਹਨ।
ਗਣਿਤਿਕ ਤਰਕ, ਕੋਡ ਜਨਰੇਸ਼ਨ, ਅਤੇ ਰੋਜ਼ਾਨਾ ਚੈਟ ਵਿੱਚ ਫੈਲਣ ਵਾਲੇ ਨਿਯੰਤਰਿਤ ਔਫਲਾਈਨ ਬੈਂਚਮਾਰਕਾਂ 'ਤੇ, ਟੀਮ ਰਿਪੋਰਟ ਕਰਦੀ ਹੈ ਕਿ DSpark ਮਜ਼ਬੂਤ ਬੇਸਲਾਈਨਾਂ ਦੇ ਪ੍ਰਤੀ ਪੁਸ਼ਟੀਕਰਨ ਚੱਕਰ ਵਿੱਚ ਸਵੀਕਾਰ ਕੀਤੀ ਲੰਬਾਈ ਵਿੱਚ ਕਾਫੀ ਸੁਧਾਰ ਕਰਦਾ ਹੈ। ਖਾਸ ਤੌਰ 'ਤੇ, ਪੇਪਰ ਦੱਸਦਾ ਹੈ ਕਿ DSpark ਤਿੰਨ ਸੈਟਿੰਗਾਂ ਵਿੱਚ ਆਟੋਰੀਗਰੈਸਿਵ Eagle3 ਡਰਾਫਟਰ ਉੱਤੇ 30.9%, 26.7%, ਅਤੇ 30.0% ਦੁਆਰਾ ਸਵੀਕਾਰ ਕੀਤੀ ਲੰਬਾਈ ਵਿੱਚ ਸੁਧਾਰ ਕਰਦਾ ਹੈ, ਅਤੇ ਪੈਰਲਲ DFlash ਡਰਾਫਟਰ ਉੱਤੇ 16.3%, 18.4%, ਅਤੇ 18.3% ਦੁਆਰਾ ਸੁਧਾਰ ਕਰਦਾ ਹੈ।
ਵਿਸ਼ਵਾਸ-ਤਹਿ, ਲੋਡ-ਜਾਗਰੂਕ ਪੁਸ਼ਟੀਕਰਨ
DSpark ਦਾ ਵਧੇਰੇ ਨਾਵਲ ਅੱਧਾ ਤਸਦੀਕ ਲਈ ਇਸਦੀ ਪਹੁੰਚ ਹੈ। ਹਰੇਕ ਬੇਨਤੀ ਲਈ ਡਰਾਫਟ ਟੋਕਨਾਂ ਦੀ ਇੱਕ ਨਿਸ਼ਚਿਤ ਸੰਖਿਆ ਦੀ ਪੁਸ਼ਟੀ ਕਰਨ ਦੀ ਬਜਾਏ, DSpark ਇੱਕ ਗਲੋਬਲ ਥ੍ਰਰੂਪੁਟ ਵੱਧ ਤੋਂ ਵੱਧ ਸਮੱਸਿਆ ਦੇ ਰੂਪ ਵਿੱਚ ਤਸਦੀਕ-ਲੰਬਾਈ ਦੀ ਚੋਣ ਨੂੰ ਤਿਆਰ ਕਰਦਾ ਹੈ। ਇਹ ਇੱਕ ਹਾਰਡਵੇਅਰ-ਜਾਗਰੂਕ ਸ਼ਡਿਊਲਰ ਦੇ ਨਾਲ, ਜੋ ਕਿ ਅਸਲ-ਸਮੇਂ ਦੇ ਇੰਜਣ ਲੋਡ ਨੂੰ ਪੜ੍ਹਦਾ ਹੈ, ਦੇ ਨਾਲ ਇੱਕ ਡਰਾਫਟ ਦੇ ਪ੍ਰੀਫਿਕਸ ਦੇ ਕਿੰਨੇ ਸਮੇਂ ਤੱਕ ਬਚਣ ਦੀ ਸੰਭਾਵਨਾ ਹੈ, ਇਸ ਬਾਰੇ ਕੈਲੀਬਰੇਟ ਕੀਤੇ ਅਨੁਮਾਨਾਂ ਨੂੰ ਜੋੜਦਾ ਹੈ।
ਨਤੀਜਾ ਆਤਮ-ਨਿਰਧਾਰਤ ਤਸਦੀਕ ਹੈ: ਸਿਸਟਮ ਗਤੀਸ਼ੀਲ ਤੌਰ 'ਤੇ ਇਹ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਇਹ ਬੇਨਤੀ ਦੀ ਸਮੱਗਰੀ ਅਤੇ ਸਰਵਿੰਗ ਇੰਜਣ ਦੀ ਮੌਜੂਦਾ ਸਥਿਤੀ ਦੋਵਾਂ ਦੇ ਆਧਾਰ 'ਤੇ ਹਰੇਕ ਬੇਨਤੀ ਲਈ ਕਿੰਨੇ ਟੋਕਨਾਂ ਦੀ ਪੁਸ਼ਟੀ ਕਰਦਾ ਹੈ। ਹਲਕੇ ਲੋਡਾਂ ਦੇ ਅਧੀਨ ਇਹ ਉਦਾਰਤਾ ਨਾਲ ਤਸਦੀਕ ਕਰਨ ਲਈ ਬਰਦਾਸ਼ਤ ਕਰ ਸਕਦਾ ਹੈ, ਜਦੋਂ ਕਿ ਭਾਰੀ ਸਹਿਮਤੀ ਦੇ ਅਧੀਨ ਇਹ ਟੀਚਾ ਮਾਡਲ ਦੇ ਤਸਦੀਕ ਬਜਟ ਨੂੰ ਸਿਰਫ ਸਭ ਤੋਂ ਵੱਧ ਉਮੀਦ ਕੀਤੀ ਵਾਪਸੀ ਵਾਲੇ ਟੋਕਨਾਂ ਵੱਲ ਰੂਟ ਕਰਦਾ ਹੈ, ਥ੍ਰੁਪੁੱਟ ਪਤਨ ਤੋਂ ਬਚਦਾ ਹੈ ਜੋ ਘੱਟ-ਸੰਭਾਵਨਾ ਟੋਕਨਾਂ 'ਤੇ ਬੈਚ ਸਮਰੱਥਾ ਖਰਚਣ ਨਾਲ ਆਉਂਦਾ ਹੈ।
ਲਾਈਵ ਉਪਭੋਗਤਾ ਟ੍ਰੈਫਿਕ ਦੇ ਅਧੀਨ ਨਤੀਜੇ
ਸਭ ਤੋਂ ਵੱਧ ਨਤੀਜੇ ਵਾਲੇ ਨੰਬਰ ਉਤਪਾਦਨ ਤੋਂ ਆਉਂਦੇ ਹਨ। ਟੀਮ ਨੇ ਲਾਈਵ ਉਪਭੋਗਤਾ ਟ੍ਰੈਫਿਕ ਦੀ ਸੇਵਾ ਕਰਨ ਵਾਲੇ ਡੀਪਸੀਕ-ਵੀ4 ਸਰਵਿੰਗ ਸਿਸਟਮ ਦੇ ਅੰਦਰ ਡੀਐਸਪਾਰਕ ਨੂੰ ਤੈਨਾਤ ਕੀਤਾ ਅਤੇ ਇਸਦੀ ਤੁਲਨਾ ਕੰਪਨੀ ਦੇ ਪੁਰਾਣੇ ਉਤਪਾਦਨ ਬੇਸਲਾਈਨ ਨਾਲ ਕੀਤੀ, ਇੱਕ ਮਲਟੀ-ਟੋਕਨ ਪੂਰਵ-ਅਨੁਮਾਨ ਵਿਧੀ ਜਿਸ ਨੂੰ MTP-1 ਵਜੋਂ ਜਾਣਿਆ ਜਾਂਦਾ ਹੈ।
ਪੇਪਰ ਦੇ ਅਨੁਸਾਰ, ਡੀਐਸਪਾਰਕ ਡੀਪਸੀਕ-ਵੀ4-ਫਲੈਸ਼ ਲਈ ਪ੍ਰਤੀ-ਉਪਭੋਗਤਾ ਪੀੜ੍ਹੀ ਦੀ ਗਤੀ ਨੂੰ ਲਗਾਤਾਰ 60% ਤੋਂ 85% ਤੱਕ ਅਤੇ ਡੀਪਸੀਕ-ਵੀ4-ਪ੍ਰੋ ਲਈ 57% ਤੋਂ 78% ਤੱਕ ਮੇਲ ਖਾਂਦੀਆਂ ਕੁੱਲ ਥ੍ਰੋਪੁੱਟ 'ਤੇ ਤੇਜ਼ ਕਰਦਾ ਹੈ। ਸਖ਼ਤ ਸੇਵਾ-ਪੱਧਰ ਦੇ ਸਮਝੌਤਿਆਂ ਦੇ ਤਹਿਤ ਜਿੱਥੇ ਬੇਸਲਾਈਨ ਦੀ ਸਮਰੱਥਾ ਬੁਰੀ ਤਰ੍ਹਾਂ ਵਿਗੜ ਜਾਂਦੀ ਹੈ, ਫਲੈਸ਼ ਲਈ 120 ਟੋਕਨ ਪ੍ਰਤੀ ਸਕਿੰਟ ਅਤੇ ਪ੍ਰੋ ਲਈ 50 ਟੋਕਨ ਪ੍ਰਤੀ ਸਕਿੰਟ ਦੇ ਬਰਾਬਰ, DSpark ਮਜ਼ਬੂਤ ਥ੍ਰਰੂਪੁਟ ਨੂੰ ਕਾਇਮ ਰੱਖਣ ਲਈ ਓਵਰਹੈੱਡ ਦੀ ਪੁਸ਼ਟੀ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ। ਉਸ ਪ੍ਰਦਰਸ਼ਨ ਦੇ ਚੱਟਾਨ 'ਤੇ ਕਾਬੂ ਪਾ ਕੇ, ਲੇਖਕ ਦਲੀਲ ਦਿੰਦੇ ਹਨ ਕਿ ਇਹ ਸਖਤ ਇੰਟਰਐਕਟੀਵਿਟੀ ਪੱਧਰਾਂ ਨੂੰ ਖੋਲ੍ਹਦਾ ਹੈ ਜੋ ਪਹਿਲਾਂ ਅਪ੍ਰਾਪਤ ਸਨ, ਪ੍ਰਭਾਵੀ ਤੌਰ 'ਤੇ LLM ਦੇ ਪੈਰੇਟੋ ਸਰਹੱਦ ਨੂੰ ਬਾਹਰ ਵੱਲ ਬਦਲਦੇ ਹੋਏ।
ਓਪਰੇਟਰਾਂ ਲਈ ਇਹ ਅੰਤਰ ਮਹੱਤਵਪੂਰਨ ਹੈ। ਉਸੇ ਕੁੱਲ ਥ੍ਰਰੂਪੁਟ 'ਤੇ ਇੱਕ ਤੇਜ਼ ਪ੍ਰਤੀ-ਉਪਭੋਗਤਾ ਗਤੀ ਦਾ ਮਤਲਬ ਹੈ ਵਧੇਰੇ ਹਾਰਡਵੇਅਰ ਖਰੀਦੇ ਬਿਨਾਂ ਵਧੇਰੇ ਜਵਾਬਦੇਹ ਸਹਾਇਕ ਅਤੇ ਏਜੰਟਿਕ ਵਰਕਫਲੋਜ਼, ਜਦੋਂ ਕਿ ਲੋਡ ਦੇ ਅਧੀਨ ਸਖਤ ਲੇਟੈਂਸੀ SLAs ਨੂੰ ਬਚਣਾ ਉਹ ਹੈ ਜੋ ਇੱਕ ਖੋਜ ਡੈਮੋ ਨੂੰ ਇੱਕ ਸਿਸਟਮ ਤੋਂ ਵੱਖ ਕਰਦਾ ਹੈ ਜੋ ਟ੍ਰੈਫਿਕ ਸਪਾਈਕਸ ਦੌਰਾਨ ਰੋਕ ਸਕਦਾ ਹੈ।
ਕਮਿਊਨਿਟੀ ਲਈ ਓਪਨ ਸੋਰਸ
DeepSeek, DeepSeek-V4-Flash ਅਤੇ DeepSeek-V4-Pro ਪ੍ਰੀਵਿਊ ਮਾਡਲਾਂ ਦੋਵਾਂ ਲਈ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ DSpark ਚੌਕੀਆਂ ਨੂੰ ਜਾਰੀ ਕਰ ਰਿਹਾ ਹੈ। ਅਨੁਮਤੀ ਵਾਲੇ MIT ਲਾਇਸੈਂਸ ਦੇ ਅਧੀਨ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤੇ ਗਏ ਡੀਪਸਪਿਕ ਰਿਪੋਜ਼ਟਰੀ ਦੇ ਨਾਲ, ਨੂੰ ਅੰਦਾਜ਼ੇ ਵਾਲੇ ਡੀਕੋਡਿੰਗ ਲਈ ਇੱਕ ਫੁੱਲ-ਸਟੈਕ, ਐਲਗੋਰਿਦਮ-ਸੰਚਾਲਿਤ ਸਿਖਲਾਈ ਅਤੇ ਮੁਲਾਂਕਣ ਕੋਡਬੇਸ ਵਜੋਂ ਦਰਸਾਇਆ ਗਿਆ ਹੈ। ਇਸ ਵਿੱਚ ਡੇਟਾ ਤਿਆਰ ਕਰਨ ਦੀਆਂ ਉਪਯੋਗਤਾਵਾਂ, ਡਰਾਫਟ ਮਾਡਲ ਲਾਗੂਕਰਨ, ਸਿਖਲਾਈ ਸਕ੍ਰਿਪਟਾਂ, ਅਤੇ ਮੁਲਾਂਕਣ ਹਾਰਨੇਸ, ਅਤੇ ਤਿੰਨ ਡਰਾਫਟ ਮਾਡਲ ਐਲਗੋਰਿਦਮ ਵਾਲੇ ਜਹਾਜ਼ ਸ਼ਾਮਲ ਹਨ: DSpark, DFlash, ਅਤੇ Eagle3।
ਰੀਲੀਜ਼ ਹੋਰ ਲੈਬਾਂ ਅਤੇ ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਟੀਮਾਂ ਲਈ ਇੱਕ ਮਿਆਰੀ ਪਾਈਪਲਾਈਨ ਦੇ ਵਿਰੁੱਧ ਆਪਣੇ ਖੁਦ ਦੇ ਡਰਾਫਟ ਮਾਡਲਾਂ ਨੂੰ ਸਿਖਲਾਈ ਅਤੇ ਬੈਂਚਮਾਰਕ ਕਰਨ ਲਈ ਰੁਕਾਵਟ ਨੂੰ ਘਟਾਉਂਦੀ ਹੈ। DeepSpec ਦਾ ਮੁਲਾਂਕਣ ਸੂਟ GSM8K, MATH500, AIME 2025, HumanEval, MBPP, LiveCodeBench, MT-Bench, AlpacaEval, ਅਤੇ Arena-Hard-v2 ਸਮੇਤ ਸਥਾਪਿਤ ਮਾਪਦੰਡਾਂ ਨੂੰ ਕਵਰ ਕਰਦਾ ਹੈ।
ਇਹ ਮਾਇਨੇ ਕਿਉਂ ਰੱਖਦਾ ਹੈ
ਅਨੁਮਾਨ ਲਾਗਤ ਅਤੇ ਲੇਟੈਂਸੀ ਹੁਣ AI ਉਦਯੋਗ ਦੀਆਂ ਪਰਿਭਾਸ਼ਿਤ ਰੁਕਾਵਟਾਂ ਵਿੱਚੋਂ ਇੱਕ ਹੈ, ਹਰ ਚੀਜ਼ ਨੂੰ ਆਕਾਰ ਦਿੰਦੀ ਹੈ ਕਿ ਕੰਪਨੀਆਂ AI ਏਜੰਟਾਂ ਨੂੰ ਕਿਵੇਂ ਹਮਲਾਵਰਤਾ ਨਾਲ ਤਾਇਨਾਤ ਕਰਦੀਆਂ ਹਨ ਕਿ ਕੀ ਛੋਟੇ ਪ੍ਰਦਾਤਾ ਯੂਨਿਟ ਅਰਥ ਸ਼ਾਸਤਰ 'ਤੇ ਹਾਈਪਰਸਕੇਲਰ ਨਾਲ ਮੁਕਾਬਲਾ ਕਰ ਸਕਦੇ ਹਨ। DSpark ਦਾ ਯੋਗਦਾਨ ਇੱਕ ਪ੍ਰਦਰਸ਼ਨ ਨਾਲੋਂ ਘੱਟ ਇੱਕ ਸਿੰਗਲ ਨਵਾਂ ਐਲਗੋਰਿਦਮ ਹੈ ਜੋ ਡਰਾਫਟ ਮਾਡਲ ਅਤੇ ਤਸਦੀਕ ਸ਼ਡਿਊਲਰ ਨੂੰ ਧਿਆਨ ਨਾਲ ਸਹਿ-ਡਿਜ਼ਾਈਨ ਕਰਦਾ ਹੈ, ਅਤੇ ਤਸਦੀਕ ਦੀ ਲੰਬਾਈ ਨੂੰ ਲਾਈਵ ਸਿਸਟਮ ਸਟੇਟ ਦੇ ਇੱਕ ਫੰਕਸ਼ਨ ਵਜੋਂ ਮੰਨਦਾ ਹੈ, ਅਸਲ ਤੈਨਾਤੀ ਵਿੱਚ ਸੂਈ ਨੂੰ ਅਰਥਪੂਰਨ ਰੂਪ ਵਿੱਚ ਹਿਲਾ ਸਕਦਾ ਹੈ।
ਡੀਪਸੀਕ ਲਈ, ਜਿਸ ਨੇ ਕੁਸ਼ਲ, ਖੁੱਲੇ ਤੌਰ 'ਤੇ ਜਾਰੀ ਕੀਤੇ ਸਿਸਟਮਾਂ 'ਤੇ ਆਪਣੀ ਸਾਖ ਬਣਾਈ ਹੈ, ਡੀਐਸਪਾਰਕ ਇੱਕ ਦਲੀਲ ਵਿੱਚ ਇੱਕ ਹੋਰ ਡੇਟਾ ਪੁਆਇੰਟ ਹੈ ਜੋ ਲੈਬ ਇੱਕ ਸਾਲ ਤੋਂ ਵੱਧ ਸਮੇਂ ਤੋਂ ਕਰ ਰਹੀ ਹੈ: ਕਿ ਫਰੰਟੀਅਰ-ਗ੍ਰੇਡ ਸਰਵਿੰਗ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਸਿਰਫ ਕੱਚੇ ਗਣਨਾ ਦੁਆਰਾ ਨਹੀਂ ਬਲਕਿ ਚੁਸਤ ਇੰਜੀਨੀਅਰਿੰਗ ਦੁਆਰਾ ਪ੍ਰਾਪਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਇਹ ਤੱਥ ਕਿ ਲਾਭਾਂ ਨੂੰ ਇੱਕ ਸਿੰਥੈਟਿਕ ਬੈਂਚਮਾਰਕ ਦੀ ਬਜਾਏ ਲਾਈਵ ਟ੍ਰੈਫਿਕ ਦੇ ਅਧੀਨ ਮਾਪਿਆ ਗਿਆ ਸੀ, ਨਤੀਜੇ ਨੂੰ ਹੋਰ ਓਪਰੇਟਰਾਂ ਲਈ ਗੰਭੀਰਤਾ ਨਾਲ ਲੈਣਾ ਆਸਾਨ ਬਣਾਉਂਦਾ ਹੈ ਕਿਉਂਕਿ ਓਪਨ-ਸੋਰਸ ਕਮਿਊਨਿਟੀ ਕਾਗਜ਼ ਨੂੰ ਹਜ਼ਮ ਕਰ ਲੈਂਦਾ ਹੈ ਅਤੇ ਸੰਖਿਆਵਾਂ ਨੂੰ ਦੁਬਾਰਾ ਬਣਾਉਣਾ ਸ਼ੁਰੂ ਕਰਦਾ ਹੈ।
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
