ਜਦੋਂ ਓਪਨਏਆਈ ਨੇ ਇਸ ਹਫ਼ਤੇ GPT-6 ਐਸਟਰਾ ਦਾ ਪਰਦਾਫਾਸ਼ ਕੀਤਾ, ਤਾਂ ਇੱਕ ਡੈਮੋ ਨੇ ਦਰਸ਼ਕਾਂ ਦਾ ਖਾਸ ਧਿਆਨ ਖਿੱਚਿਆ ਜੋ ਕਿ ਫਰੰਟੀਅਰ ਮਾਡਲ ਲਾਂਚ ਕਰਨ 'ਤੇ ਘੱਟ ਹੀ ਰੌਲਾ ਪਾਉਂਦਾ ਹੈ: ਇਲੈਕਟ੍ਰੀਕਲ ਇੰਜੀਨੀਅਰ। ਲਾਂਚ ਪੋਸਟ ਵਿੱਚ ਓਪਨ-ਸੋਰਸ ਇਲੈਕਟ੍ਰੋਨਿਕਸ ਡਿਜ਼ਾਈਨ ਟੂਲ, KiCad ਵਿੱਚ ਇੱਕ ਸਰਕਟ ਬੋਰਡ ਡਿਜ਼ਾਈਨ ਕਰਨ ਵਾਲਾ ਮਾਡਲ ਦਿਖਾਇਆ ਗਿਆ ਸੀ। ਪਰ ਇੰਜੀਨੀਅਰਾਂ ਦੀ ਇੱਕ ਛੋਟੀ ਟੀਮ ਇੱਕ ਔਖਾ ਸਵਾਲ ਪੁੱਛ ਰਹੀ ਹੈ - ਇਹ ਨਹੀਂ ਕਿ ਕੀ ਏਆਈ ਮਾਡਲ ਇਲੈਕਟ੍ਰੋਨਿਕਸ ਸੌਫਟਵੇਅਰ ਨੂੰ ਚਲਾ ਸਕਦੇ ਹਨ, ਪਰ ਕੀ ਉਹ ਸਰਕਟ ਤਿਆਰ ਕਰਦੇ ਹਨ ਜੋ ਅਸਲ ਵਿੱਚ ਕੰਮ ਕਰਦੇ ਹਨ।

ਉਨ੍ਹਾਂ ਦਾ ਜਵਾਬ 4 ਸਤੰਬਰ ਨੂੰ EEBench ਦੇ ਰੂਪ ਵਿੱਚ ਆਇਆ, ਇੱਕ ਨਵਾਂ ਜਨਤਕ ਬੈਂਚਮਾਰਕ ਜੋ ਮਨੁੱਖੀ ਨਿਰਣੇ ਦੀ ਬਜਾਏ ਨਿਰਣਾਇਕ ਸਪਾਈਸ ਸਿਮੂਲੇਸ਼ਨਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਏਆਈ-ਡਿਜ਼ਾਇਨ ਕੀਤੇ ਸਰਕਟਾਂ ਨੂੰ ਗ੍ਰੇਡ ਕਰਦਾ ਹੈ। ਸ਼ੁਰੂਆਤੀ ਨਤੀਜੇ ਸੁਝਾਅ ਦਿੰਦੇ ਹਨ ਕਿ ਮੌਜੂਦਾ ਮਾਡਲ ਇਲੈਕਟ੍ਰੋਨਿਕਸ ਬਾਰੇ ਉਨ੍ਹਾਂ ਦੇ ਆਉਟਪੁੱਟ ਤੋਂ ਕਿਤੇ ਜ਼ਿਆਦਾ ਜਾਣਦੇ ਹਨ, ਪਰ ਫਿਰ ਵੀ ਅਸਲ-ਸੰਸਾਰ ਦੇ ਹਿੱਸੇ ਦੇ ਵਿਵਹਾਰ ਦੀ ਕਿਸਮ ਵਿੱਚ ਅਸਫਲ ਰਹਿੰਦੇ ਹਨ ਜੋ ਮਨੁੱਖੀ ਇੰਜੀਨੀਅਰਾਂ ਨੂੰ ਵੀ ਵਧਾਉਂਦਾ ਹੈ। For more context on this story, see our ongoing AI trends.

ਸਰਕਟ ਡਿਜ਼ਾਈਨ ਨੂੰ ਇਸਦੇ ਆਪਣੇ ਬੈਂਚਮਾਰਕ ਦੀ ਲੋੜ ਕਿਉਂ ਹੈ

EEBench ਟੀਮ, ਜੋ eebench.org 'ਤੇ ਬੈਂਚਮਾਰਕ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦੀ ਹੈ, ਦਾ ਕਹਿਣਾ ਹੈ ਕਿ ਇਸਦਾ ਤਜਰਬਾ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਮੌਜੂਦਾ ਮਾਡਲਾਂ ਨੇ ਪਾਠ-ਪੁਸਤਕਾਂ, ਡੇਟਾਸ਼ੀਟਾਂ, ਐਪਲੀਕੇਸ਼ਨ ਨੋਟਸ ਅਤੇ ਕੋਡ ਦੀ ਵੱਡੀ ਮਾਤਰਾ ਨੂੰ ਜਜ਼ਬ ਕਰ ਲਿਆ ਹੈ। ਰੁਕਾਵਟ ਇੰਟਰਫੇਸ ਹੈ. ਜਦੋਂ ਕੋਈ ਏਜੰਟ KiCad ਵਰਗੇ ਗ੍ਰਾਫਿਕਲ CAD ਟੂਲ ਦਾ ਸੰਚਾਲਨ ਕਰਦਾ ਹੈ, ਤਾਂ ਇਹ ਮੇਨੂ ਰਾਹੀਂ ਕਲਿੱਕ ਕਰਨ ਅਤੇ ਸਕ੍ਰੀਨ 'ਤੇ ਕੀ ਹੈ, ਇਸ ਨੂੰ ਟਰੈਕ ਕਰਨ ਲਈ, ਇਸਦੀ ਸੰਦਰਭ ਵਿੰਡੋ ਨੂੰ ਕੋਆਰਡੀਨੇਟਸ ਅਤੇ ਐਪਲੀਕੇਸ਼ਨ ਸਟੇਟ ਦੇ ਨਾਲ ਇਲੈਕਟ੍ਰੀਕਲ ਤਰਕ ਦੀ ਬਜਾਏ ਵਰਤਦਾ ਹੈ।

EEBench ਇੱਕ ਵੱਖਰੀ ਪਹੁੰਚ ਲੈਂਦਾ ਹੈ। ਬੈਂਚਮਾਰਕ ਵਿੱਚ ਸਰਕਟਾਂ ਨੂੰ ਐਟੋਪਾਈਲ ਵਿੱਚ ਲਿਖਿਆ ਜਾਂਦਾ ਹੈ, ਇੱਕ ਭਾਸ਼ਾ ਜੋ ਇਲੈਕਟ੍ਰੋਨਿਕਸ ਨੂੰ ਘੋਸ਼ਣਾਤਮਕ ਕੋਡ ਦੇ ਰੂਪ ਵਿੱਚ ਦਰਸਾਉਂਦੀ ਹੈ, ਇਸਲਈ ਏਜੰਟ ਸਿੱਧੇ ਭਾਗਾਂ, ਕਨੈਕਸ਼ਨਾਂ ਅਤੇ ਰੁਕਾਵਟਾਂ 'ਤੇ ਕੰਮ ਕਰਦਾ ਹੈ। ਮਾਡਲ ਇੱਕ ਡਿਜ਼ਾਈਨ ਨੂੰ ਸੋਧ ਸਕਦਾ ਹੈ, ਇਸਨੂੰ ਬਣਾ ਸਕਦਾ ਹੈ, ਇੱਕ ਸਿਮੂਲੇਸ਼ਨ ਚਲਾ ਸਕਦਾ ਹੈ, ਅਤੇ ਪ੍ਰੋਜੈਕਟ ਨੂੰ ਛੱਡੇ ਬਿਨਾਂ ਅਸਫਲਤਾਵਾਂ ਦਾ ਮੁਆਇਨਾ ਕਰ ਸਕਦਾ ਹੈ। ਟੀਮ ਦੇ ਅਨੁਸਾਰ, ਇਹ ਇੱਕ ਮਾਡਲ ਨੂੰ ਇੱਕ GUI ਵਿੱਚ ਲਾਈਨਾਂ ਖਿੱਚਣ ਲਈ ਕਹਿਣ ਨਾਲੋਂ ਕਿਤੇ ਵਧੀਆ ਕੰਮ ਕਰਦਾ ਹੈ - ਅਤੇ ਇਹ ਕੰਪਿਊਟਰ-ਵਰਤੋਂ ਦੇ ਹੁਨਰ ਦੀ ਬਜਾਏ ਬੈਂਚਮਾਰਕ ਟੈਸਟ ਇਲੈਕਟ੍ਰੋਨਿਕਸ ਗਿਆਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ।

ਅਸਲ ਹਿੱਸੇ, ਅਸਲ ਅਸਫਲਤਾਵਾਂ

ਇੱਕ ਜਨਤਕ ਕੰਮ ਇੱਕ ਰਿਹਾਇਸ਼ੀ ਊਰਜਾ ਮੀਟਰ ਤੋਂ ਖਿੱਚਿਆ ਜਾਂਦਾ ਹੈ। ਜਦੋਂ ਇਸਦੀ 5-ਵੋਲਟ ਸਪਲਾਈ ਗਾਇਬ ਹੋ ਜਾਂਦੀ ਹੈ, ਤਾਂ ਸਰਕਟ ਨੂੰ ਪ੍ਰੋਸੈਸਰ ਨੂੰ ਹੋਰ 20 ਮਿਲੀਸਕਿੰਟਾਂ ਲਈ ਜ਼ਿੰਦਾ ਰੱਖਣਾ ਚਾਹੀਦਾ ਹੈ ਤਾਂ ਜੋ ਇਹ ਸੰਚਤ ਰੀਡਿੰਗਾਂ ਨੂੰ ਬਚਾ ਸਕੇ, ਪ੍ਰੋਸੈਸਰ ਦੇ 3.0-ਵੋਲਟ ਬਰਾਊਨਆਊਟ ਥ੍ਰੈਸ਼ਹੋਲਡ ਦੇ ਉੱਪਰ ਸੁਰੱਖਿਅਤ ਰੇਲ ਦੇ ਨਾਲ ਸਾਰਾ ਸਮਾਂ।

ਜ਼ਿਆਦਾਤਰ ਮਾਡਲ, ਟੀਮ ਰਿਪੋਰਟਾਂ, ਤੁਰੰਤ ਸਹੀ ਅਧਾਰ ਸਿੱਟੇ 'ਤੇ ਪਹੁੰਚਦੀਆਂ ਹਨ: ਇੱਕ ਕੈਪੇਸੀਟਰ ਜੋੜੋ। ਬੈਂਚਮਾਰਕ ਇਸ ਨੂੰ ਆਵਾਜ਼ ਨਾਲੋਂ ਔਖਾ ਬਣਾਉਂਦਾ ਹੈ। ਇੱਕ ਅਸਲੀ ਸਿਰੇਮਿਕ ਕੈਪੈਸੀਟਰ ਆਪਣੀ ਇਸ਼ਤਿਹਾਰੀ ਸਮਰੱਥਾ ਨਾਲੋਂ ਬਹੁਤ ਘੱਟ ਪ੍ਰਦਾਨ ਕਰ ਸਕਦਾ ਹੈ ਜਦੋਂ ਇੱਕ ਵਾਰ ਇਸ ਵਿੱਚ ਵੋਲਟੇਜ ਲਾਗੂ ਹੋ ਜਾਂਦੀ ਹੈ, ਹਿੱਸੇ ਸਹਿਣਸ਼ੀਲਤਾ ਰੱਖਦੇ ਹਨ, ਅਤੇ ਵਾਧੂ ਸਮਰੱਥਾ ਲਾਗਤ ਨੂੰ ਵਧਾਉਂਦੀ ਹੈ, ਜਗ੍ਹਾ ਲੈਂਦਾ ਹੈ, ਅਤੇ ਪਾਵਰ ਵਾਪਸ ਆਉਣ 'ਤੇ ਰੇਲ ਦੇ ਰੀਚਾਰਜ ਨੂੰ ਹੌਲੀ ਕਰ ਦਿੰਦਾ ਹੈ।

ਗ੍ਰੇਡਰਾਂ ਨੇ ਇੱਕ ਸਬਮਿਸ਼ਨ ਫੜੀ ਜੋ ਪਾਠ-ਪੁਸਤਕਾਂ ਦੇ ਜਵਾਬਾਂ ਅਤੇ ਕੰਮ ਕਰਨ ਵਾਲੇ ਹਾਰਡਵੇਅਰ ਦੇ ਵਿਚਕਾਰ ਅੰਤਰ ਨੂੰ ਦਰਸਾਉਂਦੀ ਹੈ। ਇੱਕ ਡਿਜ਼ਾਇਨ ਨਾਮਾਤਰ ਤੌਰ 'ਤੇ 22 ਮਾਈਕ੍ਰੋਫੈਰਡਸ ਨਿਰਧਾਰਤ ਕਰਦਾ ਹੈ - ਇੱਕ ਮੁੱਲ ਜੋ ਕਾਗਜ਼ 'ਤੇ ਕਾਫ਼ੀ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ। ਪਰ 4.7 ਵੋਲਟਸ ਦੇ ਪੱਖਪਾਤ 'ਤੇ, ਗਰੇਡਰ ਨੇ ਪ੍ਰਭਾਵੀ ਸਮਰੱਥਾ ਦੇ ਸਿਰਫ 11.4 ਮਾਈਕ੍ਰੋਫੈਰੈਡ ਮਾਪਿਆ, ਜੋ ਕਿ ਟਾਸਕ ਦੀ 545-ਮਾਈਕ੍ਰੋਫੈਰੈਡ ਲੋੜ ਤੋਂ ਬਹੁਤ ਘੱਟ ਹੈ। ਸਰੋਤ ਕੋਡ ਸਫਲਤਾਪੂਰਵਕ ਬਣਾਇਆ ਗਿਆ। ਸਰਕਟ ਅਜੇ ਵੀ ਅਸਫਲ ਹੋ ਗਿਆ: ਸਿਮੂਲੇਸ਼ਨ ਨੇ ਸੁਰੱਖਿਅਤ ਰੇਲ ਨੂੰ ਸਿਰਫ 0.85 ਮਿਲੀਸਕਿੰਟ ਦੇ ਬਾਅਦ 3-ਵੋਲਟ ਦੀ ਲੋੜ ਤੋਂ ਹੇਠਾਂ ਡਿੱਗਣ ਨੂੰ ਦਿਖਾਇਆ, ਲੋੜੀਂਦੇ 20 ਦੇ ਨੇੜੇ ਕਿਤੇ ਵੀ ਨਹੀਂ।

ਔਖੇ ਕੰਮ ਹੋਰ ਅੱਗੇ ਵਧਦੇ ਹਨ। ਇੱਕ ਐਨਾਲਾਗ ਅਸਾਈਨਮੈਂਟ ਲਈ ਇੱਕ ਓਪ-ਐਂਪ ਦੇ ਆਲੇ-ਦੁਆਲੇ ਇੱਕ ਮਲਟੀਪਲ-ਫੀਡਬੈਕ ਲੋ-ਪਾਸ ਫਿਲਟਰ ਨੂੰ ਸਿੰਥੇਸਾਈਜ਼ ਕਰਨ, ਲੋੜੀਂਦੇ ਖੰਭਿਆਂ ਲਈ ਰੋਧਕ ਅਤੇ ਕੈਪੇਸੀਟਰ ਅਨੁਪਾਤ ਨੂੰ ਹੱਲ ਕਰਨ, ਅਤੇ ਲਾਭ, ਕੱਟ-ਆਫ ਬਾਰੰਬਾਰਤਾ, ਅਤੇ Q ਨੂੰ ਸੀਮਾਵਾਂ ਦੇ ਅੰਦਰ ਰੱਖਣ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ ਭਾਵੇਂ ਹਰ ਇੱਕ ਹਿੱਸੇ ਨੂੰ ਸਭ ਤੋਂ ਮਾੜੇ-ਕੇਸ ਸਹਿਣਸ਼ੀਲਤਾ ਕੋਨਿਆਂ ਵੱਲ ਧੱਕਿਆ ਜਾਂਦਾ ਹੈ।

ਗਰੇਡਿੰਗ ਕਿਵੇਂ ਕੰਮ ਕਰਦੀ ਹੈ

EEBench ਚੈਕ ਪੂਰੀ ਤਰ੍ਹਾਂ ਨਿਰਣਾਇਕ ਹਨ। ਹਾਰਨੇਸ ਸਪੁਰਦ ਕੀਤੇ ਡਿਜ਼ਾਈਨ ਦਾ ਨਿਰਮਾਣ ਕਰਦਾ ਹੈ, ਸਰਕਟ ਗ੍ਰਾਫ ਅਤੇ ਸਮੱਗਰੀ ਦਾ ਬਿੱਲ ਬਣਾਉਂਦਾ ਹੈ, ਅਤੇ SPICE ਸਿਮੂਲੇਸ਼ਨਾਂ ਅਤੇ ਡਿਜ਼ਾਈਨ ਜਾਂਚਾਂ ਦਾ ਇੱਕ ਸੈੱਟ ਚਲਾਉਂਦਾ ਹੈ, ਹਰੇਕ ਲੋੜ ਇੱਕ ਸੰਖਿਆਤਮਕ ਸੀਮਾ ਦੇ ਵਿਰੁੱਧ ਇੱਕ ਮਾਪ ਪੈਦਾ ਕਰਦੀ ਹੈ। ਕਾਰਜ ਭਾਗ-ਸਹਿਣਸ਼ੀਲਤਾ ਕੋਨਿਆਂ 'ਤੇ ਲਾਭ, ਥ੍ਰੈਸ਼ਹੋਲਡ, ਲਹਿਰ, ਅਸਥਾਈ ਜਵਾਬ, ਅਤੇ ਵਿਵਹਾਰ ਨੂੰ ਮਾਪਦੇ ਹਨ। ਤਕਨੀਕੀ ਸਕੋਰ ਨੂੰ ਸਮੱਗਰੀ ਦੇ ਸੰਦਰਭ ਬਿੱਲ ਦੇ ਵਿਰੁੱਧ ਲਾਗਤ-ਕੁਸ਼ਲਤਾ ਮਾਪ ਨਾਲ ਜੋੜਿਆ ਜਾਂਦਾ ਹੈ - ਹਾਲਾਂਕਿ ਲਾਗਤ ਸਿਰਫ ਇੱਕ ਵਾਰ ਸਰਕਟ ਦੇ ਕੰਮ ਕਰਨ 'ਤੇ ਮਦਦ ਕਰਦੀ ਹੈ।

ਟੀਮ ਸੈੱਟਅੱਪ ਦੀ ਤੁਲਨਾ ਕੋਡਿੰਗ ਏਜੰਟ ਨੂੰ ਕੰਪਾਈਲਰ ਅਤੇ ਇੱਕ ਟੈਸਟ ਸੂਟ ਦੇਣ ਨਾਲ ਕਰਦੀ ਹੈ, ਸਿਵਾਏ ਟੈਸਟਾਂ ਦੇ ਵੋਲਟੇਜ ਅਤੇ ਕੰਪੋਨੈਂਟ ਵਿਵਹਾਰ ਨੂੰ ਮਾਪਦੇ ਹਨ। ਸੰਸਕਰਣ 1 ਦੇ ਸਾਰੇ ਕਾਰਜ ਅਸਲ ਨਿਰਮਾਤਾ ਦੇ ਹਿੱਸਿਆਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ, ਡੇਟਾਸ਼ੀਟਾਂ ਤੋਂ ਐਕਸਟਰੈਕਟ ਕੀਤੇ ਗਏ ਅਤੇ ਸਿਮੂਲੇਸ਼ਨ ਮਾਡਲਾਂ ਵਿੱਚ ਲੈ ਜਾਣ ਦੇ ਨਾਲ, ਏਜੰਟ ਨੂੰ ਮੌਜੂਦ ਸੰਜੋਗਾਂ ਨੂੰ ਲੱਭਣ ਲਈ ਮਜ਼ਬੂਰ ਕਰਦੇ ਹਨ, ਆਰਡਰ ਕੀਤੇ ਜਾ ਸਕਦੇ ਹਨ, ਅਤੇ ਵਾਜਬ ਕੀਮਤ ਹਨ।

ਪਹਿਲਾ ਲੀਡਰਬੋਰਡ

1 ਸਤੰਬਰ ਦੇ ਨਤੀਜਿਆਂ ਨੇ ਕਲਾਉਡ ਓਪਸ 5 ਨੂੰ 13 ਕਾਰਜਾਂ ਵਿੱਚ 61.6% ਦੇ ਨਾਲ EEBench V1 ਦੇ ਸਿਖਰ 'ਤੇ ਰੱਖਿਆ। ਗ੍ਰੋਕ 4.6 57.1% 'ਤੇ ਦੂਜੇ ਨੰਬਰ 'ਤੇ ਆਇਆ, ਕਲਾਉਡ ਫੈਬਲ 5.1 ਤੋਂ 56.4% 'ਤੇ ਬਿਲਕੁਲ ਅੱਗੇ। ਕਲਾਉਡ ਫੇਬਲ 5 ਨੇ 54.3% ਅਤੇ ਕਲਾਉਡ ਓਪਸ 4.8 ਮੈਕਸ 51.4% ਸਕੋਰ ਕੀਤੇ। ਟੀਮ ਨੋਟ ਕਰਦੀ ਹੈ ਕਿ ਕੁਝ ਮਹੀਨੇ ਪਹਿਲਾਂ ਇਸ ਨੂੰ ਮਾਡਲਾਂ ਤੋਂ ਇਹ ਵਧੀਆ ਪ੍ਰਦਰਸ਼ਨ ਕਰਨ ਦੀ ਉਮੀਦ ਨਹੀਂ ਹੋਵੇਗੀ।

ਇੱਕ ਨਤੀਜੇ ਨੇ ਟੀਮ ਨੂੰ ਖਾਸ ਤੌਰ 'ਤੇ ਪ੍ਰਸੰਨ ਕੀਤਾ: xAI ਨੇ 3D ਮਾਡਲਿੰਗ ਅਤੇ ਪੈਰਾਮੀਟ੍ਰਿਕ CAD ਮੁਲਾਂਕਣਾਂ ਦੇ ਨਾਲ-ਨਾਲ ਇੰਜੀਨੀਅਰਿੰਗ ਪ੍ਰਵੇਗ ਦੇ ਇੱਕ ਭਾਗ ਵਿੱਚ, Grok 4.6 ਮਾਡਲ ਕਾਰਡ ਵਿੱਚ EEBench ਨੂੰ ਸ਼ਾਮਲ ਕੀਤਾ। xAI ਦੀ ਆਪਣੀ ਪ੍ਰਕਾਸ਼ਿਤ ਦੌੜ ਨੇ ਉੱਚ ਤਰਕ ਦੇ ਯਤਨਾਂ ਨਾਲ 60.0% 'ਤੇ Grok 4.6 ਸਕੋਰ ਕੀਤਾ। xAI ਦੀ ਲਾਂਚ ਸਮੱਗਰੀ ਦੇ ਅਨੁਸਾਰ, ਮਾਡਲ ਨੇ ਕੰਪਿਊਟਰ-ਸਹਾਇਤਾ ਪ੍ਰਾਪਤ ਡਿਜ਼ਾਈਨ ਸਮੇਤ ਡੋਮੇਨ-ਵਿਸ਼ੇਸ਼ ਵਾਤਾਵਰਣਾਂ ਵਿੱਚ ਉੱਚ-ਗੁਣਵੱਤਾ ਇੰਜੀਨੀਅਰਿੰਗ ਡੇਟਾ ਅਤੇ ਰੀਨਫੋਰਸਮੈਂਟ ਸਿਖਲਾਈ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਕੀਤੀ।

ਓਪਨਏਆਈ ਦੇ ਹੁਣ ਤੱਕ ਟੈਸਟ ਕੀਤੇ ਗਏ ਮਾਡਲ ਸਾਰਣੀ ਵਿੱਚ ਹੋਰ ਹੇਠਾਂ ਬੈਠੇ ਹਨ: GPT-5.5 ਨੇ 42.3% ਅਤੇ GPT-5.6 Sol 39.4% ਸਕੋਰ ਕੀਤੇ। ਅਜੇ ਤੱਕ ਕੋਈ GPT-6 Astra ਨਤੀਜਾ ਨਹੀਂ ਹੈ - ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਪਾੜਾ ਇਹ ਦਿੱਤਾ ਗਿਆ ਹੈ ਕਿ ਮਾਡਲ ਦੇ KiCad ਡੈਮੋ ਨੇ ਮੁੜ ਧਿਆਨ ਖਿੱਚਿਆ ਹੈ। ਬੈਂਚਮਾਰਕ ਦਾ ਲੀਡਰਬੋਰਡ, ਕਾਰਜਪ੍ਰਣਾਲੀ, ਅਤੇ ਨਮੂਨਾ ਨਤੀਜਾ ਖੋਜੀ ਸਾਰੇ ਜਨਤਕ ਹਨ, ਅਤੇ ਲੈਬਾਂ ਆਪਣੇ ਖੁਦ ਦੇ ਮਾਡਲ ਚਲਾ ਸਕਦੀਆਂ ਹਨ।

ਇਹ ਕੀ ਨਹੀਂ ਮਾਪਦਾ — ਫਿਰ ਵੀ

EEBench V1 ਸਿਰਫ ਸਿਮੂਲੇਸ਼ਨ ਦੁਆਰਾ ਐਨਾਲਾਗ ਅਤੇ ਡਿਜੀਟਲ ਡਿਜ਼ਾਈਨ ਨੂੰ ਕਵਰ ਕਰਦਾ ਹੈ। ਇਹ ਅਜੇ ਤੱਕ ਇਹ ਜਾਂਚ ਨਹੀਂ ਕਰਦਾ ਹੈ ਕਿ ਕੀ ਇੱਕ ਮਾਡਲ ਇੱਕ ਭੌਤਿਕ ਬੋਰਡ ਲਗਾ ਸਕਦਾ ਹੈ, ਇਸਦਾ ਨਿਰਮਾਣ ਕਰ ਸਕਦਾ ਹੈ, ਜਾਂ ਇੱਕ ਮੁਕੰਮਲ ਉਤਪਾਦ ਲਿਆ ਸਕਦਾ ਹੈ - ਪੜਾਅ ਜਿੱਥੇ ਪੂਰੀ ਤਰ੍ਹਾਂ ਨਵੇਂ ਅਸਫਲ ਮੋਡ ਦਿਖਾਈ ਦਿੰਦੇ ਹਨ। ਟੀਮ ਦਾ ਕਹਿਣਾ ਹੈ ਕਿ ਉਹ ਉਹਨਾਂ ਪੜਾਵਾਂ ਨੂੰ ਬਾਅਦ ਵਿੱਚ ਜੋੜਨਾ ਚਾਹੁੰਦੀ ਹੈ, ਪਰ ਲੋੜਾਂ-ਡਿਜ਼ਾਈਨ-ਤਸਦੀਕ ਲੂਪ 'ਤੇ ਫੋਕਸਡ ਵਰਜ਼ਨ 1 ਕਿਉਂਕਿ ਇਹ ਉਹ ਥਾਂ ਹੈ ਜਿੱਥੇ ਉਪਯੋਗੀ ਇੰਜੀਨੀਅਰਿੰਗ ਕੰਮ ਨੂੰ ਪਹਿਲਾਂ ਹੀ ਉਦੇਸ਼ ਨਾਲ ਗ੍ਰੇਡ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ।

ਫਿਰ ਵੀ, ਬੈਂਚਮਾਰਕ ਇੱਕ ਦੱਸਣ ਵਾਲੇ ਪਲ 'ਤੇ ਉਤਰਦਾ ਹੈ. ਇੱਕ ਫਰੰਟੀਅਰ ਲੈਬ ਹੁਣ ਇੱਕ ਮਾਡਲ ਕਾਰਡ ਵਿੱਚ ਇਸਦਾ ਹਵਾਲਾ ਦਿੰਦੀ ਹੈ, ਲਾਂਚ ਡੈਮੋ ਨੇ ਇਲੈਕਟ੍ਰੋਨਿਕਸ ਨੂੰ ਫਰੰਟ ਪੇਜ 'ਤੇ ਰੱਖਿਆ ਹੈ, ਅਤੇ ਚੋਟੀ ਦਾ ਸਕੋਰ - 61.6% - ਭਰੋਸੇਯੋਗ ਤੋਂ ਦੂਰ ਰਹਿੰਦੇ ਹੋਏ ਮਾਡਲਾਂ ਨੂੰ ਅਰਥਪੂਰਨ ਤੌਰ 'ਤੇ ਸਮਰੱਥ ਬਣਾਉਂਦੇ ਹੋਏ ਦਿਖਾਉਂਦਾ ਹੈ। ਦੇਖਣ ਵਾਲੇ ਇਲੈਕਟ੍ਰੀਕਲ ਇੰਜੀਨੀਅਰਾਂ ਲਈ, ਪਹਿਲੇ EEBench ਨਤੀਜਿਆਂ ਤੋਂ ਸੰਦੇਸ਼ ਨੂੰ ਮਾਪਿਆ ਜਾਂਦਾ ਹੈ: AI ਕਾਗਜ਼ 'ਤੇ ਸਰਕਟਾਂ ਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਡਿਜ਼ਾਈਨ ਕਰ ਸਕਦਾ ਹੈ। ਕੀ ਉਹ ਅਸਲ ਹਿੱਸਿਆਂ ਦੇ ਸੰਪਰਕ ਤੋਂ ਬਚਦੇ ਹਨ, ਇਹ ਪਤਾ ਲਗਾਉਣ ਲਈ ਇਹ ਬੈਂਚਮਾਰਕ ਮੌਜੂਦ ਹੈ।

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →