जेव्हा OpenAI ने या आठवड्यात GPT-6 Astra चे अनावरण केले, तेव्हा एका डेमोने प्रेक्षकांचे विशेष लक्ष वेधले जे क्वचितच फ्रंटियर मॉडेल लाँच करताना ओरडले जाते: इलेक्ट्रिकल अभियंते. लॉन्च पोस्टमध्ये KiCad, ओपन-सोर्स इलेक्ट्रॉनिक्स डिझाइन टूलमध्ये सर्किट बोर्ड डिझाइन करणारे मॉडेल वैशिष्ट्यीकृत केले आहे. परंतु अभियंत्यांची एक छोटी टीम एक कठीण प्रश्न विचारत आहे - एआय मॉडेल इलेक्ट्रॉनिक्स सॉफ्टवेअर ऑपरेट करू शकतात की नाही, परंतु ते तयार केलेले सर्किट प्रत्यक्षात कार्य करतात का.

त्यांचे उत्तर 4 सप्टेंबर रोजी EEBench या नवीन सार्वजनिक बेंचमार्कच्या रूपात आले जे AI-डिझाइन केलेल्या सर्किट्सना मानवी निर्णयाऐवजी निर्धारवादी SPICE सिम्युलेशन वापरून श्रेणीबद्ध करते. सुरुवातीचे परिणाम सूचित करतात की वर्तमान मॉडेल्सना त्यांचे आउटपुट सामान्यत: दर्शविल्या जाणाऱ्या इलेक्ट्रॉनिक्सबद्दल बरेच काही माहित आहे, तरीही मानवी अभियंत्यांना देखील ट्रीप करणाऱ्या वास्तविक-जगातील भागाच्या वर्तनात अद्याप अपयशी ठरते. For more context on this story, see our ongoing AI industry coverage.

सर्किट डिझाइनला स्वतःचे बेंचमार्क का आवश्यक आहे

EEBench टीम, जी eebench.org वर बेंचमार्क प्रकाशित करते, म्हणते की सध्याच्या मॉडेल्सनी पाठ्यपुस्तके, डेटाशीट्स, ऍप्लिकेशन नोट्स आणि मोठ्या प्रमाणात कोड आत्मसात केले आहेत. बॉटलनेक इंटरफेस आहे. जेव्हा एजंट KiCad सारखे ग्राफिकल CAD टूल चालवतो, तेव्हा तो त्याचा बराचसा प्रयत्न मेन्यूद्वारे क्लिक करण्यात आणि स्क्रीनवर काय आहे याचा मागोवा घेण्यासाठी खर्च करतो, त्याची संदर्भ विंडो इलेक्ट्रिकल रिझनिंगऐवजी निर्देशांक आणि अनुप्रयोग स्थितीसह वापरतो.

EEBench एक वेगळा दृष्टीकोन घेते. बेंचमार्कमधील सर्किट्स ॲटोपाइलमध्ये लिहिलेली असतात, एक अशी भाषा जी इलेक्ट्रॉनिक्सचे वर्णनात्मक कोड म्हणून वर्णन करते, त्यामुळे एजंट थेट घटक, कनेक्शन आणि मर्यादांवर कार्य करतो. मॉडेल डिझाइनमध्ये बदल करू शकते, ते तयार करू शकते, सिम्युलेशन चालवू शकते आणि प्रकल्प न सोडता अपयशाची तपासणी करू शकते. संघाच्या मते, हे मॉडेलला GUI मध्ये रेषा काढण्यास सांगण्यापेक्षा बरेच चांगले कार्य करते - आणि हे संगणक-वापर कौशल्याऐवजी बेंचमार्क इलेक्ट्रॉनिक्स ज्ञानाची चाचणी करू देते.

वास्तविक भाग, वास्तविक अपयश

निवासी ऊर्जा मीटरमधून एक सार्वजनिक कार्य काढले जाते. जेव्हा त्याचा 5-व्होल्ट पुरवठा नाहीसा होतो, तेव्हा सर्किटने प्रोसेसरला आणखी 20 मिलीसेकंदांसाठी जिवंत ठेवले पाहिजे जेणेकरून ते संचित रीडिंग वाचवू शकेल, संरक्षित रेल संपूर्ण वेळ प्रोसेसरच्या 3.0-व्होल्ट ब्राउनआउट थ्रेशोल्डच्या वर राहील.

बहुतेक मॉडेल्स, टीमच्या अहवालानुसार, ताबडतोब योग्य बेस निष्कर्षापर्यंत पोहोचतात: कॅपेसिटर जोडा. बेंचमार्क ते ध्वनीपेक्षा कठीण बनवते. वास्तविक सिरॅमिक कॅपॅसिटर त्याच्या जाहिरात केलेल्या कॅपेसिटन्सपेक्षा खूपच कमी वितरीत करू शकतो एकदा त्यावर व्होल्टेज लागू केले की, भाग सहनशीलता बाळगतात आणि अतिरिक्त कॅपेसिटन्स खर्च वाढवते, जागा घेते आणि पॉवर परत आल्यावर रेल्वेचे रिचार्ज कमी करते.

ग्रेडरनी एक सबमिशन पकडले जे पाठ्यपुस्तकांची उत्तरे आणि कार्यरत हार्डवेअरमधील अंतर स्पष्ट करते. 22 मायक्रोफॅरॅड्स नाममात्र निर्दिष्ट केलेल्या डिझाइनमध्ये - कागदावर पुरेसे दिसणारे मूल्य. परंतु 4.7 व्होल्ट बायसवर, ग्रेडरने केवळ 11.4 मायक्रोफॅरॅड प्रभावी कॅपेसिटन्स मोजले, जे टास्कच्या 545-मायक्रोफॅरॅड आवश्यकतेपेक्षा खूपच कमी आहे. स्त्रोत कोड यशस्वीरित्या तयार झाला. सर्किट अजूनही अयशस्वी झाले: सिम्युलेशनने संरक्षित रेल्वे 3-व्होल्टच्या आवश्यकतेच्या खाली फक्त 0.85 मिलिसेकंदांनी खाली येत असल्याचे दाखवले, आवश्यक 20 च्या जवळपास कुठेही नाही.

कठीण कार्ये पुढे ढकलतात. एका ॲनालॉग असाइनमेंटसाठी op-amp भोवती मल्टीपल-फीडबॅक लो-पास फिल्टरचे संश्लेषण करणे, आवश्यक ध्रुवांसाठी रेझिस्टर आणि कॅपेसिटर रेशो सोडवणे आणि प्रत्येक घटक सर्वात वाईट-केस सहिष्णुतेच्या कोपऱ्यांवर ढकलला जात असतानाही लाभ, कटऑफ वारंवारता आणि Q मर्यादेत ठेवणे आवश्यक आहे.

प्रतवारी कशी कार्य करते

EEBench चेक पूर्णपणे निर्धारवादी आहेत. हार्नेस सबमिट केलेले डिझाइन तयार करतो, सर्किट आलेख आणि सामग्रीचे बिल तयार करतो आणि SPICE सिम्युलेशन आणि डिझाइन चेकचा एक संच चालवतो, प्रत्येक आवश्यकता संख्यात्मक मर्यादेच्या विरूद्ध मोजमाप तयार करते. कार्ये घटक-सहिष्णुता कोपऱ्यांवर लाभ, उंबरठा, लहर, क्षणिक प्रतिसाद आणि वर्तन मोजतात. तांत्रिक स्कोअर सामग्रीच्या संदर्भ बिलाच्या तुलनेत खर्च-कार्यक्षमतेच्या मोजमापासह एकत्रित केला जातो - जरी सर्किट कार्य केल्यानंतर खर्च केवळ मदत करते.

टीम सेटअपची तुलना कोडिंग एजंटला कंपाइलर आणि चाचणी संच देण्याशी करते, चाचणी वगळता व्होल्टेज आणि घटक वर्तन मोजतात. आवृत्ती 1 मधील सर्व कार्ये डेटाशीटमधून काढलेल्या आणि सिम्युलेशन मॉडेल्समध्ये आणलेल्या वैशिष्ट्यांसह वास्तविक निर्मात्याचे भाग वापरतात, एजंटला अस्तित्वात असलेले संयोजन शोधण्यास भाग पाडतात, ऑर्डर केले जाऊ शकतात आणि वाजवी किंमत असते.

पहिला लीडरबोर्ड

1 सप्टेंबरच्या निकालांनी क्लॉड ओपस 5 ला EEBench V1 च्या शीर्षस्थानी 61.6% सह 13 कार्यांमध्ये ठेवले आहे. Grok 4.6 57.1% वर दुसरा आला, क्लॉड फेबल 5.1 च्या पुढे 56.4%. क्लॉड फेबल 5 ने 54.3% आणि क्लॉड ओपस 4.8 कमाल 51.4% गुण मिळवले. संघाने असे नमूद केले आहे की काही महिन्यांपूर्वी मॉडेल्सना हे चांगले प्रदर्शन करण्याची अपेक्षा नव्हती.

एका निकालाने टीमला विशेषत: आनंद दिला: xAI ने 3D मॉडेलिंग आणि पॅरामेट्रिक CAD मूल्यमापन सोबत अभियांत्रिकी प्रवेग वरील विभागात Grok 4.6 मॉडेल कार्डमध्ये EEBench चा समावेश केला. xAI च्या स्वतःच्या प्रकाशित रनने उच्च तर्कशक्तीच्या प्रयत्नाने Grok 4.6 वर 60.0% गुण मिळवले. xAI च्या प्रक्षेपण सामग्रीनुसार, मॉडेलला उच्च-गुणवत्तेचा अभियांत्रिकी डेटा आणि डोमेन-विशिष्ट वातावरणात मजबुतीकरण शिक्षण प्रशिक्षण मिळाले, ज्यामध्ये संगणक-सहाय्यित डिझाइनचा समावेश आहे.

ओपनएआयचे आतापर्यंत चाचणी केलेले मॉडेल टेबलच्या खाली बसले आहेत: GPT-5.5 ने 42.3% आणि GPT-5.6 Sol 39.4% गुण मिळवले. अद्याप कोणताही GPT-6 Astra निकाल नाही — मॉडेलच्या KiCad डेमोने नवीन लक्ष वेधून घेतलेली एक लक्षणीय अंतर. बेंचमार्कचा लीडरबोर्ड, कार्यपद्धती आणि नमुना परिणाम एक्सप्लोरर सर्व सार्वजनिक आहेत आणि लॅब त्यांचे स्वतःचे मॉडेल चालवू शकतात.

ते काय मोजत नाही — तरीही

EEBench V1 केवळ सिम्युलेशनद्वारे ॲनालॉग आणि डिजिटल डिझाइन कव्हर करते. एखादे मॉडेल फिजिकल बोर्ड लावू शकते, ते तयार करू शकते किंवा तयार झालेले उत्पादन आणू शकते की नाही हे अद्याप तपासले जात नाही — अशा टप्प्यांमध्ये जेथे संपूर्णपणे नवीन अपयश मोड दिसतात. संघाचे म्हणणे आहे की ते ते टप्पे नंतर जोडू इच्छित आहेत, परंतु आवश्यकता-डिझाइन-सत्यापन लूपवर केंद्रित आवृत्ती 1 कारण तिथेच उपयुक्त अभियांत्रिकी कार्य आधीच वस्तुनिष्ठपणे श्रेणीबद्ध केले जाऊ शकते.

तरीही, बेंचमार्क एका सांगण्याच्या क्षणी उतरतो. फ्रंटियर लॅबने आता ते मॉडेल कार्डमध्ये उद्धृत केले आहे, लाँच डेमोने इलेक्ट्रॉनिक्सला पहिल्या पानावर ठेवले आहे, आणि सर्वोच्च स्कोअर — ६१.६% — मॉडेल्स विश्वसनीयतेपासून दूर असताना अर्थपूर्णपणे सक्षम होत असल्याचे दाखवते. पाहणाऱ्या इलेक्ट्रिकल इंजिनीअर्ससाठी, पहिल्या EEBench निकालातील संदेशाचे मोजमाप केले जाते: AI कागदावर सर्किट्स अधिकाधिक डिझाइन करू शकते. ते वास्तविक भागांच्या संपर्कात टिकून राहतात की नाही हे शोधण्यासाठी हा बेंचमार्क अस्तित्वात आहे.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →