جب OpenAI نے اس ہفتے GPT-6 Astra کی نقاب کشائی کی، تو ایک ڈیمو نے سامعین کی خاص توجہ مبذول کرائی جو فرنٹیئر ماڈل کے آغاز پر شاذ و نادر ہی شور مچاتی ہے: الیکٹریکل انجینئرز۔ لانچ پوسٹ میں KiCad میں ایک سرکٹ بورڈ ڈیزائن کرنے والے ماڈل کو نمایاں کیا گیا، جو اوپن سورس الیکٹرانکس ڈیزائن ٹول ہے۔ لیکن انجینئرز کی ایک چھوٹی ٹیم ایک مشکل سوال پوچھ رہی ہے - یہ نہیں کہ آیا AI ماڈل الیکٹرانکس سافٹ ویئر چلا سکتے ہیں، لیکن کیا وہ سرکٹس جو وہ تیار کرتے ہیں وہ حقیقت میں کام کرتے ہیں۔
ان کا جواب 4 ستمبر کو EEBench کی شکل میں پہنچا، یہ ایک نیا عوامی معیار ہے جو انسانی فیصلے کے بجائے عزم پرست اسپائس سمیلیشن کا استعمال کرتے ہوئے AI کے ڈیزائن کردہ سرکٹس کو درجہ دیتا ہے۔ ابتدائی نتائج سے پتہ چلتا ہے کہ موجودہ ماڈل الیکٹرانکس کے بارے میں ان کے آؤٹ پٹ کے مقابلے میں کہیں زیادہ جانتے ہیں، لیکن پھر بھی حقیقی دنیا کے حصے کے طرز عمل میں ناکام رہتے ہیں جو انسانی انجینئروں کو بھی متاثر کرتا ہے۔ For more context on this story, see our ongoing AI trends.
کیوں سرکٹ ڈیزائن کو اس کے اپنے بینچ مارک کی ضرورت ہے۔
EEBench ٹیم، جو eebench.org پر بینچ مارک شائع کرتی ہے، کا کہنا ہے کہ اس کے تجربے سے پتہ چلتا ہے کہ موجودہ ماڈلز نے نصابی کتب، ڈیٹا شیٹس، ایپلیکیشن نوٹس اور کوڈ کی بڑی مقدار کو جذب کر لیا ہے۔ رکاوٹ انٹرفیس ہے۔ جب کوئی ایجنٹ KiCad جیسے گرافیکل CAD ٹول کو چلاتا ہے، تو وہ اپنی زیادہ تر کوشش مینو کے ذریعے کلک کرنے اور اسکرین پر موجود چیزوں کو ٹریک کرنے میں صرف کرتا ہے، اس کی سیاق و سباق کی ونڈو کو برقی استدلال کے بجائے کوآرڈینیٹ اور ایپلیکیشن سٹیٹ کے ساتھ استعمال کرتا ہے۔
EEBench ایک مختلف نقطہ نظر لیتا ہے. بینچ مارک میں سرکٹس atopile میں لکھے جاتے ہیں، ایک ایسی زبان جو الیکٹرانکس کو اعلانیہ کوڈ کے طور پر بیان کرتی ہے، لہذا ایجنٹ براہ راست اجزاء، کنکشن اور رکاوٹوں پر کام کرتا ہے۔ ماڈل کسی ڈیزائن میں ترمیم کر سکتا ہے، اسے بنا سکتا ہے، ایک سمولیشن چلا سکتا ہے، اور پروجیکٹ کو چھوڑے بغیر ناکامیوں کا معائنہ کر سکتا ہے۔ ٹیم کے مطابق، یہ ماڈل کو GUI میں لکیریں کھینچنے کے لیے کہنے سے کہیں بہتر کام کرتا ہے - اور یہ کمپیوٹر کے استعمال کی مہارت کے بجائے الیکٹرانکس کے علم کو بینچ مارک ٹیسٹ کرنے دیتا ہے۔
اصلی حصے، حقیقی ناکامیاں
ایک عوامی کام رہائشی توانائی کے میٹر سے لیا جاتا ہے۔ جب اس کی 5 وولٹ کی سپلائی غائب ہو جاتی ہے، تو سرکٹ کو پروسیسر کو مزید 20 ملی سیکنڈز کے لیے زندہ رکھنا چاہیے تاکہ یہ جمع شدہ ریڈنگز کو محفوظ کر سکے، محفوظ ریل پوری وقت پروسیسر کی 3.0 وولٹ کی براؤن آؤٹ حد سے اوپر رہتی ہے۔
زیادہ تر ماڈلز، ٹیم کی رپورٹ کے مطابق، فوری طور پر صحیح بنیادی نتیجے پر پہنچتے ہیں: ایک کپیسیٹر شامل کریں۔ بینچ مارک اسے لگتا ہے اس سے کہیں زیادہ مشکل بنا دیتا ہے۔ ایک حقیقی سیرامک کیپیسیٹر اپنے مشتہر کیپیسیٹینس سے کہیں کم ڈیلیور کر سکتا ہے ایک بار جب اس پر وولٹیج لگائی جاتی ہے، پرزے برداشت کرتے ہیں، اور اضافی گنجائش لاگت میں اضافہ کرتی ہے، جگہ لیتی ہے، اور بجلی واپس آنے پر ریل کے ری چارج کو سست کر دیتی ہے۔
گریڈرز نے ایک جمع کرائی جو درسی کتاب کے جوابات اور ورکنگ ہارڈ ویئر کے درمیان فرق کو واضح کرتی ہے۔ ایک ڈیزائن میں 22 مائیکروفراڈز برائے نام بیان کیے گئے ہیں - ایک قدر جو کاغذ پر کافی نظر آتی ہے۔ لیکن 4.7 وولٹ کے تعصب پر، گریڈر نے صرف 11.4 مائیکروفراڈز کی موثر صلاحیت کی پیمائش کی، جو ٹاسک کی 545-مائیکروفارڈ کی ضرورت سے بہت کم ہے۔ ماخذ کوڈ کامیابی کے ساتھ بنایا گیا۔ سرکٹ پھر بھی ناکام ہو گیا: تخروپن نے دکھایا کہ محفوظ ریل صرف 0.85 ملی سیکنڈ کے بعد 3 وولٹ کی ضرورت سے نیچے گرتی ہے، مطلوبہ 20 کے قریب کہیں بھی نہیں۔
مشکل کام مزید آگے بڑھاتے ہیں۔ ایک ینالاگ اسائنمنٹ کے لیے ایک op-amp کے ارد گرد ایک سے زیادہ فیڈ بیک کم پاس فلٹر کی ترکیب کی ضرورت ہوتی ہے، مطلوبہ کھمبوں کے لیے ریزسٹر اور کیپیسیٹر کے تناسب کو حل کرنا، اور گین، کٹ آف فریکوئنسی، اور Q کو حد کے اندر رکھنا ہوتا ہے یہاں تک کہ جب ہر جزو کو بدترین حالات میں برداشت کرنے والے کونوں پر دھکیل دیا جائے۔
گریڈنگ کیسے کام کرتی ہے۔
EEBench کے چیک مکمل طور پر متعین ہوتے ہیں۔ ہارنس پیش کردہ ڈیزائن بناتا ہے، سرکٹ گراف اور مواد کا بل بناتا ہے، اور SPICE سمیلیشنز اور ڈیزائن چیکس کا ایک سیٹ چلاتا ہے، جس میں ہر ضرورت ایک عددی حد کے خلاف پیمائش پیدا کرتی ہے۔ ٹاسک اجزاء کی رواداری کے کونوں پر فائدہ، حد، لہر، عارضی ردعمل، اور رویے کی پیمائش کرتے ہیں۔ تکنیکی اسکور کو مواد کے حوالہ بل کے خلاف لاگت کی کارکردگی کی پیمائش کے ساتھ ملایا جاتا ہے - حالانکہ لاگت صرف اس وقت مدد کرتی ہے جب سرکٹ کام کرتا ہے۔
ٹیم سیٹ اپ کا موازنہ کوڈنگ ایجنٹ کو کمپائلر اور ٹیسٹ سوٹ دینے سے کرتی ہے، سوائے ٹیسٹ کے وولٹیجز اور اجزاء کے رویے کی پیمائش ہوتی ہے۔ ورژن 1 میں تمام ٹاسک اصلی مینوفیکچرر پارٹس کا استعمال کرتے ہیں، ڈیٹا شیٹس سے اخذ کردہ تصریحات کے ساتھ اور سمیولیشن ماڈلز میں لے جایا جاتا ہے، جس سے ایجنٹ کو ایسے امتزاجات تلاش کرنے پر مجبور کیا جاتا ہے جو موجود ہیں، آرڈر کیے جا سکتے ہیں، اور ان کی قیمت مناسب ہے۔
پہلا لیڈر بورڈ
1 ستمبر کے نتائج نے Claude Opus 5 کو 13 کاموں میں 61.6% کے ساتھ EEBench V1 میں سب سے اوپر رکھا۔ Grok 4.6 57.1% پر دوسرے نمبر پر آیا، Claude Fable 5.1 سے 56.4% پر بالکل آگے۔ Claude Fable 5 نے 54.3% اور Claude Opus 4.8 Max 51.4% اسکور کیا۔ ٹیم نوٹ کرتی ہے کہ چند ماہ قبل اس نے ماڈلز سے یہ اچھی کارکردگی دکھانے کی توقع نہیں کی تھی۔
ایک نتیجہ نے ٹیم کو خاص طور پر خوش کیا: xAI نے EEBench کو Grok 4.6 ماڈل کارڈ میں شامل کیا، 3D ماڈلنگ اور پیرامیٹرک CAD تشخیص کے ساتھ انجینئرنگ ایکسلریشن کے ایک حصے میں۔ xAI کی اپنی شائع شدہ رن نے اعلی استدلال کی کوشش کے ساتھ 60.0% پر Grok 4.6 اسکور کیا۔ xAI کے لانچ مواد کے مطابق، ماڈل نے اعلیٰ معیار کا انجینئرنگ ڈیٹا اور ڈومین مخصوص ماحول میں کمک سیکھنے کی تربیت حاصل کی، بشمول کمپیوٹر کی مدد سے ڈیزائن۔
اوپن اے آئی کے اب تک ٹیسٹ کیے گئے ماڈلز ٹیبل کے نیچے بیٹھ گئے: GPT-5.5 نے 42.3% اور GPT-5.6 Sol 39.4% اسکور کیا۔ ابھی تک کوئی GPT-6 Astra کا نتیجہ نہیں ہے - ایک قابل ذکر فرق یہ ہے کہ ماڈل کے KiCad ڈیمو نے نئی توجہ کو جنم دیا۔ بینچ مارک کا لیڈر بورڈ، طریقہ کار، اور سیمپل رزلٹ ایکسپلورر سبھی عوامی ہیں، اور لیبز اپنے ماڈل چلا سکتی ہیں۔
یہ کیا پیمائش نہیں کرتا ہے - پھر بھی
EEBench V1 صرف تخروپن کے ذریعے اینالاگ اور ڈیجیٹل ڈیزائن کا احاطہ کرتا ہے۔ یہ ابھی تک جانچ نہیں کرتا ہے کہ آیا کوئی ماڈل فزیکل بورڈ لگا سکتا ہے، اسے تیار کر سکتا ہے، یا کوئی تیار شدہ پروڈکٹ لا سکتا ہے — ایسے مراحل جہاں مکمل طور پر نئے ناکامی کے طریقے ظاہر ہوتے ہیں۔ ٹیم کا کہنا ہے کہ وہ ان مراحل کو بعد میں شامل کرنا چاہتی ہے، لیکن ضروریات-ڈیزائن-تصدیق کے لوپ پر مرکوز ورژن 1 کیونکہ یہ وہ جگہ ہے جہاں مفید انجینئرنگ کام کو پہلے ہی معروضی طور پر درجہ بندی کیا جا سکتا ہے۔
پھر بھی، بینچ مارک ایک بتانے والے لمحے پر اترتا ہے۔ ایک فرنٹیئر لیب نے اب اسے ایک ماڈل کارڈ میں نقل کیا ہے، لانچ ڈیموز نے الیکٹرانکس کو صفحہ اول پر رکھا ہے، اور ٹاپ سکور — 61.6% — دکھاتا ہے کہ ماڈلز قابل بھروسہ سے دور رہتے ہوئے بامعنی طور پر قابل ہو رہے ہیں۔ دیکھنے والے الیکٹریکل انجینئرز کے لیے، پہلے EEBench کے نتائج کے پیغام کی پیمائش کی جاتی ہے: AI تیزی سے کاغذ پر سرکٹس ڈیزائن کر سکتا ہے۔ آیا وہ حقیقی حصوں کے ساتھ رابطے میں زندہ رہتے ہیں یا نہیں یہ معلوم کرنے کے لیے یہ بینچ مارک موجود ہے۔
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
