Când OpenAI a dezvăluit GPT-6 Astra săptămâna aceasta, o demonstrație a atras atenția în mod deosebit din partea unui public care rareori primește un strigăt la lansările de modele de frontieră: inginerii electrici. Postarea de lansare a prezentat modelul proiectând o placă de circuit în KiCad, instrumentul de proiectare electronică open-source. Dar o echipă mică de ingineri și-a pus o întrebare mai dificilă – nu dacă modelele AI pot opera software electronic, ci dacă circuitele pe care le produc chiar funcționează.

Răspunsul lor a sosit pe 4 septembrie sub forma EEBench, un nou etalon public care evaluează circuitele proiectate de AI folosind simulări deterministe SPICE, mai degrabă decât judecata umană. Rezultatele timpurii sugerează că modelele actuale știu mult mai multe despre electronică decât arată în mod obișnuit rezultatele lor, dar totuși eșuează la tipul de comportament al pieselor din lumea reală care îi împiedică și pe inginerii umani. For more context on this story, see our ongoing more AI stories.

De ce Circuit Design a avut nevoie de propriul său punct de referință

Echipa EEBench, care publică benchmark-ul pe eebench.org, spune că experiența sa arată că modelele actuale au absorbit manuale, foi de date, note de aplicație și cantități mari de cod. Blocajul este interfața. Când un agent operează un instrument CAD grafic precum KiCad, își petrece mult efortul făcând clic pe meniuri și urmărind ceea ce este pe ecran, consumând fereastra contextului cu coordonatele și starea aplicației, mai degrabă decât cu raționamentul electric.

EEBench adoptă o abordare diferită. Circuitele din benchmark sunt scrise în atopil, un limbaj care descrie electronica ca cod declarativ, astfel încât agentul lucrează direct pe componente, conexiuni și constrângeri. Modelul poate modifica un design, îl poate construi, rula o simulare și poate inspecta defecțiunile fără a părăsi proiectul. Potrivit echipei, acest lucru funcționează mult mai bine decât a cere unui model să deseneze linii într-o interfață grafică – și permite benchmarkului să testeze cunoștințele electronice, mai degrabă decât abilitățile de utilizare a computerului.

Piese reale, eșecuri reale

O sarcină publică este extrasă dintr-un contor de energie rezidențial. Când sursa de 5 volți dispare, circuitul trebuie să mențină procesorul în viață încă 20 de milisecunde, astfel încât să poată salva citirile acumulate, șina protejată rămânând peste pragul de întrerupere de 3,0 volți al procesorului tot timpul.

Majoritatea modelelor, relatează echipa, ajung imediat la concluzia de bază corectă: adăugați un condensator. Benchmark-ul face asta mai greu decât pare. Un condensator ceramic real poate furniza mult mai puțin decât capacitatea sa anunțată odată ce tensiunea este aplicată peste el, piesele poartă toleranțe, iar capacitatea suplimentară adaugă costuri, ocupă spațiu și încetinește reîncărcarea șinei la revenirea energiei.

Elevii au prins o trimitere care ilustrează decalajul dintre răspunsurile la manuale și hardware-ul de lucru. Un design a specificat 22 de microfarad în mod nominal - o valoare care pare suficientă pe hârtie. Dar la 4,7 volți de polarizare, graderul a măsurat doar 11,4 microfarad de capacitate efectivă, mult sub cerința de 545 microfarad a sarcinii. Codul sursă construit cu succes. Circuitul a eșuat în continuare: simularea a arătat că șina protejată scade sub cerința de 3 volți după doar 0,85 milisecunde, nicăieri aproape de 20 necesari.

Sarcinile mai grele împing mai departe. O atribuire analogică necesită sintetizarea unui filtru trece-jos cu feedback multiplu în jurul unui amplificator operațional, rezolvarea raporturilor de rezistență și condensator pentru polii necesari și menținerea câștigului, frecvenței de tăiere și Q în limite, chiar și atunci când fiecare componentă este împinsă în colțurile de toleranță în cel mai rău caz.

Cum funcționează gradarea

Verificările EEBench sunt complet deterministe. Cablul construiește proiectul prezentat, construiește graficul circuitului și lista de materiale și rulează un set de simulări SPICE și verificări de proiectare, fiecare cerință producând o măsurare în raport cu o limită numerică. Sarcinile măsoară câștigul, pragurile, ondulația, răspunsul tranzitoriu și comportamentul la colțurile de toleranță la componente. Scorul tehnic este combinat cu o măsură de eficiență a costurilor față de o listă de materiale de referință - deși costul ajută doar odată ce circuitul funcționează.

Echipa compară configurația cu oferirea unui agent de codare a unui compilator și a unei suită de teste, cu excepția testelor care măsoară tensiunile și comportamentul componentelor. Toate sarcinile din versiunea 1 folosesc piese reale ale producătorului, cu specificații extrase din fișele de date și transportate în modelele de simulare, forțând agentul să găsească combinații care există, pot fi comandate și au un preț rezonabil.

Primul clasament

Rezultatele de la 1 septembrie l-au plasat pe Claude Opus 5 în fruntea EEBench V1 cu 61,6% în 13 sarcini. Grok 4.6 a ocupat locul al doilea cu 57,1%, chiar înaintea lui Claude Fable 5.1 cu 56,4%. Claude Fable 5 a obținut 54,3% și Claude Opus 4,8 Max 51,4%. Echipa notează că în urmă cu câteva luni nu s-ar fi așteptat ca modelele să aibă rezultate atât de bune.

Un rezultat a mulțumit în special echipa: xAI a inclus EEBench în cardul de model Grok 4.6, într-o secțiune despre accelerarea inginerească, alături de modelarea 3D și evaluările CAD parametrice. Runda publicată de xAI a obținut un punctaj Grok 4,6 la 60,0% cu un efort de raționament x mare. Potrivit materialelor de lansare ale xAI, modelul a primit date de inginerie de înaltă calitate și instruire de învățare de consolidare în medii specifice domeniului, inclusiv proiectare asistată de computer.

Modelele OpenAI testate până acum stau mai jos pe tabel: GPT-5.5 a obținut 42,3% și GPT-5.6 Sol 39,4%. Nu există încă un rezultat GPT-6 Astra - un decalaj notabil având în vedere că demonstrația KiCad a modelului a stârnit o atenție reînnoită. Clasamentul benchmark-ului, metodologia și exploratorul de rezultate sunt toate publice, iar laboratoarele își pot rula propriile modele.

Ce nu măsoară — încă

EEBench V1 acoperă designul analogic și digital numai prin simulare. Încă nu testează dacă un model poate aranja o placă fizică, o poate fabrica sau poate aduce un produs finit - etape în care apar moduri de defecțiune complet noi. Echipa spune că dorește să adauge acele etape mai târziu, dar s-a concentrat versiunea 1 pe bucla cerințelor-proiectare-verificare, deoarece aici poate fi deja evaluată obiectiv munca de inginerie utilă.

Totuși, reperul aterizează într-un moment grăitor. Un laborator de frontieră îl citează acum într-un card de model, demo-urile de lansare pun electronicele pe prima pagină, iar scorul maxim – 61,6% – arată că modelele devin capabile semnificativ, rămânând departe de a fi fiabile. Pentru inginerii electrici care urmăresc, mesajul de la primele rezultate EEBench este măsurat: AI poate proiecta din ce în ce mai mult circuite pe hârtie. Dacă supraviețuiesc contactului cu părți reale este exact ceea ce trebuie să afle acest punct de referință.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →