När OpenAI avslöjade GPT-6 Astra denna vecka, väckte en demo särskild uppmärksamhet från en publik som sällan får en shoutout vid lanseringar av frontiermodeller: elektriker. Lanseringsposten innehöll modellen som designade ett kretskort i KiCad, elektronikdesignverktyget med öppen källkod. Men ett litet team av ingenjörer har ställt en svårare fråga - inte om AI-modeller kan använda elektronikprogramvara, utan om kretsarna de producerar faktiskt fungerar.
Deras svar kom den 4 september i form av EEBench, ett nytt offentligt riktmärke som graderar AI-designade kretsar med deterministiska SPICE-simuleringar snarare än mänskligt omdöme. De tidiga resultaten tyder på att nuvarande modeller vet mycket mer om elektronik än vad deras produktion vanligtvis visar, men ändå misslyckas med den typ av verkliga delbeteende som också gör mänskliga ingenjörer i vägen. For more context on this story, see our ongoing more AI stories.
Varför kretsdesign behövde sitt eget riktmärke
EEBench-teamet, som publicerar riktmärket på eebench.org, säger att deras erfarenhet visar att nuvarande modeller har absorberat läroböcker, datablad, applikationsanteckningar och stora mängder kod. Flaskhalsen är gränssnittet. När en agent använder ett grafiskt CAD-verktyg som KiCad, lägger den ner mycket av sin ansträngning på att klicka sig igenom menyer och spåra vad som finns på skärmen, och konsumerar sitt sammanhangsfönster med koordinater och applikationstillstånd snarare än elektriska resonemang.
EEBench tar ett annat tillvägagångssätt. Kretsar i benchmark är skrivna i atopile, ett språk som beskriver elektronik som deklarativ kod, så agenten arbetar direkt på komponenter, anslutningar och begränsningar. Modellen kan modifiera en design, bygga den, köra en simulering och inspektera fel utan att lämna projektet. Enligt teamet fungerar detta mycket bättre än att be en modell att rita linjer i ett GUI - och det låter riktmärket testa elektronikkunskap snarare än datoranvändningsförmåga.
Verkliga delar, verkliga misslyckanden
En offentlig uppgift hämtas från en energimätare för bostäder. När dess 5-voltsförsörjning försvinner måste kretsen hålla processorn vid liv i ytterligare 20 millisekunder så att den kan spara ackumulerade avläsningar, med den skyddade skenan som håller sig över processorns 3,0-volts brownout-tröskel hela tiden.
De flesta modeller, rapporterar teamet, når omedelbart den rätta slutsatsen: lägg till en kondensator. Riktmärket gör det svårare än det låter. En riktig keramisk kondensator kan leverera mycket mindre än den angivna kapacitansen när spänning appliceras över den, delar har toleranser och extra kapacitans ökar kostnaden, tar plats och saktar ner skenans laddning när strömmen kommer tillbaka.
Klasserna fångade en inlämning som illustrerar klyftan mellan lärobokssvar och fungerande hårdvara. En design specificerade 22 mikrofarad nominellt - ett värde som ser tillräckligt ut på papper. Men vid 4,7 volts förspänning mätte väghyveln endast 11,4 mikrofarads effektiv kapacitans, långt under uppgiftens krav på 545 mikrofarad. Källkoden byggdes framgångsrikt. Kretsen misslyckades fortfarande: simulering visade att den skyddade skenan föll under 3-voltskravet efter bara 0,85 millisekunder, inte i närheten av de 20 som krävs.
Svårare uppgifter drivs vidare. En analog tilldelning kräver att man syntetiserar ett lågpassfilter med flera återkopplingar runt en op-förstärkare, löser resistor- och kondensatorförhållanden för de erforderliga polerna och håller förstärkningen, gränsfrekvensen och Q inom gränserna även när varje komponent trycks till värsta toleranshörn.
Hur betygsättningen fungerar
EEBench-kontroller är helt deterministiska. Selen bygger den inlämnade designen, konstruerar kretsdiagrammet och materialförteckningen och kör en uppsättning SPICE-simuleringar och designkontroller, där varje krav producerar en mätning mot en numerisk gräns. Uppgifter mäter förstärkning, trösklar, rippel, transient respons och beteende vid komponenttoleranshörn. Den tekniska poängen kombineras med ett kostnadseffektivitetsmått mot en referenslista – även om kostnaden bara hjälper när kretsen fungerar.
Teamet jämför installationen med att ge en kodningsagent en kompilator och en testsvit, förutom att testerna mäter spänningar och komponentbeteende. Alla uppgifter i version 1 använder verkliga tillverkardelar, med specifikationer extraherade från datablad och förs in i simuleringsmodellerna, vilket tvingar agenten att hitta kombinationer som finns, kan beställas och är rimligt prissatta.
Den första leaderboarden
Resultat från 1 september placerade Claude Opus 5 i toppen av EEBench V1 med 61,6 % över 13 uppgifter. Grok 4,6 kom tvåa med 57,1 %, strax före Claude Fable 5,1 på 56,4 %. Claude Fable 5 fick 54,3 % och Claude Opus 4,8 Max 51,4 %. Teamet noterar att det för några månader sedan inte hade förväntat sig att modeller skulle prestera så bra.
Ett resultat gladde teamet särskilt: xAI inkluderade EEBench i Grok 4.6-modellkortet, i ett avsnitt om teknisk acceleration tillsammans med 3D-modellering och parametriska CAD-utvärderingar. xAI:s egen publicerade körning fick Grok 4,6 på 60,0 % med xhög resonemangsansträngning. Enligt xAI:s lanseringsmaterial fick modellen högkvalitativ ingenjörsdata och förstärkningsinlärningsträning i domänspecifika miljöer, inklusive datorstödd design.
OpenAI:s hittills testade modeller ligger längre ner i tabellen: GPT-5.5 fick 42.3% och GPT-5.6 Sol 39.4%. Det finns inget GPT-6 Astra-resultat ännu – en anmärkningsvärd lucka med tanke på att modellens KiCad-demo väckte förnyad uppmärksamhet. Riktmärkets resultattavla, metodik och exempelresultatutforskare är alla offentliga och laboratorier kan köra sina egna modeller.
Vad det inte mäter — Ännu
EEBench V1 täcker analog och digital design endast genom simulering. Den testar ännu inte om en modell kan lägga ut ett fysiskt kort, tillverka det eller ta fram en färdig produkt - stadier där helt nya fellägen dyker upp. Teamet säger att de vill lägga till dessa steg senare, men fokuserade version 1 på krav-design-verifieringsslingan eftersom det är där användbart ingenjörsarbete redan kan graderas objektivt.
Ändå landar riktmärket i ett talande ögonblick. Ett gränslabb citerar det nu i ett modellkort, lansering av demonstrationer sätter elektronik på förstasidan, och toppbetyget – 61,6 % – visar att modeller blir meningsfullt kapabla samtidigt som de är långt ifrån tillförlitliga. För elektroingenjörerna som tittar på, mäts budskapet från de första EEBench-resultaten: AI kan i allt större utsträckning designa kretsar på papper. Huruvida de överlever kontakt med verkliga delar är precis vad detta riktmärke finns för att ta reda på.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
