Toen OpenAI deze week de GPT-6 Astra onthulde, trok één demo bijzondere aandacht van een publiek dat zelden een shoutout krijgt bij de lancering van grensverleggende modellen: elektrotechnici. Op de lanceringspost werd het model getoond dat een printplaat ontwierp in KiCad, de open-source elektronica-ontwerptool. Maar een klein team van ingenieurs heeft zich een moeilijkere vraag gesteld: niet of AI-modellen elektronische software kunnen bedienen, maar of de circuits die ze produceren ook daadwerkelijk werken.

Hun antwoord kwam op 4 september in de vorm van EEBench, een nieuwe openbare benchmark die door AI ontworpen circuits beoordeelt met behulp van deterministische SPICE-simulaties in plaats van menselijk oordeel. De eerste resultaten suggereren dat huidige modellen veel meer weten over elektronica dan hun resultaten doorgaans laten zien, maar toch nog steeds falen in het soort gedrag van onderdelen in de echte wereld waar ook menselijke ingenieurs over struikelen. Voor meer context over dit verhaal, zie ons AI-trends.

Waarom circuitontwerp zijn eigen maatstaf nodig had

Het EEBench-team, dat de benchmark publiceert op eebench.org, zegt dat uit de ervaring blijkt dat de huidige modellen leerboeken, datasheets, toepassingsnotities en enorme hoeveelheden code hebben geabsorbeerd. Het knelpunt is de interface. Wanneer een agent een grafische CAD-tool als KiCad gebruikt, besteedt hij een groot deel van zijn moeite aan het klikken door menu's en het volgen van wat er op het scherm staat, waarbij hij het contextvenster met coördinaten en applicatiestatus gebruikt in plaats van elektrisch redeneren.

EEBench hanteert een andere aanpak. Circuits in de benchmark zijn geschreven in atopile, een taal die elektronica beschrijft als declaratieve code, zodat de agent rechtstreeks aan componenten, verbindingen en beperkingen werkt. Het model kan een ontwerp wijzigen, bouwen, een simulatie uitvoeren en fouten inspecteren zonder het project te verlaten. Volgens het team werkt dit veel beter dan een model te vragen lijnen in een GUI te tekenen – en het laat de benchmark de kennis van elektronica testen in plaats van de vaardigheden op het gebied van computergebruik.

Echte onderdelen, echte mislukkingen

Eén publieke taak wordt getrokken uit een residentiële energiemeter. Wanneer de 5-voltvoeding verdwijnt, moet het circuit de processor nog eens 20 milliseconden in leven houden, zodat deze de verzamelde meetwaarden kan opslaan, waarbij de beschermde rail de hele tijd boven de 3,0-volt brownout-drempel van de processor blijft.

De meeste modellen, zo meldt het team, komen meteen tot de juiste basisconclusie: voeg een condensator toe. De benchmark maakt dat moeilijker dan het klinkt. Een echte keramische condensator kan veel minder leveren dan de geadverteerde capaciteit als er eenmaal spanning over wordt aangelegd, onderdelen hebben toleranties en extra capaciteit verhoogt de kosten, neemt ruimte in beslag en vertraagt ​​het opladen van de rail wanneer de stroom terugkeert.

De beoordelaars hebben één inzending ontdekt die de kloof illustreert tussen antwoorden uit het leerboek en werkende hardware. Een ontwerp specificeerde nominaal 22 microfarad – een waarde die er op papier voldoende uitziet. Maar bij een bias van 4,7 volt mat de grader slechts 11,4 microfarad aan effectieve capaciteit, ver onder de vereiste van 545 microfarad voor de taak. De broncode is met succes gebouwd. Het circuit faalde nog steeds: uit simulatie bleek dat de beschermde rail al na 0,85 milliseconden onder de vereiste 3 volt viel, lang niet in de buurt van de vereiste 20.

Moeilijkere taken gaan verder. Eén analoge opdracht vereist het synthetiseren van een laagdoorlaatfilter met meerdere feedback rond een op-amp, het oplossen van weerstands- en condensatorverhoudingen voor de vereiste polen, en het binnen de perken houden van versterking, afsnijfrequentie en Q, zelfs wanneer elk onderdeel naar de slechtste tolerantiehoeken wordt geduwd.

Hoe de beoordeling werkt

EEBench-controles zijn volledig deterministisch. Het harnas bouwt het ingediende ontwerp, construeert de circuitgrafiek en de stuklijst en voert een reeks SPICE-simulaties en ontwerpcontroles uit, waarbij elke vereiste een meting tegen een numerieke limiet oplevert. Taken meten versterking, drempels, rimpelingen, voorbijgaande respons en gedrag op hoeken van componenttolerantie. De technische score wordt gecombineerd met een kostenefficiëntiemaatregel ten opzichte van een referentiestuklijst – hoewel de kosten pas helpen als het circuit werkt.

Het team vergelijkt de opzet met het geven van een compiler en een testsuite aan een codeeragent, behalve dat de tests spanningen en componentgedrag meten. Alle taken in versie 1 maken gebruik van echte fabrikantonderdelen, waarbij de specificaties uit datasheets worden gehaald en in de simulatiemodellen worden overgenomen, waardoor de agent wordt gedwongen combinaties te vinden die bestaan, kunnen worden besteld en redelijk geprijsd zijn.

Het eerste klassement

De resultaten van 1 september plaatsen Claude Opus 5 aan de top van EEBench V1 met 61,6% over 13 taken. Grok 4.6 werd tweede met 57,1%, net vóór Claude Fable 5.1 met 56,4%. Claude Fable 5 scoorde 54,3% en Claude Opus 4.8 Max 51,4%. Het team merkt op dat het een paar maanden geleden niet had verwacht dat modellen zo goed zouden presteren.

Eén resultaat beviel het team bijzonder: xAI nam EEBench op in de Grok 4.6-modelkaart, in een sectie over technische versnelling naast 3D-modellering en parametrische CAD-evaluaties. xAI's eigen gepubliceerde run scoorde Grok 4,6 met 60,0% met xhoge redeneerinspanning. Volgens het lanceringsmateriaal van xAI ontving het model hoogwaardige technische gegevens en training voor versterkend leren in domeinspecifieke omgevingen, inclusief computerondersteund ontwerp.

De tot nu toe geteste modellen van OpenAI staan ​​verderop in de tabel: GPT-5.5 scoorde 42,3% en GPT-5.6 Sol 39,4%. Er is nog geen GPT-6 Astra-resultaat - een opmerkelijke kloof gezien het feit dat de KiCad-demo van het model de hernieuwde aandacht trok. Het scorebord, de methodologie en de voorbeeldresultatenverkenner van de benchmark zijn allemaal openbaar, en laboratoria kunnen hun eigen modellen uitvoeren.

Wat het nog niet meet

EEBench V1 omvat alleen analoog en digitaal ontwerp door middel van simulatie. Er wordt nog niet getest of een model een fysiek bord kan ontwerpen, vervaardigen of een eindproduct kan opleveren – stadia waarin geheel nieuwe faalwijzen verschijnen. Het team zegt dat het deze fasen later wil toevoegen, maar concentreerde versie 1 op de cyclus van vereisten, ontwerp en verificatie, omdat daar nuttig technisch werk al objectief kan worden beoordeeld.

Toch komt de benchmark op een veelzeggend moment terecht. Een grenslaboratorium vermeldt het nu in een modelkaart, lanceringsdemo's zetten elektronica op de voorpagina en de topscore – 61,6% – laat zien dat modellen betekenisvol capabel worden, terwijl ze verre van betrouwbaar blijven. Voor de elektrotechnici die toekijken, wordt de boodschap van de eerste EEBench-resultaten gemeten: AI kan steeds vaker circuits op papier ontwerpen. Of ze het contact met echte onderdelen overleven, is precies wat deze benchmark wil uitvinden.

---

Blijf Voorop met AI

Het laatste AI-nieuws, analyses en doorbraken — allemaal op één plek.

Lees meer AI-nieuws →