Als OpenAI diese Woche den GPT-6 Astra vorstellte, erregte eine Demo besondere Aufmerksamkeit bei einem Publikum, das bei der Einführung von Spitzenmodellen selten Zuspruch bekommt: Elektroingenieure. Im Startbeitrag wurde das Modell vorgestellt, das eine Leiterplatte in KiCad, dem Open-Source-Tool für Elektronikdesign, entwirft. Aber ein kleines Team von Ingenieuren hat eine schwierigere Frage gestellt – nicht, ob KI-Modelle elektronische Software bedienen können, sondern ob die von ihnen hergestellten Schaltkreise tatsächlich funktionieren.
Ihre Antwort kam am 4. September in Form von EEBench, einem neuen öffentlichen Benchmark, der von KI entworfene Schaltkreise mithilfe deterministischer SPICE-Simulationen und nicht durch menschliches Urteilsvermögen bewertet. Die ersten Ergebnisse deuten darauf hin, dass aktuelle Modelle viel mehr über Elektronik wissen, als ihre Ergebnisse normalerweise zeigen, aber dennoch bei der Art von Teileverhalten in der realen Welt versagen, die auch menschliche Ingenieure zum Stolpern bringt. Weitere Informationen zu dieser Geschichte finden Sie in unserer KI-Nachrichten.
Warum das Schaltungsdesign einen eigenen Maßstab brauchte
Das EEBench-Team, das den Benchmark auf eebench.org veröffentlicht, sagt, seine Erfahrung zeige, dass aktuelle Modelle Lehrbücher, Datenblätter, Anwendungshinweise und große Mengen an Code absorbiert hätten. Der Flaschenhals ist die Schnittstelle. Wenn ein Agent ein grafisches CAD-Tool wie KiCad bedient, verbringt er einen Großteil seiner Mühe damit, sich durch Menüs zu klicken und zu verfolgen, was auf dem Bildschirm angezeigt wird, und verbraucht sein Kontextfenster eher mit Koordinaten und dem Anwendungsstatus als mit elektrischem Denken.
EEBench verfolgt einen anderen Ansatz. Schaltkreise im Benchmark sind in Atopile geschrieben, einer Sprache, die Elektronik als deklarativen Code beschreibt, sodass der Agent direkt an Komponenten, Verbindungen und Einschränkungen arbeitet. Das Modell kann einen Entwurf ändern, erstellen, eine Simulation ausführen und Fehler untersuchen, ohne das Projekt zu verlassen. Laut dem Team funktioniert dies weitaus besser, als ein Modell zu bitten, Linien in einer grafischen Benutzeroberfläche zu zeichnen – und es ermöglicht dem Benchmark, Elektronikkenntnisse statt Fähigkeiten im Umgang mit Computern zu testen.
Echte Teile, echte Ausfälle
Eine öffentliche Aufgabe wird von einem Haushaltsenergiezähler übernommen. Wenn die 5-Volt-Versorgung ausfällt, muss der Schaltkreis den Prozessor weitere 20 Millisekunden lang am Leben halten, damit er die gesammelten Messwerte speichern kann, wobei die geschützte Schiene die ganze Zeit über über der 3,0-Volt-Brownout-Schwelle des Prozessors bleibt.
Das Team berichtet, dass die meisten Modelle sofort zum richtigen Grundschluss kommen: einen Kondensator hinzufügen. Der Benchmark macht das schwieriger als es klingt. Ein echter Keramikkondensator liefert möglicherweise weit weniger als seine angegebene Kapazität, sobald Spannung an ihn angelegt wird, Teile weisen Toleranzen auf und zusätzliche Kapazität erhöht die Kosten, nimmt Platz ein und verlangsamt das Wiederaufladen der Schiene, wenn die Stromversorgung wiederhergestellt ist.
Den Bewertern fiel eine Einsendung auf, die die Lücke zwischen Lehrbuchantworten und funktionierender Hardware verdeutlicht. Ein Entwurf spezifizierte nominell 22 Mikrofarad – ein Wert, der auf dem Papier ausreichend aussieht. Aber bei 4,7 Volt Vorspannung maß der Grader nur 11,4 Mikrofarad effektive Kapazität, was weit unter der für die Aufgabe geforderten 545 Mikrofarad liegt. Der Quellcode wurde erfolgreich erstellt. Die Schaltung scheiterte immer noch: Die Simulation zeigte, dass die geschützte Schiene nach nur 0,85 Millisekunden unter die 3-Volt-Anforderung fiel, also bei weitem nicht die erforderlichen 20.
Schwierigere Aufgaben treiben weiter voran. Eine analoge Aufgabe erfordert die Synthese eines mehrfach rückgekoppelten Tiefpassfilters um einen Operationsverstärker herum, das Lösen von Widerstands- und Kondensatorverhältnissen für die erforderlichen Pole und das Halten von Verstärkung, Grenzfrequenz und Güte innerhalb der Grenzen, selbst wenn jede Komponente an die Grenzen der ungünstigsten Toleranzgrenzen gedrängt wird.
So funktioniert die Bewertung
EEBench-Prüfungen sind vollständig deterministisch. Der Kabelbaum erstellt den eingereichten Entwurf, erstellt den Schaltplan und die Materialliste und führt eine Reihe von SPICE-Simulationen und Entwurfsprüfungen durch, wobei jede Anforderung eine Messung anhand eines numerischen Grenzwerts ergibt. Aufgaben messen Verstärkung, Schwellenwerte, Welligkeit, Einschwingverhalten und Verhalten an Komponententoleranzecken. Die technische Bewertung wird mit einer Kosteneffizienzmessung anhand einer Referenzstückliste kombiniert – obwohl die Kosten erst dann von Bedeutung sind, wenn die Schaltung funktioniert.
Das Team vergleicht den Aufbau damit, einem Codierungsagenten einen Compiler und eine Testsuite zu geben, mit der Ausnahme, dass bei den Tests Spannungen und Komponentenverhalten gemessen werden. Alle Aufgaben in Version 1 nutzen echte Herstellerteile, wobei Spezifikationen aus Datenblättern extrahiert und in die Simulationsmodelle übernommen werden, wodurch der Agent gezwungen wird, Kombinationen zu finden, die existieren, bestellbar sind und einen angemessenen Preis haben.
Die erste Bestenliste
Die Ergebnisse vom 1. September belegen, dass Claude Opus 5 mit 61,6 % bei 13 Aufgaben an der Spitze von EEBench V1 liegt. Grok 4,6 belegte mit 57,1 % den zweiten Platz, knapp vor Claude Fable 5,1 mit 56,4 %. Claude Fable 5 erzielte 54,3 % und Claude Opus 4,8 Max 51,4 %. Das Team stellt fest, dass es vor einigen Monaten nicht erwartet hätte, dass Modelle so gute Leistungen erbringen würden.
Ein Ergebnis freute das Team besonders: xAI hat EEBench in die Grok 4.6-Modellkarte integriert, in einem Abschnitt zur technischen Beschleunigung neben 3D-Modellierung und parametrischen CAD-Auswertungen. Der von xAI selbst veröffentlichte Lauf erzielte Grok 4,6 bei 60,0 % mit xhohem Argumentationsaufwand. Den Einführungsmaterialien von xAI zufolge erhielt das Modell hochwertige technische Daten und ein verstärktes Lerntraining in domänenspezifischen Umgebungen, einschließlich computergestütztem Design.
Die bisher getesteten OpenAI-Modelle liegen weiter unten in der Tabelle: GPT-5.5 erreichte 42,3 % und GPT-5.6 Sol 39,4 %. Es gibt noch kein GPT-6 Astra-Ergebnis – eine bemerkenswerte Lücke, wenn man bedenkt, dass die KiCad-Demo des Modells erneute Aufmerksamkeit erregte. Die Bestenliste, die Methodik und der Beispielergebnis-Explorer des Benchmarks sind alle öffentlich und Labore können ihre eigenen Modelle ausführen.
Was es noch nicht misst
EEBench V1 deckt analoges und digitales Design nur durch Simulation ab. Es wird noch nicht getestet, ob ein Modell eine physische Platine entwerfen, herstellen oder ein fertiges Produkt hervorbringen kann – Phasen, in denen völlig neue Fehlermodi auftreten. Das Team gibt an, diese Phasen später hinzufügen zu wollen, konzentrierte sich jedoch bei Version 1 auf die Schleife „Anforderungen-Design-Verifizierung“, da dort nützliche technische Arbeiten bereits objektiv bewertet werden können.
Dennoch landet der Benchmark zu einem entscheidenden Zeitpunkt. Ein Grenzlabor zitiert es jetzt in einer Modellkarte, Einführungsdemos bringen Elektronik auf die Titelseite, und die Höchstpunktzahl – 61,6 % – zeigt, dass Modelle sinnvolle Leistungsfähigkeit erreichen, aber alles andere als zuverlässig sind. Für die zuschauenden Elektroingenieure ist die Botschaft der ersten EEBench-Ergebnisse messbar: KI kann Schaltkreise zunehmend auf Papier entwerfen. Ob sie den Kontakt mit realen Teilen überstehen, genau das soll dieser Benchmark herausfinden.
---
Bleib vorne bei KIDie neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.
Mehr KI-Nachrichten lesen →
