Lorsque OpenAI a dévoilé le GPT-6 Astra cette semaine, une démo a particulièrement attiré l'attention d'un public rarement salué lors des lancements de modèles frontières : les ingénieurs électriciens. Le message de lancement présentait le modèle de conception d'un circuit imprimé dans KiCad, l'outil de conception électronique open source. Mais une petite équipe d’ingénieurs s’est posée une question plus difficile : non pas si les modèles d’IA peuvent faire fonctionner des logiciels électroniques, mais si les circuits qu’ils produisent fonctionnent réellement.

Leur réponse est arrivée le 4 septembre sous la forme d'EEBench, une nouvelle référence publique qui évalue les circuits conçus par l'IA à l'aide de simulations déterministes SPICE plutôt que du jugement humain. Les premiers résultats suggèrent que les modèles actuels en savent beaucoup plus sur l'électronique que ce que leurs résultats montrent généralement, mais échouent toujours dans le type de comportement réel des pièces qui fait également trébucher les ingénieurs humains. Pour plus de contexte sur cette histoire, consultez notre actualités IA.

Pourquoi la conception de circuits avait besoin de sa propre référence

L'équipe EEBench, qui publie le benchmark sur eebench.org, affirme que son expérience montre que les modèles actuels ont absorbé des manuels, des fiches techniques, des notes d'application et de grandes quantités de code. Le goulot d’étranglement est l’interface. Lorsqu'un agent utilise un outil de CAO graphique tel que KiCad, il consacre une grande partie de ses efforts à cliquer sur les menus et à suivre ce qui est à l'écran, consommant ainsi sa fenêtre contextuelle avec des coordonnées et l'état de l'application plutôt qu'un raisonnement électrique.

EEBench adopte une approche différente. Les circuits du test de référence sont écrits en atopile, un langage qui décrit l'électronique sous forme de code déclaratif, de sorte que l'agent travaille directement sur les composants, les connexions et les contraintes. Le modèle peut modifier une conception, la construire, exécuter une simulation et inspecter les défaillances sans quitter le projet. Selon l'équipe, cela fonctionne bien mieux que de demander à un modèle de tracer des lignes dans une interface graphique - et cela permet au benchmark de tester les connaissances en électronique plutôt que les compétences en informatique.

De vraies pièces, de vrais échecs

Une tâche publique est tirée d'un compteur d'énergie résidentiel. Lorsque son alimentation de 5 volts disparaît, le circuit doit maintenir le processeur en vie pendant 20 millisecondes supplémentaires afin qu'il puisse sauvegarder les lectures accumulées, le rail protégé restant tout le temps au-dessus du seuil de baisse de tension de 3,0 volts du processeur.

La plupart des modèles, rapporte l'équipe, parviennent immédiatement à la bonne conclusion de base : ajouter un condensateur. Le benchmark rend cela plus difficile qu’il n’y paraît. Un véritable condensateur en céramique peut fournir bien moins que sa capacité annoncée une fois qu'une tension est appliquée à ses bornes, les pièces comportent des tolérances et une capacité supplémentaire augmente le coût, prend de la place et ralentit la recharge du rail au retour du courant.

Les évaluateurs ont retenu une soumission qui illustre l'écart entre les réponses des manuels scolaires et le matériel fonctionnel. Une conception spécifiait nominalement 22 microfarads – une valeur qui semble suffisante sur le papier. Mais avec une polarisation de 4,7 volts, la niveleuse n'a mesuré que 11,4 microfarads de capacité effective, bien en dessous des exigences de 545 microfarads de la tâche. Le code source a été construit avec succès. Le circuit est toujours tombé en panne : la simulation a montré que le rail protégé tombait en dessous de la norme de 3 volts après seulement 0,85 millisecondes, loin des 20 requises.

Les tâches plus difficiles poussent plus loin. Une affectation analogique nécessite de synthétiser un filtre passe-bas à rétroaction multiple autour d'un ampli opérationnel, de résoudre les rapports de résistance et de condensateur pour les pôles requis et de maintenir le gain, la fréquence de coupure et Q dans les limites, même lorsque chaque composant est poussé dans les pires coins de tolérance.

Comment fonctionne la notation

Les contrôles EEBench sont entièrement déterministes. Le harnais construit la conception soumise, construit le graphique de circuit et la nomenclature, et exécute un ensemble de simulations SPICE et de contrôles de conception, chaque exigence produisant une mesure par rapport à une limite numérique. Les tâches mesurent le gain, les seuils, l'ondulation, la réponse transitoire et le comportement aux coins de tolérance des composants. La note technique est combinée à une mesure de rentabilité par rapport à une nomenclature de référence – bien que le coût n’aide qu’une fois le circuit opérationnel.

L'équipe compare la configuration au fait de donner à un agent de codage un compilateur et une suite de tests, sauf que les tests mesurent les tensions et le comportement des composants. Toutes les tâches de la version 1 utilisent des pièces réelles du fabricant, avec des spécifications extraites des fiches techniques et intégrées aux modèles de simulation, obligeant l'agent à trouver des combinaisons qui existent, peuvent être commandées et sont à un prix raisonnable.

Le premier classement

Les résultats du 1er septembre placent Claude Opus 5 en tête de l'EEBench V1 avec 61,6 % sur 13 tâches. Grok 4.6 arrive deuxième avec 57,1%, juste devant Claude Fable 5.1 avec 56,4%. Claude Fable 5 a obtenu 54,3% et Claude Opus 4.8 Max 51,4%. L’équipe note qu’il y a quelques mois, elle ne s’attendait pas à ce que les modèles soient aussi performants.

Un résultat a particulièrement plu à l'équipe : xAI a inclus EEBench dans la carte modèle Grok 4.6, dans une section sur l'accélération de l'ingénierie aux côtés de la modélisation 3D et des évaluations CAO paramétriques. La propre exécution publiée de xAI a obtenu un score Grok de 4,6 à 60,0 % avec un effort de raisonnement xélevé. Selon les documents de lancement de xAI, le modèle a reçu des données d'ingénierie de haute qualité et une formation d'apprentissage par renforcement dans des environnements spécifiques à un domaine, y compris la conception assistée par ordinateur.

Les modèles OpenAI testés jusqu'à présent se situent plus loin dans le classement : GPT-5.5 a obtenu un score de 42,3 % et GPT-5.6 Sol de 39,4 %. Il n'y a pas encore de résultat GPT-6 Astra – une lacune notable étant donné que la démo KiCad du modèle a suscité un regain d'attention. Le classement, la méthodologie et l'explorateur de résultats d'échantillons du benchmark sont tous publics et les laboratoires peuvent exécuter leurs propres modèles.

Ce qu'il ne mesure pas encore

EEBench V1 couvre la conception analogique et numérique via la simulation uniquement. Il ne teste pas encore si un modèle peut concevoir une carte physique, la fabriquer ou produire un produit fini – des étapes où des modes de défaillance entièrement nouveaux apparaissent. L'équipe déclare vouloir ajouter ces étapes plus tard, mais a concentré la version 1 sur la boucle exigences-conception-vérification, car c'est là que le travail d'ingénierie utile peut déjà être évalué objectivement.

Pourtant, l’indice de référence arrive à un moment révélateur. Un laboratoire frontalier le cite désormais dans une fiche de modèle, les démos de lancement mettent l'électronique en première page et le meilleur score – 61,6 % – montre que les modèles deviennent significativement performants tout en restant loin d'être fiables. Pour les ingénieurs électriciens qui nous regardent, le message des premiers résultats d’EEBench est mesuré : l’IA peut de plus en plus concevoir des circuits sur papier. Qu'ils survivent au contact avec des pièces réelles, c'est précisément ce que ce benchmark vise à découvrir.

---

Restez à la Pointe de l'IA

Les dernières actualités, analyses et percées en IA — au même endroit.

Lire plus d'actualités IA →