Quando OpenAI ha presentato GPT-6 Astra questa settimana, una demo ha attirato particolare attenzione da parte di un pubblico che raramente riceve un riconoscimento ai lanci di modelli di frontiera: gli ingegneri elettrici. Il post di lancio presentava il modello che progettava un circuito stampato in KiCad, lo strumento di progettazione elettronica open source. Ma un piccolo team di ingegneri si è posto una domanda più difficile: non se i modelli di intelligenza artificiale possano far funzionare software elettronici, ma se i circuiti che producono funzionano effettivamente.
La loro risposta è arrivata il 4 settembre sotto forma di EEBench, un nuovo benchmark pubblico che classifica i circuiti progettati dall’intelligenza artificiale utilizzando simulazioni SPICE deterministiche anziché il giudizio umano. I primi risultati suggeriscono che i modelli attuali sanno molto di più sull’elettronica di quanto normalmente mostrano i loro risultati, ma continuano a fallire nel tipo di comportamento delle parti nel mondo reale che fa inciampare anche gli ingegneri umani. Per maggiori informazioni su questa storia, consulta la nostra ultimi sviluppi nell'IA.
Perché la progettazione dei circuiti aveva bisogno di un proprio benchmark
Il team EEBench, che pubblica il benchmark su eebench.org, afferma che la sua esperienza mostra che i modelli attuali hanno assorbito libri di testo, schede tecniche, note applicative e grandi quantità di codice. Il collo di bottiglia è l'interfaccia. Quando un agente utilizza uno strumento CAD grafico come KiCad, impiega gran parte del suo impegno facendo clic sui menu e monitorando ciò che è sullo schermo, consumando la sua finestra di contesto con le coordinate e lo stato dell'applicazione piuttosto che con ragionamenti elettrici.
EEBench adotta un approccio diverso. I circuiti nel benchmark sono scritti in atopile, un linguaggio che descrive l'elettronica come codice dichiarativo, quindi l'agente lavora direttamente su componenti, connessioni e vincoli. Il modello può modificare un progetto, costruirlo, eseguire una simulazione e ispezionare i guasti senza abbandonare il progetto. Secondo il team, questo funziona molto meglio che chiedere a un modello di tracciare linee in una GUI e consente al benchmark di testare la conoscenza dell'elettronica piuttosto che l'abilità nell'uso del computer.
Parti reali, fallimenti reali
Un compito pubblico viene prelevato da un contatore di energia residenziale. Quando l'alimentazione a 5 volt scompare, il circuito deve mantenere in vita il processore per altri 20 millisecondi in modo da poter salvare le letture accumulate, con la guida protetta che rimane al di sopra della soglia di brownout di 3,0 volt del processore per tutto il tempo.
La maggior parte dei modelli, riferisce il team, raggiungono immediatamente la giusta conclusione di base: aggiungere un condensatore. Il benchmark rende la cosa più difficile di quanto sembri. Un vero condensatore ceramico può fornire molto meno della capacità pubblicizzata una volta applicata la tensione, le parti hanno tolleranze e la capacità aggiuntiva aggiunge costi, occupa spazio e rallenta la ricarica del binario quando ritorna l'alimentazione.
I valutatori hanno colto un contributo che illustra il divario tra le risposte dei libri di testo e l'hardware funzionante. Un progetto specificava nominalmente 22 microfarad, un valore che sembra sufficiente sulla carta. Ma a 4,7 volt di polarizzazione, il selezionatore ha misurato solo 11,4 microfarad di capacità effettiva, molto al di sotto del requisito di 545 microfarad dell'attività. Il codice sorgente è stato creato correttamente. Il circuito non funzionava ancora: la simulazione mostrava che la guida protetta scendeva al di sotto del requisito di 3 volt dopo soli 0,85 millisecondi, ben lontano dai 20 richiesti.
I compiti più difficili spingono oltre. Un'assegnazione analogica richiede la sintesi di un filtro passa-basso a feedback multiplo attorno a un amplificatore operazionale, la risoluzione dei rapporti di resistore e condensatore per i poli richiesti e il mantenimento di guadagno, frequenza di taglio e Q entro i limiti anche quando ogni componente viene spinto agli angoli di tolleranza del caso peggiore.
Come funziona la valutazione
I controlli EEBench sono completamente deterministici. Il cablaggio costruisce il progetto inviato, costruisce il grafico del circuito e la distinta dei materiali ed esegue una serie di simulazioni SPICE e controlli di progettazione, con ciascun requisito che produce una misurazione rispetto a un limite numerico. Le attività misurano guadagno, soglie, ondulazione, risposta transitoria e comportamento agli angoli di tolleranza dei componenti. Il punteggio tecnico è combinato con una misura di efficienza in termini di costi rispetto a una distinta base di riferimento, anche se il costo aiuta solo una volta che il circuito funziona.
Il team paragona la configurazione al fornire a un agente di codifica un compilatore e una suite di test, tranne che i test misurano le tensioni e il comportamento dei componenti. Tutte le attività nella versione 1 utilizzano parti di produttori reali, con specifiche estratte dalle schede tecniche e inserite nei modelli di simulazione, costringendo l'agente a trovare combinazioni esistenti, ordinabili e con un prezzo ragionevole.
La prima classifica
I risultati del 1° settembre pongono Claude Opus 5 in cima all'EEBench V1 con il 61,6% su 13 attività. Grok 4.6 è arrivato secondo con il 57,1%, subito davanti a Claude Fable 5.1 con il 56,4%. Claude Fable 5 ha ottenuto il 54,3% e Claude Opus 4.8 Max il 51,4%. Il team sottolinea che qualche mese fa non si sarebbe aspettato che i modelli funzionassero così bene.
Un risultato ha particolarmente soddisfatto il team: xAI ha incluso EEBench nella scheda modello Grok 4.6, in una sezione sull'accelerazione ingegneristica insieme alla modellazione 3D e alle valutazioni CAD parametriche. La corsa pubblicata da xAI ha ottenuto un punteggio di Grok 4,6 al 60,0% con uno sforzo di ragionamento elevato. Secondo i materiali di lancio di xAI, il modello ha ricevuto dati ingegneristici di alta qualità e formazione sull'apprendimento per rinforzo in ambienti specifici del dominio, inclusa la progettazione assistita da computer.
I modelli di OpenAI testati finora si collocano più in basso nella classifica: GPT-5.5 ha ottenuto il 42,3% e GPT-5.6 Sol il 39,4%. Non esiste ancora alcun risultato GPT-6 Astra: un divario notevole dato che la demo KiCad del modello ha suscitato la rinnovata attenzione. La classifica del benchmark, la metodologia e lo strumento di esplorazione dei risultati dei campioni sono tutti pubblici e i laboratori possono eseguire i propri modelli.
Cosa non misura – per ora
EEBench V1 copre la progettazione analogica e digitale solo attraverso la simulazione. Non verifica ancora se un modello può predisporre una scheda fisica, fabbricarla o realizzare un prodotto finito, fasi in cui compaiono modalità di guasto completamente nuove. Il team afferma di voler aggiungere queste fasi in un secondo momento, ma ha concentrato la versione 1 sul ciclo requisiti-progettazione-verifica perché è lì che il lavoro ingegneristico utile può già essere valutato oggettivamente.
Tuttavia, il benchmark arriva in un momento significativo. Un laboratorio di frontiera ora lo cita in una scheda modello, le demo di lancio mettono l’elettronica in prima pagina e il punteggio più alto – 61,6% – mostra che i modelli stanno diventando significativamente capaci pur rimanendo lontani dall’affidabilità. Per gli ingegneri elettrici che guardano, il messaggio dei primi risultati di EEBench è misurato: l'intelligenza artificiale può progettare sempre più circuiti su carta. Se sopravvivono al contatto con parti reali è esattamente ciò che questo benchmark esiste per scoprire.
---
Rimani Aggiornato sull'IALe ultime notizie, analisi e scoperte sull'intelligenza artificiale — tutto in un posto.
Leggi altre notizie sull'IA →
