Quando a OpenAI revelou o GPT-6 Astra esta semana, uma demonstração chamou atenção especial de um público que raramente recebe elogios nos lançamentos de modelos de fronteira: engenheiros elétricos. A postagem de lançamento apresentou o modelo projetando uma placa de circuito no KiCad, a ferramenta de design eletrônico de código aberto. Mas uma pequena equipe de engenheiros tem feito uma pergunta mais difícil: não se os modelos de IA podem operar software eletrônico, mas se os circuitos que eles produzem realmente funcionam.
A resposta deles chegou em 4 de setembro na forma do EEBench, um novo benchmark público que classifica circuitos projetados por IA usando simulações determinísticas do SPICE em vez de julgamento humano. Os primeiros resultados sugerem que os modelos atuais sabem muito mais sobre eletrônica do que seus resultados normalmente mostram, mas ainda assim falham no tipo de comportamento das peças no mundo real que também confunde os engenheiros humanos. Para mais contexto sobre esta história, confira nossa cobertura da indústria de IA.
Por que o design de circuitos precisava de seu próprio benchmark
A equipe do EEBench, que publica o benchmark em eebench.org, afirma que sua experiência mostra que os modelos atuais absorveram livros didáticos, planilhas de dados, notas de aplicação e grandes quantidades de código. O gargalo é a interface. Quando um agente opera uma ferramenta gráfica de CAD como o KiCad, ele gasta grande parte de seu esforço clicando nos menus e rastreando o que está na tela, consumindo sua janela de contexto com coordenadas e estado do aplicativo, em vez de raciocínio elétrico.
EEBench adota uma abordagem diferente. Os circuitos no benchmark são escritos em atopile, uma linguagem que descreve a eletrônica como código declarativo, de modo que o agente trabalha diretamente em componentes, conexões e restrições. O modelo pode modificar um projeto, construí-lo, executar uma simulação e inspecionar falhas sem sair do projeto. De acordo com a equipe, isso funciona muito melhor do que pedir a um modelo para desenhar linhas em uma GUI – e permite que o benchmark teste o conhecimento de eletrônica em vez da habilidade de uso do computador.
Peças reais, falhas reais
Uma tarefa pública é extraída de um medidor de energia residencial. Quando sua alimentação de 5 volts desaparece, o circuito deve manter o processador ativo por mais 20 milissegundos para que possa salvar as leituras acumuladas, com o trilho protegido permanecendo acima do limite de queda de energia de 3,0 volts do processador o tempo todo.
A maioria dos modelos, relata a equipe, chega imediatamente à conclusão básica correta: adicionar um capacitor. O benchmark torna isso mais difícil do que parece. Um capacitor cerâmico real pode fornecer muito menos do que sua capacitância anunciada, uma vez que a tensão é aplicada a ele, as peças carregam tolerâncias e a capacitância extra adiciona custo, ocupa espaço e retarda a recarga do trilho quando a energia retorna.
Os alunos captaram um envio que ilustra a lacuna entre as respostas dos livros didáticos e o hardware funcional. Um projeto especificou 22 microfarads nominalmente – um valor que parece suficiente no papel. Mas com 4,7 volts de polarização, a motoniveladora mediu apenas 11,4 microfarads de capacitância efetiva, muito abaixo do requisito de 545 microfarads da tarefa. O código-fonte foi construído com sucesso. O circuito ainda falhou: a simulação mostrou que o trilho protegido caiu abaixo do requisito de 3 volts após apenas 0,85 milissegundos, nem perto dos 20 exigidos.
Tarefas mais difíceis levam mais longe. Uma atribuição analógica requer a síntese de um filtro passa-baixa de feedback múltiplo em torno de um amplificador operacional, resolvendo as relações de resistor e capacitor para os pólos necessários e mantendo o ganho, a frequência de corte e Q dentro dos limites, mesmo quando cada componente é empurrado para os cantos de tolerância do pior caso.
Como funciona a classificação
As verificações do EEBench são totalmente determinísticas. O chicote constrói o projeto enviado, constrói o gráfico do circuito e a lista de materiais e executa um conjunto de simulações SPICE e verificações de projeto, com cada requisito produzindo uma medição em relação a um limite numérico. As tarefas medem ganho, limites, ondulação, resposta transitória e comportamento nos cantos de tolerância dos componentes. A pontuação técnica é combinada com uma medida de eficiência de custos em relação a uma lista de materiais de referência – embora o custo só ajude quando o circuito funcionar.
A equipe compara a configuração a fornecer a um agente de codificação um compilador e um conjunto de testes, exceto que os testes medem tensões e comportamento dos componentes. Todas as tarefas da versão 1 utilizam peças reais de fabricantes, com especificações extraídas de planilhas de dados e transportadas para os modelos de simulação, obrigando o agente a encontrar combinações que existam, possam ser encomendadas e tenham preços razoáveis.
A primeira tabela de classificação
Os resultados de 1º de setembro colocaram Claude Opus 5 no topo do EEBench V1 com 61,6% em 13 tarefas. Grok 4.6 ficou em segundo lugar com 57,1%, logo à frente de Claude Fable 5.1 com 56,4%. Claude Fable 5 pontuou 54,3% e Claude Opus 4,8 Máx. 51,4%. A equipe observa que há alguns meses não se esperava que os modelos tivessem um desempenho tão bom.
Um resultado agradou particularmente a equipe: xAI incluiu EEBench no cartão de modelo Grok 4.6, em uma seção sobre aceleração de engenharia junto com modelagem 3D e avaliações CAD paramétricas. A execução publicada do próprio xAI pontuou Grok 4,6 em 60,0% com alto esforço de raciocínio. De acordo com os materiais de lançamento do xAI, o modelo recebeu dados de engenharia de alta qualidade e treinamento de aprendizado reforçado em ambientes específicos de domínio, incluindo design auxiliado por computador.
Os modelos da OpenAI testados até agora ficam mais abaixo na tabela: GPT-5.5 obteve 42,3% e GPT-5.6 Sol 39,4%. Ainda não há resultado do GPT-6 Astra – uma lacuna notável, visto que a demonstração do modelo KiCad despertou atenção renovada. A tabela de classificação, a metodologia e o explorador de resultados de amostra do benchmark são todos públicos e os laboratórios podem executar seus próprios modelos.
O que não mede - ainda
O EEBench V1 cobre projetos analógicos e digitais apenas por meio de simulação. Ainda não testa se um modelo pode criar uma placa física, fabricá-la ou criar um produto acabado – fases em que surgem modos de falha inteiramente novos. A equipe diz que deseja adicionar esses estágios posteriormente, mas concentrou a versão 1 no ciclo de verificação de projeto de requisitos, porque é aí que o trabalho útil de engenharia já pode ser classificado objetivamente.
Ainda assim, o benchmark chega a um momento revelador. Um laboratório de fronteira agora o cita em um cartão de modelo, as demonstrações de lançamento colocam os eletrônicos na primeira página e a pontuação máxima – 61,6% – mostra que os modelos estão se tornando significativamente capazes, embora permaneçam longe de serem confiáveis. Para os engenheiros elétricos que estão assistindo, a mensagem dos primeiros resultados do EEBench é medida: a IA pode cada vez mais projetar circuitos no papel. Se eles sobrevivem ao contato com peças reais é exatamente o que este benchmark existe para descobrir.
---
Fique à Frente da IAAs últimas notícias, análises e avanços em inteligência artificial — tudo em um só lugar.
Ler mais notícias de IA →
