Kiedy w tym tygodniu OpenAI zaprezentowało GPT-6 Astra, jedno demo przykuło szczególną uwagę publiczności, która rzadko spotyka się z entuzjazmem podczas premiery pionierskich modeli: inżynierów elektryków. W poście inauguracyjnym przedstawiono model projektujący płytkę drukowaną w programie KiCad, narzędziu do projektowania elektroniki o otwartym kodzie źródłowym. Jednak niewielki zespół inżynierów zadał trudniejsze pytanie — nie to, czy modele AI mogą obsługiwać oprogramowanie elektroniczne, ale czy produkowane przez nie obwody rzeczywiście działają.

Odpowiedź nadeszła 4 września w postaci EEBench, nowego publicznego testu porównawczego, który ocenia obwody zaprojektowane przez sztuczną inteligencję przy użyciu deterministycznych symulacji SPICE, a nie ludzkiej oceny. Wczesne wyniki sugerują, że obecne modele wiedzą znacznie więcej o elektronice, niż zwykle wynika z ich wyników, a mimo to nadal nie radzą sobie z zachowaniem części w świecie rzeczywistym, co wprawia w zakłopotanie także inżynierów. Więcej kontekstu na ten temat znajdziesz w naszych wiadomości AI.

Dlaczego projektowanie obwodów wymagało własnego punktu odniesienia

Zespół EEBench, który publikuje test porównawczy na stronie eebench.org, twierdzi, że jego doświadczenie pokazuje, że obecne modele pochłonęły podręczniki, arkusze danych, notatki aplikacyjne i ogromne ilości kodu. Wąskim gardłem jest interfejs. Kiedy agent obsługuje graficzne narzędzie CAD, takie jak KiCad, większość swojego wysiłku poświęca na klikanie menu i śledzenie zawartości ekranu, korzystając z okna kontekstowego zawierającego współrzędne i stan aplikacji, a nie na rozumowanie elektryczne.

EEBench przyjmuje inne podejście. Obwody w teście porównawczym są napisane w atopile, języku opisującym elektronikę jako kod deklaratywny, więc agent pracuje bezpośrednio na komponentach, połączeniach i ograniczeniach. Model może modyfikować projekt, budować go, przeprowadzać symulację i sprawdzać awarie bez opuszczania projektu. Według zespołu działa to znacznie lepiej niż proszenie modelu o narysowanie linii w graficznym interfejsie użytkownika — i pozwala w teście porównawczym przetestować wiedzę z zakresu elektroniki, a nie umiejętności obsługi komputera.

Prawdziwe części, prawdziwe awarie

Jedno zadanie publiczne jest pobierane z licznika energii mieszkaniowej. Kiedy zaniknie napięcie 5 V, obwód musi utrzymywać procesor przy życiu przez kolejne 20 milisekund, aby mógł zapisać zgromadzone odczyty, przy czym zabezpieczona szyna pozostaje przez cały czas powyżej progu zaniku napięcia 3,0 V procesora.

Jak podaje zespół, większość modeli natychmiast dochodzi do właściwego podstawowego wniosku: dodaj kondensator. Benchmark sprawia, że ​​jest to trudniejsze, niż się wydaje. Prawdziwy kondensator ceramiczny może dostarczyć znacznie mniejszą pojemność niż deklarowana po przyłożeniu napięcia, części mają tolerancje, a dodatkowa pojemność zwiększa koszty, zajmuje miejsce i spowalnia ładowanie szyny po przywróceniu zasilania.

Równiownicy zauważyli jedno zgłoszenie, które ilustruje rozbieżność między odpowiedziami z podręcznika a działającym sprzętem. W projekcie określono nominalnie 22 mikrofarady — wartość, która na papierze wydaje się wystarczająca. Jednak przy napięciu polaryzacji 4,7 V równiarka zmierzyła jedynie 11,4 mikrofaradów efektywnej pojemności, czyli znacznie poniżej wymagań zadania wynoszących 545 mikrofaradów. Kod źródłowy został pomyślnie zbudowany. Obwód nadal nie działa: symulacja wykazała, że chroniona szyna spadła poniżej wymaganego poziomu 3 woltów już po 0,85 milisekundy, czyli nie w pobliżu wymaganych 20.

Trudniejsze zadania popychają dalej. Jedno zadanie analogowe wymaga syntezy filtra dolnoprzepustowego z wieloma sprzężeniami zwrotnymi wokół wzmacniacza operacyjnego, ustalenia współczynników rezystorów i kondensatorów dla wymaganych biegunów oraz utrzymania wzmocnienia, częstotliwości odcięcia i Q w określonych granicach, nawet gdy każdy komponent zostanie przesunięty do rogów tolerancji najgorszego przypadku.

Jak działa ocenianie

Kontrole EEBench są w pełni deterministyczne. Wiązka przewodów buduje przesłany projekt, konstruuje wykres obwodu i zestawienie materiałów, a także przeprowadza zestaw symulacji SPICE i kontroli projektu, przy czym każde wymaganie daje pomiar w stosunku do limitu liczbowego. Zadania mierzą wzmocnienie, progi, tętnienia, reakcję przejściową i zachowanie w narożnikach tolerancji komponentów. Wynik techniczny łączy się z pomiarem efektywności kosztowej w oparciu o referencyjne zestawienie materiałów – chociaż koszt pomaga tylko wtedy, gdy obwód działa.

Zespół porównuje tę konfigurację do przekazania agentowi kodującemu kompilatora i zestawu testów, z tą różnicą, że testy mierzą napięcia i zachowanie komponentów. Wszystkie zadania w wersji 1 korzystają z części prawdziwego producenta, a specyfikacje są pobierane z arkuszy danych i przenoszone do modeli symulacyjnych, zmuszając agenta do znalezienia istniejących kombinacji, które można zamówić i które są niedrogie.

Pierwsza tabela wyników

Wyniki z 1 września umieściły Claude Opus 5 na szczycie EEBench V1 z 61,6% w 13 zadaniach. Grok 4.6 zajął drugie miejsce z 57,1%, tuż przed Claude Fable 5.1 z 56,4%. Claude Fable 5 uzyskał 54,3%, a Claude Opus 4.8 Max 51,4%. Zespół zauważa, że ​​kilka miesięcy temu nie spodziewał się, że modele będą tak dobrze sobie radzić.

Jeden wynik szczególnie zadowolił zespół: xAI włączyło EEBench do karty modelu Grok 4.6, w części poświęconej przyspieszeniu inżynieryjnemu, obok modelowania 3D i parametrycznej oceny CAD. W opublikowanym przez siebie badaniu xAI uzyskano wynik Grok 4,6 na poziomie 60,0% przy xwysokim wysiłku wnioskowania. Z materiałów startowych xAI wynika, że ​​model otrzymał wysokiej jakości dane inżynieryjne i został przeszkolony w zakresie uczenia się przez wzmacnianie w środowiskach specyficznych dla danej dziedziny, w tym w zakresie projektowania wspomaganego komputerowo.

Testowane dotychczas modele OpenAI zajmują dalsze miejsca w tabeli: GPT-5.5 uzyskał 42,3%, a GPT-5.6 Sol 39,4%. Nie ma jeszcze wyników GPT-6 Astra — zauważalna luka, biorąc pod uwagę, że demo tego modelu w programie KiCad ponownie wzbudziło zainteresowanie. Tablica wyników, metodologia i eksplorator wyników próbek są publiczne, a laboratoria mogą uruchamiać własne modele.

Czego nie mierzy — jeszcze

EEBench V1 obejmuje projektowanie analogowe i cyfrowe wyłącznie poprzez symulację. Nie sprawdza jeszcze, czy model może ułożyć fizyczną płytkę, wyprodukować ją lub stworzyć gotowy produkt – etapy, w których pojawiają się zupełnie nowe tryby awarii. Zespół twierdzi, że chce dodać te etapy później, ale w wersji 1 skupił się na pętli wymagania – projekt – weryfikacja, ponieważ na tym etapie można już obiektywnie ocenić użyteczną pracę inżynierską.

Mimo to punkt odniesienia pojawia się w wymownym momencie. Pionierskie laboratorium wymienia to teraz na karcie modelu, premierowe wersje demonstracyjne umieszczają elektronikę na pierwszej stronie, a najwyższy wynik — 61,6% — pokazuje, że modele zyskują znaczące możliwości, a jednocześnie są dalekie od niezawodności. Dla obserwujących inżynierów elektryków przesłanie z pierwszych wyników EEBench jest zrozumiałe: sztuczna inteligencja może w coraz większym stopniu projektować obwody na papierze. To, czy przetrwają kontakt z prawdziwymi częściami, jest właśnie tym, co można sprawdzić w ramach tego testu porównawczego.

---

Bądź na Bieżąco z AI

Najnowsze wiadomości, analizy i przełomy w dziedzinie AI — wszystko w jednym miejscu.

Czytaj więcej wiadomości AI →