Saat OpenAI meluncurkan GPT-6 Astra minggu ini, salah satu demo menarik perhatian khusus dari audiens yang jarang mendapat sambutan saat peluncuran model terdepan: insinyur kelistrikan. Pos peluncuran menampilkan model yang merancang papan sirkuit di KiCad, alat desain elektronik sumber terbuka. Namun sekelompok kecil insinyur telah mengajukan pertanyaan yang lebih sulit – bukan apakah model AI dapat mengoperasikan perangkat lunak elektronik, tetapi apakah sirkuit yang mereka hasilkan benar-benar berfungsi.
Jawaban mereka tiba pada tanggal 4 September dalam bentuk EEBench, sebuah tolok ukur publik baru yang menilai sirkuit yang dirancang AI menggunakan simulasi SPICE deterministik, bukan penilaian manusia. Hasil awal menunjukkan bahwa model saat ini mengetahui jauh lebih banyak tentang elektronik daripada yang biasanya ditunjukkan oleh keluarannya, namun masih gagal dalam perilaku dunia nyata yang juga membuat para insinyur manusia tersandung. For more context on this story, see our ongoing AI industry coverage.
Mengapa Desain Sirkuit Perlu Tolok Ukurnya Sendiri
Tim EEBench, yang menerbitkan benchmark di eebench.org, mengatakan bahwa pengalamannya menunjukkan model saat ini telah menyerap buku teks, lembar data, catatan aplikasi, dan sejumlah besar kode. Hambatannya adalah antarmuka. Ketika agen mengoperasikan alat CAD grafis seperti KiCad, ia menghabiskan sebagian besar upayanya untuk mengklik menu dan melacak apa yang ada di layar, menggunakan jendela konteksnya dengan koordinat dan status aplikasi daripada logika listrik.
EEBench mengambil pendekatan yang berbeda. Sirkuit dalam benchmark ditulis dalam atopile, bahasa yang mendeskripsikan elektronik sebagai kode deklaratif, sehingga agen bekerja langsung pada komponen, koneksi, dan batasan. Model dapat memodifikasi desain, membangunnya, menjalankan simulasi, dan memeriksa kegagalan tanpa meninggalkan proyek. Menurut tim, ini bekerja jauh lebih baik daripada meminta model menggambar garis di GUI — dan ini memungkinkan benchmark menguji pengetahuan elektronik daripada keterampilan menggunakan komputer.
Bagian Nyata, Kegagalan Nyata
Satu tugas publik diambil dari meteran energi perumahan. Ketika pasokan 5 voltnya hilang, sirkuit harus menjaga prosesor tetap hidup selama 20 milidetik sehingga dapat menyimpan akumulasi pembacaan, dengan rel yang dilindungi tetap berada di atas ambang batas brownout 3,0 volt prosesor sepanjang waktu.
Sebagian besar model, lapor tim, segera mencapai kesimpulan dasar yang tepat: menambahkan kapasitor. Tolok ukurnya membuat hal itu lebih sulit daripada kedengarannya. Kapasitor keramik asli mungkin menghasilkan kapasitansi yang jauh lebih kecil daripada kapasitansi yang diiklankan setelah tegangan diterapkan padanya, suku cadang memiliki toleransi, dan kapasitansi ekstra menambah biaya, memakan ruang, dan memperlambat pengisian ulang rel saat listrik kembali menyala.
Para siswa kelas menangkap satu kiriman yang menggambarkan kesenjangan antara jawaban buku teks dan perangkat keras yang berfungsi. Sebuah desain menetapkan nominal 22 mikrofarad — nilai yang terlihat cukup di atas kertas. Namun pada bias 4,7 volt, grader hanya mengukur kapasitansi efektif sebesar 11,4 mikrofarad, jauh di bawah persyaratan tugas sebesar 545 mikrofarad. Kode sumber berhasil dibuat. Sirkuit masih gagal: simulasi menunjukkan rel yang dilindungi jatuh di bawah persyaratan 3 volt hanya dalam 0,85 milidetik, jauh dari persyaratan 20.
Tugas-tugas yang lebih sulit mendorong lebih jauh. Satu penugasan analog memerlukan sintesis beberapa filter low-pass umpan balik di sekitar op-amp, menyelesaikan rasio resistor dan kapasitor untuk kutub yang diperlukan, dan menjaga penguatan, frekuensi cutoff, dan Q dalam batas bahkan ketika setiap komponen didorong ke sudut toleransi kasus terburuk.
Cara Kerja Penilaian
Pemeriksaan EBench sepenuhnya bersifat deterministik. Harness membangun desain yang diajukan, membuat grafik sirkuit dan bill of material, dan menjalankan serangkaian simulasi SPICE dan pemeriksaan desain, dengan setiap persyaratan menghasilkan pengukuran terhadap batas numerik. Tugas mengukur penguatan, ambang batas, riak, respons sementara, dan perilaku di sudut toleransi komponen. Skor teknis dikombinasikan dengan ukuran efisiensi biaya terhadap referensi bahan baku – meskipun biaya hanya membantu setelah sirkuit berfungsi.
Tim membandingkan penyiapan dengan memberikan kompiler dan rangkaian pengujian kepada agen pengkodean, kecuali pengujian tersebut mengukur voltase dan perilaku komponen. Semua tugas di versi 1 menggunakan suku cadang pabrikan sebenarnya, dengan spesifikasi yang diambil dari lembar data dan dibawa ke model simulasi, memaksa agen untuk menemukan kombinasi yang ada, dapat dipesan, dan harganya terjangkau.
Papan Peringkat Pertama
Hasil dari 1 September menempatkan Claude Opus 5 di puncak EEBench V1 dengan 61,6% di 13 tugas. Grok 4.6 berada di urutan kedua dengan 57,1%, tepat di depan Claude Fable 5.1 dengan 56,4%. Claude Fable 5 mencetak 54,3% dan Claude Opus 4,8 Max 51,4%. Tim mencatat bahwa beberapa bulan yang lalu mereka tidak mengharapkan model untuk bekerja sebaik ini.
Salah satu hasil yang sangat memuaskan tim: xAI menyertakan EEBench dalam kartu model Grok 4.6, di bagian akselerasi teknik serta pemodelan 3D dan evaluasi parametrik CAD. Hasil penerbitan xAI sendiri mencetak Grok 4,6 pada 60,0% dengan upaya penalaran xhigh. Menurut materi peluncuran xAI, model tersebut menerima data teknik berkualitas tinggi dan pelatihan pembelajaran penguatan di lingkungan khusus domain, termasuk desain dengan bantuan komputer.
Model OpenAI yang diuji sejauh ini berada pada posisi yang lebih rendah: GPT-5.5 memperoleh skor 42,3% dan GPT-5.6 Sol 39,4%. Belum ada hasil GPT-6 Astra — kesenjangan yang mencolok mengingat demo model KiCad memicu perhatian baru. Papan peringkat benchmark, metodologi, dan penjelajah hasil sampel semuanya bersifat publik, dan laboratorium dapat menjalankan modelnya sendiri.
Apa yang Tidak Diukur — Namun
EEBench V1 mencakup desain analog dan digital melalui simulasi saja. Ini belum menguji apakah suatu model dapat membuat papan fisik, memproduksinya, atau menghasilkan produk jadi – tahapan di mana mode kegagalan yang benar-benar baru muncul. Tim mengatakan mereka ingin menambahkan tahapan tersebut nanti, tetapi versi 1 berfokus pada putaran verifikasi desain-persyaratan karena di situlah pekerjaan teknik yang berguna sudah dapat dinilai secara objektif.
Namun, tolok ukurnya muncul pada saat yang tepat. Sebuah laboratorium perbatasan kini mengutipnya dalam kartu model, demo peluncuran menempatkan perangkat elektronik di halaman depan, dan skor tertinggi — 61,6% — menunjukkan bahwa model menjadi sangat mampu namun tetap jauh dari dapat diandalkan. Bagi para insinyur kelistrikan, pesan dari hasil pertama EBench dapat diukur: AI semakin dapat merancang sirkuit di atas kertas. Apakah mereka dapat bertahan dari kontak dengan bagian-bagian nyata adalah hal yang menjadi patokan untuk mengetahuinya.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
