Agen AVO Nvidia Mencapai 100% pada ARC-AGI-3 Dengan Claude Opus 5 — Bukti Harness Kini Mengalahkan Modelnya

Peneliti Nvidia telah membangun sistem agen yang mendorong Claude Opus 5 dari Anthropic ke skor sempurna 100% di ARC-AGI-3, salah satu tolok ukur penalaran interaktif yang paling menuntut dalam AI — menggunakan model yang sama yang mendapat skor 30% saat dijalankan sendiri. Hasilnya, yang diterbitkan pada hari Jumat di Blog Teknis Nvidia, adalah bukti terkuat bahwa perangkat lunak yang digunakan pada model terdepan sama pentingnya dengan model itu sendiri. Bagi siapa pun yang memantau perkembangan AI terkini, hal ini menandai pergeseran keunggulan kompetitif dalam AI agen.

Sistem ini disebut AVO, kependekan dari Agentic Variation Operators, dan merupakan arsitektur tujuan umum Nvidia untuk agen otonom jangka panjang – AI yang dapat mengerjakan tugas selama berjam-jam atau berhari-hari alih-alih menjawab satu perintah pun. Pada set publik ARC-AGI-3, AVO mencatat skor RHAE 100,00 di seluruh 25 lingkungan game, menyelesaikan seluruh 183 level dalam 6.624 tindakan lingkungan menggunakan Claude Opus 5 sebagai model backendnya.

Apa yang Sebenarnya Diuji ARC-AGI-3

ARC-AGI-3 adalah tolok ukur penalaran interaktif yang dibuat oleh yayasan ARC Prize. Seorang agen dijatuhkan ke dalam lingkungan yang asing, seperti permainan, tanpa instruksi, tanpa aturan yang dinyatakan, dan tanpa tujuan yang dinyatakan. Ia harus mengeksplorasi melalui trial and error, menyimpulkan bagaimana lingkungan bekerja, mencari tahu apa arti “menang”, dan kemudian bertindak cukup efisien untuk maju melalui tingkatan yang semakin sulit.

Metrik penilaian benchmark, Relative Human Action Efficiency (RHAE), menggabungkan penyelesaian tugas dengan seberapa sedikit tindakan yang disia-siakan oleh agen dibandingkan dengan pemain manusia yang baru pertama kali melakukannya. Hal ini menjadikannya ujian brutal terhadap otonomi berkelanjutan: agen harus mengingat apa yang dipelajarinya, pulih dari kesalahan, dan menganggarkan tindakannya dengan hati-hati dalam keseluruhan proses.

Nomor utama Nvidia mendapatkan konteks dari perbandingan. VISTA, memanfaatkan interaksi langsung sebelumnya yang juga menggunakan Claude Opus 5, menyelesaikan 183 level yang ditetapkan publik dalam 7.542 tindakan lingkungan. AVO memerlukan tindakan sekitar 12% lebih sedikit untuk menyelesaikan pekerjaannya, menurut postingan blog Nvidia.

Dari Kernel GPU hingga Game Tidak Dikenal

AVO tidak dibuat untuk teka-teki. Nvidia pertama kali mendemonstrasikan arsitektur optimasi kernel GPU, sebuah domain di mana perubahan kode kecil dapat merusak kebenaran, perilaku memori, dan throughput dengan cara yang tidak dapat diprediksi. Dalam satu studi kernel perhatian, AVO berjalan terus menerus selama tujuh hari, mengeksplorasi lebih dari 500 arah optimasi, dan melakukan 40 versi kernel. Pada sistem NVIDIA DGX B200, kernel perhatian multihead yang dihasilkan mengungguli cuDNN hingga 3,5% dan FlashAttention-4 hingga 10,5%. Agen kemudian mengadaptasi kernel yang telah berevolusi ke perhatian kueri yang dikelompokkan dalam waktu sekitar 30 menit kerja otonom tambahan.

Loop inti yang sama — memeriksa, merencanakan, mengimplementasikan, menguji, mengevaluasi — kemudian diarahkan ke ARC-AGI-3 dengan hanya antarmuka tugas yang diubah. Dua mekanisme terbawa. Yang pertama adalah memori persisten, yang menyimpan implementasi sebelumnya, hasil evaluasi, keluaran compiler dan profiler, serta akumulasi alasan, sehingga agen dapat melanjutkan dari kondisi saat ini daripada membangun kembali konteks dari awal. Yang kedua adalah supervisor, agen kedua yang mengawasi keseluruhan lintasan dan melakukan intervensi ketika kemajuan terhenti.

Supervisor Adalah Terobosan

TechCrunch, yang mewawancarai Adel El Hallak dari Nvidia, wakil presiden produk di unit AI perusahaan, menyoroti supervisor sebagai unsur paling penting. “Ia hampir bertindak seperti seorang CEO yang menyenggol agennya ketika agen tersebut menyimpang dari arah atau mulai menjelajahi jalur yang mungkin mengarah pada jalan buntu, atau mengeksplorasi kembali jalur yang telah dilalui sebelumnya,” kata El Hallak kepada publikasi tersebut.

Kesenjangan kinerja sangat mencolok. Pengujian Nvidia menemukan bahwa Claude Opus 5 tanpa harness canggih berhasil mendapatkan skor 30% pada ARC-AGI-3 — hasil terbaik di antara model telanjang yang diuji, tetapi tidak mendekati hasil penuh. Model OpenAI mendapat skor di bawah 10% pada benchmark, dan perusahaan menerbitkan penelitiannya sendiri bulan lalu yang menunjukkan bahwa hanya dengan mengubah dua pengaturan harness, skornya akan meningkat tiga kali lipat. Tidak ada konfigurasi model saja yang mendekati 100% yang dicapai AVO.

Khususnya, konfigurasi AVO dijalankan dalam modalitas teks saja: setiap pengamatan diberikan sebagai kisi teks berukuran 64x64, tanpa gambar atau token gambar yang dikirim ke model. Kekuatan penalaran berasal dari lingkaran di sekitar model, bukan dari persepsi multimodal.

Mengapa Industri Bertaruh pada Harness

Temuan ini muncul di tengah gelombang bukti bahwa infrastruktur agen, bukan kemampuan model mentah, adalah penghambat AI otonom saat ini. Databricks menerbitkan penelitian benchmarking pada bulan Juli yang menunjukkan bahwa pemanfaatan secara dramatis berdampak pada kinerja dan biaya. "Anda dapat memilih model yang sama tetapi tali pengamannya berbeda, dan Anda akan mendapatkan biaya yang jauh lebih besar jika menggunakan tali pengaman yang salah," kata CEO Databricks Ali Ghodsi kepada TechCrunch. "Itu sendiri bisa melipatgandakan biayamu."

El Hallak membingkai argumen Nvidia yang lebih luas dalam kaitannya dengan keterbukaan. “Kami percaya bahwa memiliki tumpukan agen terbuka – di mana Anda memiliki kendali di seluruh sistem, di seluruh infrastruktur, di seluruh runtime – adalah hal yang diperlukan bagi kami untuk mengantarkan ekosistem ke depan dan aman,” katanya. Nvidia memiliki teknologi harness berukuran terbuka dengan merek NeMo, dan penelitian AVO didokumentasikan dalam makalah di arXiv.

Tolok Ukur Dengan Sejarah

ARC-AGI-3 telah menjadi titik nyala dalam persaingan laboratorium perbatasan. OpenAI sebelumnya mengklaim hasil yang kuat untuk model GPT-5.6 Sol pada benchmark, sehingga menarik perhatian terhadap pengaturan evaluasi yang digunakan. Hasil Nvidia mengesampingkan perdebatan tersebut di satu sisi – ia tidak mengklaim model yang lebih cerdas, hanya agen yang direkayasa lebih baik dari model yang sudah ada.

Pesan yang disampaikan langsung kepada pengembang dan perusahaan yang membangun produk agen: pemilihan model tetap penting, namun desain sistem kini menentukan apakah model terdepan memberikan hasil yang lebih baik. Seperti yang dikatakan Nvidia, mengevaluasi suatu model tidak sama dengan mengevaluasi agen — dan tabel benchmark pada tahun 2026 semakin memberikan penghargaan kepada para insinyur yang membuat scaffolding.

Tetap Terdepan dalam AI

Arsitektur agen bergerak lebih cepat dari sebelumnya, dan kesenjangan antara harness yang baik dan yang buruk kini diukur dalam poin benchmark dan nilai riil. Ikuti AI Buzz Wire untuk liputan harian yang diverifikasi sumber mengenai penelitian AI, tolok ukur, dan peluncuran produk.

Baca lebih lanjut berita penelitian AI →