Sebuah tim peneliti dari FAIR di Meta, Universitas Oxford, dan University College London telah memperkenalkan AI Research Preference Models (RPMs), sebuah metode untuk memutuskan eksperimen pembelajaran mesin mana yang harus dijalankan oleh agen penelitian otonom. Alih-alih memprediksi skor sebuah eksperimen, RPM memberi peringkat pada kandidat yang belum dieksekusi dan memilih kandidat yang paling menjanjikan. Sebuah perubahan yang menurut tim dapat mengatasi hambatan sebenarnya dalam penelitian berbasis AI: komputasi verifikasi, menurut laporan MarkTechPost tentang pekerjaan tersebut.

Ide ini muncul ketika agen penelitian sudah dapat mengusulkan, menerapkan, dan menilai eksperimen mereka sendiri. Pembuatan ide itu murah; eksekusi tidak. Melatih satu kandidat dapat menghabiskan waktu GPU berjam-jam hingga berhari-hari, sehingga agen pasti akan mengusulkan lebih banyak eksperimen daripada yang mampu dijalankannya. Kandidat mana yang dieksekusi, sebagaimana dibingkai oleh tim, merupakan pendorong nyata kemajuan penelitian. Bagi laboratorium yang tagihan komputasinya meningkat, pembingkaian itulah yang menjadi alasan mengapa pekerjaan ini menarik perhatian pada perkembangan AI terbaru dalam otomatisasi penelitian.

Mengapa pemilihan eksperimen menjadi hambatan

Tim menemukan bahwa model bahasa tidak dapat diandalkan dalam memperkirakan metrik absolut atau hasil eksekusi. Sebuah model tidak dapat melihat kandidat eksperimen dan secara akurat memprediksi skor yang akan dicapai. Para peneliti menemukan bahwa apa yang bisa dilakukan adalah menilai mana di antara dua kandidat yang lebih baik – perbandingan relatif dan bukan prediksi absolut. RPM dibangun sepenuhnya berdasarkan perbedaan tersebut: RPM tidak pernah memperkirakan skor, mereka hanya memberi peringkat.

Sistem ini berjalan di dalam AIRA-dojo, perancah pencarian pohon evolusioner sumber terbuka yang menghasilkan eksperimen pembelajaran mesin melalui pemilihan induk yang serakah dan operator Draf, Peningkatan, dan Debug, yang pada akhirnya mengembalikan node dengan skor validasi tertinggi. Tolok ukurnya, AIRS-Bench, juga bersifat open source. Baik perancah maupun model preferensi menggunakan Qwen3.6-27B sebagai tulang punggungnya, yang menurut tim merupakan beban terbuka.

Cara kerja turnamen sistem gugur

Daripada membuat satu eksperimen turunan dan mengeksekusinya, agen menerapkan operator 15 kali secara paralel untuk menghasilkan 15 kandidat yang tidak dieksekusi. RPM kemudian membandingkannya berpasangan dalam turnamen sistem gugur, dan hanya pemenangnya yang dieksekusi. Setiap perbandingan didasarkan pada simpul konteks yang dikumpulkan melalui penelusuran luas pertama dari pohon yang dieksplorasi, dengan masing-masing kandidat ditampilkan di samping skor validasi nenek moyangnya, sehingga hakim beralasan berdasarkan riwayat pencarian agen yang sebenarnya, bukan dalam ruang hampa.

Makalah ini menjelaskan dua varian dengan anggaran komputasi yang berbeda:

  • RPM khusus inferensi — LLM sebagai juri yang membandingkan rencana kandidat, kode, dan riwayat penelusuran dalam sekali jalan. Permintaannya dioptimalkan dengan MIPROv2 dari kerangka DSPy dan menyatu pada apa yang disebut tim sebagai rubrik penyelidik utama: ia mentolerir bug yang dapat diperbaiki, menghargai ekstensibilitas, dan menghukum arah penelitian yang berlebihan. Akurasi perbandingan offline diukur 57,7 hingga 59,0 persen.
  • Agentic RPM — juri yang sama ditambah sandbox yang mengkloning lingkungan agen, termasuk satu GPU H200, dengan alat terbatas pada Python, Bash, dan tindakan penyerahan solusi. Ini menjalankan eksperimen percontohan skala kecil, lalu model umpan balik mengusulkan eksperimen berikutnya yang paling informatif atau mengakhiri perulangan. Pilot dibatasi pada 30 detik dengan ambang batas 60 detik, dan anggaran waktu yang tersisa sengaja dilebih-lebihkan — 2.700 detik dilaporkan dibandingkan 300 detik sebenarnya — sehingga agen tidak berhenti melakukan pengoptimalan lebih awal.

Seorang hakim bersikap seperti penyelidik utama

Pembingkaian kepala sekolah dan penyelidik adalah bagian yang cukup menarik. Daripada memberi penghargaan kepada kandidat yang terlihat sangat mengesankan, rubrik yang dioptimalkan mencerminkan bagaimana seorang peneliti berpengalaman melakukan triase ide: kode bermasalah yang dapat diperbaiki mengalahkan kode yang dipoles yang mengejar jalan buntu, dan arahan yang menduplikasi pohon yang ada bernilai lebih rendah dibandingkan kode baru. Rubrik tersebut, yang dipelajari melalui optimasi cepat dan bukan penyesuaian manual, adalah hal yang membawa perbaikan, menurut hasil ablasi tim.

Hasil benchmark di AIRS-Bench

Evaluasi mencakup 20 tugas teks dan tabel publik, dengan setiap tugas diberikan 24 jam pada satu H200 dan 10 benih acak. Yang terpenting, backbone Qwen3.6-27B yang sama mendukung operator eksperimen dan model preferensi, sehingga keuntungan berasal dari lapisan seleksi, bukan model juri yang lebih kuat. Skor rata-rata yang dinormalisasi:

  • Tanpa RPM (pilihan acak): 0,684
  • RPM khusus inferensi: 0,711
  • RPM Agen : 0,729
  • Validasi oracle (langit-langit): 0,748
  • Uji oracle (langit-langit): 0,759

Probabilitas peningkatan dibandingkan seleksi acak adalah 0,5923 untuk varian inferensi saja dan 0,5913 untuk varian agen, dengan batas bawah interval kepercayaan 95 persen sebesar 0,5066 dan 0,5018 — di atas ambang batas 0,5 untuk signifikansi statistik, meskipun tim berterus terang bahwa marginnya tidak terlalu besar dan tidak transformatif.

Efisiensi adalah hasil yang lebih praktis. RPM khusus inferensi mencapai skor akhir garis dasar acak sebesar 0,684 dalam 14,88 jam, percepatan 1,61x, sedangkan varian agen membutuhkan 15,50 jam, percepatan 1,55x. Bahkan dengan memperhitungkan biaya inferensi hakim yang dihosting sendiri, angka yang disesuaikan tetap menguntungkan.

Bobot terbuka dan peringatan jujur

Tim ini berterus terang bahwa RPM hanya dapat diterapkan sebagian saat ini. Komponennya bersifat terbuka — tulang punggung yang telah dilatih sebelumnya tanpa penyesuaian, perancah dan tolok ukur sumber terbuka, serta model tulang punggung bobot terbuka — namun persyaratan sandbox varian agen dan overhead eksperimen percontohan berarti sebagian besar laboratorium akan memulai dengan versi hanya inferensi. Para peneliti juga mencatat bahwa langkah-langkah Debug kembali ke pemilihan acak dalam varian agen karena waktu uji coba bersaing dengan jam milik agen.

Signifikansi yang lebih besar mungkin bersifat terarah. Seiring dengan beralihnya agen penelitian otonom dari demo ke penggunaan sehari-hari di laboratorium industri, sumber daya yang langka bukan lagi berupa ide, melainkan jam GPU, dan metode yang memeras lebih banyak kemajuan dari gabungan anggaran komputasi tetap dari waktu ke waktu. Pemeringkatan sebelum pencalonan adalah ide yang sederhana, dan angka-angka AIRS-Bench menunjukkan bahwa ini adalah ide yang cukup berhasil.

Tetap Terdepan dalam AI

Ikuti terus penelitian yang membentuk model masa depan di AI Buzz Wire.

Baca berita AI selengkapnya →