Sakana AI telah menerbitkan "Beyond Imitation", sebuah kertas penyelidikan dalam jurnal Transactions on Machine Learning Research (TMLR) yang menerangkan sistem semakan rakan sebaya bantuan LLM yang dibina berdasarkan pengesanan ralat dan bukannya meniru ulasan manusia, lapor MarkTechPost pada 10 Oktober. Persoalan utama makmal yang berpangkalan di Tokyo akan dijawab: bukannya memberi penggredan kepada pengulas AI pada seberapa dekat semakan manusia, ia boleh menemui kesilapan outputnya?
Pasukan itu menghantar dua artifak: Penanda Aras Percanggahan untuk mengukur pengesanan ralat dan sistem Kajian Berbilang Lapisan (MLR) yang mengetuai setiap garis dasar diuji. Hasilnya tiba di tengah-tengah minat yang semakin meningkat untuk menggunakan AI untuk menyokong semakan rakan sebaya - satu proses di bawah tekanan akibat peningkatan jumlah penyerahan. Untuk mengetahui lebih lanjut tentang cara AI membentuk semula penyelidikan itu sendiri, ikuti [perkembangan AI terkini] kami(https://aibuzzwire.news).
Penanda Aras Kesilapan yang Ditanam
Penanda Aras Percanggahan menanam ralat ke dalam kertas sebenar dan menyemak sama ada pengulas menangkapnya. Para penyelidik mengumpul 257 kertas berlesen CC daripada ACL, AISTATS, CVPR, dan ICML 2025, serta NeurIPS 2024, kemudian menggunakan Gemini 2.5 Pro untuk membina graf pengetahuan bagi setiap tuntutan, bukti dan kaedah kertas kerja.
Keterukan ditakrifkan secara struktur: jarak nod dari "tuntutan utama" kertas menentukan sejauh mana ralat itu berada. Jarak sifar mencecah tuntutan teras; jarak yang lebih besar memukul butiran sokongan. GPT-4.1 kemudian menulis semula satu nod setiap jarak menjadi percanggahan, menghasilkan 1,164 titik data secara keseluruhan. Seorang hakim o3 menjaringkan setiap ulasan sepuluh kali. Pada kertas bersih hakim mencapai ketepatan 99.9%, dan ia menunjukkan 86.8% kepekaan pada tangkapan yang disahkan secara manual — bermakna skor pengesanan yang dilaporkan mungkin sebenarnya konservatif.
Cara Semakan Berbilang Lapis Berfungsi
MLR ialah sistem agenik yang memahami kertas sebelum mengkritiknya, dipasang daripada tiga ejen khusus yang dijalankan pada model Claude yang luar biasa — tiada kluster GPU dan tiada penalaan halus diperlukan:
- Ejen Lampiran (Claude Haiku 3.5): meringkaskan percubaan dan butiran pelaksanaan daripada lampiran.
- Ejen Kajian Literatur (Claude Sonnet 4, pilihan): menggunakan carian web untuk meletakkan kertas dalam konteks kerja terdahulu.
- Ejen Semakan (Claude Sonnet 4): menjalankan rantaian gesaan tiga laluan yang diilhamkan oleh saintis komputer S. Keshav yang terkenal "Pendekatan Tiga Laluan" — mula-mula garis besar peringkat tinggi, kemudian bacaan terperinci kelemahan, andaian dan jurang, dan akhirnya gabungan semua soalan, keluaran ejen, satu kekuatan dan satu. senarai.
PDF dihantar kepada model secara langsung, jadi angka dan persamaan bertahan dalam pemprosesan. Sistem ini membaca sehingga 10 halaman teks utama, dan Sakana menganggarkan kos kira-kira $0.47 setiap ulasan.
Keputusan: Reka Bentuk dan Pilihan Model Kedua-duanya Penting
MLR mendahului keempat-empat sistem yang diuji pada penanda aras. Dengan empat ulasan bebas, ia menangkap 73.43% percanggahan tuntutan teras (jarak-sifar) dan 40.95% secara keseluruhan. Garis dasar terbaik, sistem yang dipanggil AgentReview, hanya berjaya 14.81% pada tuntutan teras. Malah semakan MLR tunggal menangkap 60.79% daripada ralat tuntutan teras.
Kajian ablasi memisahkan sumbangan reka bentuk daripada pilihan model. Menukar GPT-4.1 untuk Claude Sonnet 4 dalam saluran paip semakan sedia ada telah meningkatkan pengesanan tuntutan teras daripada 14.56% kepada 35.40%, manakala reka bentuk berbilang ejen MLR menambah kira-kira 25 lagi mata peratusan di atas untuk satu semakan. Ketepatan pengesanan jatuh apabila ralat beralih daripada tuntutan utama, yang menurut pengarang menyokong pemarkahan keterukan.
Gambar menjadi gelap pada data dunia nyata yang lebih kucar-kacir. Pada WithdrarXiv-Check, satu set 211 sebenarnya menarik balik kertas arXiv, MLR mendapat 26.07% pada perlawanan "serupa" dan 16.11% pada padanan tepat — dan sistem tetap terdedah kepada suntikan segera tersembunyi yang ditanam dalam teks manuskrip. Membaca kertas yang ditarik balik sebenar, dengan kata lain, adalah lebih sukar daripada menangkap percanggahan sintetik.
Maksudnya untuk Semakan Rakan Sebaya
Hasil kajian yang paling praktikal mungkin paling tidak glamor: kedua-dua reka bentuk sistem dan pilihan model menggerakkan pengesanan ralat secara material, dan penyemak yang membaca sebelum menilai mendapati ralat yang jauh lebih serius daripada yang sepadan dengan corak pada teks semakan manusia. Perbezaan itu penting kerana kebanyakan kerja terdahulu pada semakan berbantukan AI dioptimumkan untuk persetujuan dengan pertimbangan manusia — metrik yang memberi ganjaran kepada pematuhan yang terdengar yakin dan bukannya penelitian yang tulen.
Keputusan Sakana tidak mencadangkan AI bersedia untuk menggantikan pengadil manusia — sistem yang merindui kebanyakan ralat pada kertas yang ditarik balik tulen dan boleh dimanipulasi oleh gesaan terbenam paling baik dianggap sebagai lapisan bantuan, bukan pihak berkuasa. Ralat sintetik penanda aras juga lebih bersih daripada kekaburan statistik dan tafsiran yang dipertikaikan yang mendominasi perselisihan sebenar dalam semakan rakan sebaya, jadi prestasi pada percanggahan yang ditanam harus dibaca sebagai siling, bukan janji.
Tetapi pada kira-kira $0.47 setiap semakan, dengan kadar pengesanan ralat tertinggi bagi mana-mana sistem yang diuji, MLR menghala ke arah jangka masa terdekat di mana penyemak AI mengendalikan skrin laluan pertama untuk percanggahan manakala penyemak manusia memfokuskan pada penghakiman memanggil mesin masih tidak dapat membuat. Jurnal dan penganjur persidangan yang bereksperimen dengan semakan bantuan LLM kini mempunyai penanda aras awam dan garis dasar yang kukuh untuk mengukur sistem mereka sendiri terhadap — dan, jika jurang antara 73.43% dan 14.81% bertahan, isyarat jelas bahawa seni bina membaca lebih penting daripada saiz model mentah.
---
Kekal Mendahului AIDapatkan berita, analisis dan penemuan terkini AI — semuanya di satu tempat.
Baca lebih banyak berita AI →
