Google DeepMind mengumumkan pada 27 Ogos apa yang dipanggil penilaian dua buta pertama di dunia bagi model AI proprietari kelas sempadan — persediaan kriptografi yang direka untuk membenarkan pakar luar menguji model Google tanpa melihat rahsia pihak lain.
Juruterbang itu, yang diterangkan dalam catatan blog DeepMind oleh William Isaac, Sol Messing dan Kristian Lum, menjalankan model Gemini Flash Lite melalui penanda aras sulit dalam persekitaran yang selamat dari segi kriptografi. Google DeepMind bekerjasama dengan Institut Keselamatan AI Singapura, OpenMined, AVERI dan MLCommons mengenai usaha itu, dan telah menerbitkan laporan teknikal yang menerangkan metodologi.
Pengumuman itu menangani salah satu kelemahan yang paling berterusan dalam penilaian AI: pencemaran penanda aras. Bagi pembaca yang menjejaki berita penyelidikan AI, ia mewakili salah satu percubaan yang lebih konkrit untuk menjadikan ujian model pihak ketiga bersih.
Masalah Pencemaran, Dijelaskan
DeepMind membuka pengumumannya dengan analogi bilik darjah. Jika pelajar secara tidak sengaja melihat soalan peperiksaan lebih awal, skor sempurna tidak bermakna apa-apa. Logik yang sama digunakan untuk model sempadan: jika model telah didedahkan kepada soalan dalam penanda aras — melalui data latihan, set eval yang bocor atau pengoptimuman terdahulu — markah yang terhasil boleh melebih-lebihkan keupayaan sebenar secara besar-besaran.
Ini bukan kebimbangan hipotetikal. Pencemaran penanda aras telah melanda bidang ini selama bertahun-tahun, dengan penyelidik berulang kali menunjukkan bahawa set ujian popular bocor ke dalam korpora latihan skala web, dan model boleh ditala secara senyap-senyap untuk menunjukkan prestasi yang baik pada penilaian yang diketahui. Apabila kerajaan dan perusahaan menggunakan markah penanda aras untuk membuat keputusan pemerolehan dan dasar, angka yang melambung membawa akibat yang nyata.
Apabila model berkembang dengan lebih berkebolehan, DeepMind berpendapat, pertaruhan adalah tertinggi untuk kategori penilaian sensitif - ujian keselamatan siber dan ketua penilaian kerajaan di kalangan mereka - di mana skor yang tercemar bukan sahaja mengelirukan tetapi berpotensi berbahaya.
Pertukaran Lama: Gesaan Anda atau Pertimbangan Kami
Dari segi sejarah, penilaian luaran berkepentingan tinggi memaksa pilihan yang tidak selesa. Sama ada penilai menyerahkan gesaan ujiannya kepada pembekal model — mempertaruhkan pembekal akan melihat soalan ujian terlebih dahulu — atau pembekal menyerahkan pemberat model kepada penilai — berisiko kehilangan harta inteleknya yang paling berharga.
Protokol pembalakan sifar dan perlindungan kontrak yang ketat telah lama merahsiakan gesaan ujian luaran, tulis DeepMind, tetapi itu adalah janji yang dikuatkuasakan oleh dasar dan bukannya oleh matematik. Penilaian dua buta menggantikan kepercayaan itu dengan bukti kriptografi.
Bagaimana Kotak Kriptografi Berfungsi
Perintis menggunakan Ruang Sulit, sebahagian daripada portfolio Pengkomputeran Sulit Google Cloud, untuk mencipta apa yang diterangkan oleh DeepMind sebagai "kotak" kriptografi. Di dalamnya, kedua-dua bahagian penilaian — penanda aras sulit dan model proprietari — kekal peribadi kepada pemilik masing-masing, dan persekitaran mengesahkan fakta itu secara kriptografi.
Hasilnya benar-benar buta dua kali: penilai luar tidak dapat melihat berat model Gemini dan Google tidak dapat melihat gesaan ujian penilai. Kedua-dua pihak tidak perlu mempercayai janji pihak lain, kerana seni bina itu sendiri membuat kebocoran menjadi mustahil pada dasarnya. Secara kritikal, persediaan juga menghalang data penilaian daripada digunakan kemudian untuk mengoptimumkan prestasi model menjelang ujian masa hadapan — menutup gelung yang mana pencemaran biasanya masuk semula.
Mengapa Ia Penting untuk Pengawasan AI
Kepentingan yang lebih luas melangkaui satu model Gemini. Organisasi bebas - institut keselamatan AI, makmal akademik, pengawal selia - telah bergelut selama bertahun-tahun untuk menilai dengan teliti model sempadan tertutup, tepat kerana penyedia tidak boleh menyerahkan pemberat dan penilai tidak akan menyerahkan penanda aras. Setiap institut keselamatan AI utama telah bergelut dengan versi masalah ini apabila menandatangani perjanjian penilaian dengan makmal sempadan.
Jika juruterbang bertahan, ia menawarkan templat di mana kedaulatan data dan harta intelek kekal bersentuhan dengan penelitian bebas. DeepMind berkata ia berharap juruterbang itu "mewujudkan sempadan baharu untuk pengawasan model, membantu industri yang lebih luas membina sistem AI yang lebih selamat, lebih dipercayai dan dipercayai secara meluas."
Senarai rakan kongsi adalah ketara dengan sendirinya. Institut Keselamatan AI Singapura ialah salah satu badan penilaian negara yang paling aktif; OpenMined membina alatan pengiraan yang memelihara privasi; MLCommons menyeragamkan penanda aras industri. AVERI menyempurnakan konsortium yang merangkumi badan piawaian kerajaan, akademia dan industri — kawasan pilihan raya yang perlu menerima pakai penilaian dua buta supaya ia menjadi kebiasaan dan bukannya demonstrasi.
Perlumbaan Senjata Menghadapi Integriti Penilaian
Pengumuman itu tiba di tengah-tengah peningkatan penelitian tentang cara syarikat AI menilai diri mereka sendiri. Makmal menghadapi tuduhan yang semakin meningkat tentang penanda aras yang menguntungkan memilih ceri, dan papan pendahulu bebas telah menjadi sangat berpengaruh kerana mereka berada di luar kawalan vendor. Penilaian dua kali buta memanjangkan pergerakan kebebasan itu di dalam infrastruktur vendor itu sendiri — satu anjakan ketara bagi syarikat yang secara historis berkeras untuk mengawal setiap butiran tentang cara model mereka diuji.
Buat masa ini, juruterbang meliputi satu model dan satu set penanda aras sulit. Tetapi jika disahkan secara kriptografi, penilaian bebas pencemaran menjadi rutin secara teknikal, ia boleh mengubah perkara yang diharapkan oleh perusahaan dan pengawal selia daripada setiap makmal sempadan — dan menjadikan "percaya skor kami" jualan yang lebih sukar dalam pasaran yang semakin dibina berdasarkan tuntutan yang boleh disahkan.
---
Kekal Mendahului AIDapatkan berita, analisis dan penemuan terkini AI — semuanya di satu tempat.
Baca lebih banyak berita AI →
