Google DeepMind ngumumake tanggal 27 Agustus babagan apa sing diarani evaluasi buta kaping pindho ing donya babagan model AI kelas ngarep - persiyapan kriptografi sing dirancang kanggo ngidini para ahli ing njaba nyoba nguji model Google tanpa salah siji pihak bisa ndeleng rahasia liyane.
Pilot kasebut, sing diterangake ing postingan blog DeepMind dening William Isaac, Sol Messing lan Kristian Lum, nglakokake model Gemini Flash Lite liwat pathokan rahasia ing lingkungan sing aman kanthi cryptographically. Google DeepMind kerja sama karo Singapore AI Safety Institute, OpenMined, AVERI lan MLCommons babagan upaya kasebut, lan wis nerbitake laporan teknis sing nggambarake metodologi kasebut.
Pengumuman kasebut ngatasi salah sawijining kelemahan sing paling terus-terusan ing evaluasi AI: kontaminasi pathokan. Kanggo maca sing nelusuri berita riset AI, iki minangka salah sawijining upaya konkrit kanggo nggawe uji coba model pihak katelu kanthi bener.
Masalah Kontaminasi, Dijelasake
DeepMind mbukak woro-woro kanthi analogi kelas. Yen siswa ora sengaja ndeleng pitakonan ujian sadurunge, skor sampurna ora ana gunane. Logika sing padha ditrapake kanggo model perbatasan: yen model wis kapapar pitakonan ing pathokan - liwat data latihan, set eval bocor utawa optimasi sadurunge - skor sing diasilake bisa ngluwihi kemampuan nyata.
Iki dudu masalah hipotetis. Kontaminasi pathokan wis pirang-pirang taun, kanthi peneliti bola-bali nuduhake manawa set tes populer bocor menyang perusahaan latihan skala web, lan model kasebut bisa disetel kanthi tenang kanggo nindakake evaluasi sing wis dingerteni. Nalika pamrentah lan perusahaan nggunakake skor pathokan kanggo nggawe keputusan pengadaan lan kabijakan, jumlah sing saya mundhak nggawa akibat nyata.
Nalika model tuwuh luwih bisa, DeepMind ujar, totoan paling dhuwur kanggo kategori evaluasi sensitif - tes keamanan siber lan pangareping pamrentah ing antarane - ing ngendi skor sing kontaminasi ora mung nyasarake nanging duweni potensi mbebayani.
Tradeoff Lawas: Pituduh utawa Bobot Kita
Secara historis, evaluasi eksternal kanthi taruhan dhuwur meksa pilihan sing ora nyenengake. Evaluator nyerahake panjaluk tes kasebut menyang panyedhiya model - menehi risiko manawa panyedhiya bakal ndeleng pitakonan tes luwih dhisik - utawa panyedhiya nyerahake bobot model menyang evaluator - kanthi resiko mundhut properti intelektual sing paling larang.
Protokol zero-logging lan pangayoman kontrak sing ketat wis suwe njaga rahasia tes eksternal, DeepMind nulis, nanging janji kasebut dileksanakake dening kabijakan tinimbang matematika. Evaluasi buta kaping pindho ngganti kepercayaan kasebut kanthi bukti kriptografi.
Cara Kerja Kotak Kriptografis
Pilot nggunakake Ruang Rahasia, bagean saka portofolio Komputasi Rahasia Google Cloud, kanggo nggawe apa sing digambarake DeepMind minangka "kotak" kriptografi. Ing njero, loro-lorone evaluasi - pathokan rahasia lan model kepemilikan - tetep pribadi kanggo sing nduweni, lan lingkungan kanthi kriptografis verifikasi kasunyatan kasebut.
Asil kasebut bener-bener wuta pindho: evaluator eksternal ora bisa ndeleng bobot model Gemini, lan Google ora bisa ndeleng pituduh tes evaluator. Ora ana pihak sing kudu percaya karo janjine wong liya, amarga arsitektur kasebut ora bisa bocor ing prinsip. Secara kritis, persiyapan kasebut uga ngalangi data evaluasi supaya ora digunakake mengko kanggo ngoptimalake kinerja model sadurunge tes ing mangsa ngarep - nutup puteran sing biasane ana kontaminasi.
Napa Penting kanggo Pengawasan AI
Makna sing luwih jembar ngluwihi model Gemini. Organisasi independen - lembaga keamanan AI, laboratorium akademik, regulator - wis pirang-pirang taun berjuang kanggo ngevaluasi model perbatasan tertutup kanthi ketat, amarga panyedhiya ora bisa nyerahake bobot lan evaluator ora bakal nyerahake benchmark. Saben institusi keamanan AI utama wis berjuang karo versi masalah iki nalika mlebu perjanjian evaluasi karo laboratorium perbatasan.
Yen pilot terus, nawakake cithakan ing ngendi kadhaulatan data lan properti intelektual bisa urip karo pengawasan independen. DeepMind ujar manawa pilot kasebut "ngadegake wates anyar kanggo pengawasan model, mbantu industri sing luwih jembar mbangun sistem AI sing luwih aman, luwih dipercaya, lan dipercaya."
Dhaptar partner kacathet ing dhewe. Institut Keamanan AI Singapura minangka salah sawijining badan evaluasi nasional sing paling aktif; OpenMined mbangun perkakas komputasi sing njaga privasi; MLCommons nggawe standar benchmarking industri. AVERI ngrampungake konsorsium sing kalebu badan standar pemerintah, akademisi lan industri - konstituen sing kudu ngetrapake evaluasi buta kaping pindho supaya dadi norma tinimbang demonstrasi.
Perlombaan Arms Over Evaluasi Integritas
Pengumuman kasebut ana ing tengah-tengah riset babagan carane perusahaan AI menehi peringkat. Labs ngadhepi tudingan sing saya akeh babagan benchmarks sing milih cherry, lan papan pimpinan independen dadi pengaruh amarga padha lungguh ing njaba kontrol vendor. Evaluasi buta kaping pindho ngluwihi gerakan kamardikan ing infrastruktur vendor dhewe - owah-owahan sing penting kanggo perusahaan sing sacara historis ngeyel ngontrol saben rinci babagan model sing diuji.
Saiki, pilot nyakup siji model lan set pathokan rahasia. Nanging yen diverifikasi sacara kriptografis, evaluasi bebas kontaminasi dadi rutin sacara teknis, bisa ngganti apa sing dikarepake perusahaan lan regulator saka saben lab perbatasan - lan nggawe "percaya skor kita" dadi adol sing luwih angel ing pasar sing dibangun ing klaim sing bisa diverifikasi.
---
Tetep Ahead of AIEntuk warta, analisis, lan terobosan AI paling anyar - kabeh ing sak panggonan.
Waca liyane AI warta →
