Google DeepMind mengumumkan pada tanggal 27 Agustus apa yang mereka sebut sebagai evaluasi double-blind pertama di dunia terhadap model AI berpemilik dan kelas terdepan – sebuah pengaturan kriptografi yang dirancang untuk memungkinkan para ahli dari luar menguji model Google tanpa kedua belah pihak pernah melihat rahasia pihak lain.
Uji coba tersebut, dijelaskan dalam postingan blog DeepMind oleh William Isaac, Sol Messing, dan Kristian Lum, menjalankan model Gemini Flash Lite melalui tolok ukur rahasia di dalam lingkungan yang aman secara kriptografis. Google DeepMind bermitra dengan Singapore AI Safety Institute, OpenMined, AVERI, dan MLCommons dalam upaya ini, dan telah menerbitkan laporan teknis yang menjelaskan metodologinya.
Pengumuman ini mengatasi salah satu kelemahan paling persisten dalam evaluasi AI: kontaminasi benchmark. Bagi pembaca yang melacak berita penelitian AI, ini merupakan salah satu upaya nyata untuk membuat pengujian model pihak ketiga benar-benar bersih.
Masalah Kontaminasi, Dijelaskan
DeepMind membuka pengumumannya dengan analogi ruang kelas. Jika seorang siswa secara tidak sengaja melihat soal ujian sebelumnya, nilai sempurna tidak berarti apa-apa. Logika yang sama juga berlaku pada model frontier: jika model telah dihadapkan pada pertanyaan-pertanyaan dalam tolok ukur — melalui data pelatihan, rangkaian evaluasi yang bocor, atau pengoptimalan sebelumnya — skor yang dihasilkan dapat melebih-lebihkan kemampuan sebenarnya secara signifikan.
Ini bukanlah kekhawatiran hipotetis. Kontaminasi tolok ukur telah menghantui bidang ini selama bertahun-tahun, dengan para peneliti berulang kali menunjukkan bahwa perangkat pengujian populer bocor ke dalam korpora pelatihan skala web, dan bahwa model dapat disesuaikan secara diam-diam agar dapat bekerja dengan baik pada evaluasi yang diketahui. Ketika pemerintah dan perusahaan menggunakan skor tolok ukur untuk membuat keputusan pengadaan dan kebijakan, peningkatan angka tersebut membawa konsekuensi nyata.
Ketika model semakin mampu, DeepMind berargumentasi, pertaruhan terbesar terjadi pada kategori evaluasi yang sensitif – yaitu pengujian keamanan siber dan penilaian pemerintah – dimana skor yang terkontaminasi tidak hanya menyesatkan tetapi juga berpotensi berbahaya.
Pengorbanan Lama: Anjuran Anda atau Bobot Kami
Secara historis, evaluasi eksternal yang berisiko tinggi memaksa adanya pilihan yang tidak nyaman. Baik evaluator menyerahkan petunjuk pengujiannya kepada penyedia model — dengan risiko penyedia akan melihat pertanyaan pengujian terlebih dahulu — atau penyedia menyerahkan bobot model kepada evaluator — dengan risiko kehilangan kekayaan intelektualnya yang paling berharga.
Protokol tanpa pencatatan (zero-logging) dan perlindungan kontrak yang ketat telah lama menjaga kerahasiaan permintaan pengujian eksternal, tulis DeepMind, namun hal tersebut merupakan janji yang ditegakkan oleh kebijakan dan bukan oleh matematika. Evaluasi double-blind menggantikan kepercayaan itu dengan bukti kriptografi.
Cara Kerja Kotak Kriptografi
Uji coba ini menggunakan Ruang Rahasia, bagian dari portofolio Komputasi Rahasia Google Cloud, untuk menciptakan apa yang digambarkan DeepMind sebagai "kotak" kriptografi. Di dalamnya, kedua bagian evaluasi – tolok ukur rahasia dan model kepemilikan – tetap bersifat pribadi bagi pemiliknya masing-masing, dan lingkungan secara kriptografis memverifikasi fakta tersebut.
Hasilnya benar-benar tersamar ganda: evaluator eksternal tidak dapat melihat bobot model Gemini, dan Google tidak dapat melihat perintah pengujian evaluator. Tidak ada pihak yang harus memercayai janji pihak lain, karena arsitekturnya sendiri pada prinsipnya membuat kebocoran tidak mungkin terjadi. Yang terpenting, penyiapan ini juga mencegah data evaluasi digunakan di kemudian hari untuk mengoptimalkan performa model sebelum pengujian di masa mendatang — menutup loop yang biasanya menyebabkan kontaminasi masuk kembali.
Mengapa Penting untuk Pengawasan AI
Signifikansi yang lebih luas melampaui satu model Gemini. Organisasi independen – lembaga keamanan AI, laboratorium akademis, regulator – telah berjuang selama bertahun-tahun untuk mengevaluasi model-model perbatasan tertutup secara ketat, justru karena penyedia layanan tidak dapat menyerahkan bobot dan evaluator tidak akan menyerahkan tolok ukurnya. Setiap lembaga keselamatan AI besar telah bergulat dengan versi masalah ini ketika menandatangani perjanjian evaluasi dengan laboratorium terdepan.
Jika proyek percontohan ini berhasil, maka hal ini akan memberikan contoh bagi kedaulatan data dan hak kekayaan intelektual untuk tetap bertahan jika diawasi secara independen. DeepMind mengatakan pihaknya berharap uji coba ini “menetapkan batas baru untuk pengawasan model, membantu industri yang lebih luas membangun sistem AI yang lebih aman, lebih andal, dan dipercaya secara luas.”
Daftar mitra itu sendiri terkenal. Singapore AI Safety Institute adalah salah satu badan evaluasi nasional yang paling aktif; OpenMined membangun alat komputasi yang menjaga privasi; MLCommons menstandardisasi benchmarking industri. AVERI melengkapi konsorsium yang mencakup badan-badan standar pemerintah, akademisi dan industri – konstituen yang perlu mengadopsi evaluasi double-blind agar evaluasi tersebut menjadi norma dan bukan sekedar demonstrasi.
Perlombaan Senjata Mengenai Integritas Evaluasi
Pengumuman ini muncul di tengah meningkatnya pengawasan terhadap bagaimana perusahaan AI menilai diri mereka sendiri. Lab menghadapi tuduhan yang semakin meningkat mengenai pemilihan tolok ukur yang menguntungkan, dan papan peringkat independen menjadi berpengaruh justru karena mereka berada di luar kendali vendor. Evaluasi double-blind memperluas gerakan kemandirian di dalam infrastruktur vendor — sebuah perubahan penting bagi perusahaan yang secara historis bersikeras mengendalikan setiap detail bagaimana model mereka diuji.
Untuk saat ini, uji coba ini mencakup satu model dan serangkaian tolok ukur rahasia. Namun jika evaluasi yang terverifikasi secara kriptografis dan bebas kontaminasi menjadi rutin secara teknis, hal ini dapat mengubah apa yang diharapkan oleh perusahaan dan regulator dari setiap laboratorium terdepan – dan menjadikan “trust our score” (percaya pada skor kami) semakin sulit dilakukan di pasar yang semakin dibangun berdasarkan klaim yang dapat diverifikasi.
---
Tetap Terdepan dalam AIDapatkan berita, analisis, dan terobosan AI terkini — semuanya di satu tempat.
Baca berita AI selengkapnya →
