Google DeepMind, 27 Ağustos'ta, tescilli, sınır sınıfı bir AI modelinin dünyanın ilk çift-kör değerlendirmesi olarak adlandırdığı şeyi duyurdu; bu, dış uzmanların, her iki tarafın da diğerinin sırlarını görmeden Google'ın modellerine stres testi yapmasına izin vermek için tasarlanmış bir kriptografik kurulum.
William Isaac, Sol Messing ve Kristian Lum'un DeepMind blog yazısında açıklanan pilot, kriptografik olarak güvenli bir ortamda gizli kıyaslamalar aracılığıyla Gemini Flash Lite modelini çalıştırıyor. Google DeepMind, bu çaba için Singapur Yapay Zeka Güvenlik Enstitüsü, OpenMined, AVERI ve MLCommons ile ortaklık yapıyor ve metodolojiyi açıklayan bir teknik rapor yayınladı.
Duyuru, yapay zeka değerlendirmesindeki en kalıcı zayıflıklardan birini ele alıyor: kıyaslama kirliliği. AI araştırma haberlerini takip eden okuyucular için bu, üçüncü taraf model testlerini doğrulanabilir şekilde temiz hale getirmeye yönelik daha somut girişimlerden birini temsil ediyor.
Kirlenme Sorunu, Açıklandı
DeepMind duyurusunu bir sınıf benzetmesi ile açıyor. Bir öğrenci yanlışlıkla sınav sorularını önceden görürse, mükemmel puanın hiçbir anlamı yoktur. Aynı mantık sınır modelleri için de geçerlidir: Bir model, eğitim verileri, sızdırılmış değerlendirme kümeleri veya önceki optimizasyon yoluyla bir kıyaslamadaki sorulara zaten maruz kalmışsa, ortaya çıkan puanlar gerçek yeteneği büyük ölçüde abartabilir.
Bu varsayımsal bir endişe değildir. Karşılaştırmalı kontaminasyon yıllardır bu alanın peşini bırakmadı; araştırmacılar, popüler test setlerinin web ölçeğindeki eğitim kurumlarına sızdığını ve modellerin bilinen değerlendirmelerde iyi performans gösterecek şekilde sessizce ayarlanabileceğini defalarca gösterdi. Hükümetler ve şirketler satın alma ve politika kararlarını alırken karşılaştırma puanlarını kullandıklarında şişirilmiş rakamlar gerçek sonuçlar doğurur.
DeepMind, modeller daha yetenekli hale geldikçe, kirli bir puanın sadece yanıltıcı değil aynı zamanda potansiyel olarak tehlikeli olduğu hassas değerlendirme kategorileri (bunların başında siber güvenlik testleri ve hükümet değerlendirmeleri) geliyor.
Eski Takas: Sizin Talepleriniz veya Bizim Ağırlıklarımız
Tarihsel olarak, yüksek riskli dış değerlendirmeler rahatsız edici bir seçim yapmaya zorladı. Değerlendirici, ya test istemlerini model sağlayıcıya teslim etti - sağlayıcının test sorularını önceden görmesi riskiyle karşı karşıya kaldı - ya da sağlayıcı, model ağırlıklarını değerlendiriciye devretti - en değerli fikri mülkiyetini kaybetme riskiyle karşı karşıya kaldı.
DeepMind, sıfır kayıt protokolleri ve sıkı sözleşme önlemlerinin harici test istemlerini uzun süredir gizli tuttuğunu yazıyor, ancak bunlar matematikten ziyade politikalar tarafından dayatılan vaatler. Çift-kör değerlendirmeler bu güvenin yerine kriptografik kanıt koyar.
Şifreleme Kutusu Nasıl Çalışır?
Pilot program, DeepMind'ın kriptografik "kutu" olarak tanımladığı şeyi oluşturmak için Google Cloud'un Gizli Bilgi İşlem portföyünün bir parçası olan Gizli Alanı kullanıyor. İçinde, değerlendirmenin her iki yarısı da (gizli kıyaslama ve özel model) ilgili sahiplerine özel kalır ve ortam, bu gerçeği kriptografik olarak doğrular.
Sonuç gerçekten çift kördür: harici değerlendirici Gemini modelinin ağırlıklarını göremez ve Google, değerlendiricinin test istemlerini göremez. Her iki tarafın da diğerinin sözlerine güvenmesi gerekmiyor çünkü mimarinin kendisi sızıntıyı prensipte imkansız kılıyor. Kurulum ayrıca değerlendirme verilerinin gelecekteki testlerden önce model performansını optimize etmek için daha sonra kullanılmasını da engeller; böylece kirlenmenin tipik olarak tekrar ortaya çıktığı döngüyü kapatır.
Yapay Zeka Gözetimi Neden Önemlidir
Daha geniş önem, bir Gemini modelinin ötesine geçiyor. Bağımsız kuruluşlar (Yapay Zeka güvenlik enstitüleri, akademik laboratuvarlar, düzenleyiciler) yıllardır kapalı sınır modellerini titizlikle değerlendirmek için mücadele ediyor; çünkü sağlayıcılar ağırlıkları devredemiyor ve değerlendiriciler de kriterleri devretmiyor. Her büyük yapay zeka güvenlik enstitüsü, öncü laboratuvarlarla değerlendirme anlaşmaları imzalarken bu sorunun farklı versiyonlarıyla boğuşmuştur.
Pilotun başarılı olması halinde, veri egemenliğinin ve fikri mülkiyetin bağımsız incelemeyle temasta kalabileceği bir şablon sunulmuş olacak. DeepMind, pilot uygulamanın "model gözetimi için yeni bir sınır oluşturarak daha geniş endüstrinin daha güvenli, daha güvenilir ve yaygın olarak güvenilir yapay zeka sistemleri oluşturmasına yardımcı olmasını" umduğunu söylüyor.
Ortak listesi başlı başına dikkate değerdir. Singapur Yapay Zeka Güvenliği Enstitüsü, en aktif ulusal değerlendirme kuruluşlarından biridir; OpenMined, gizliliği koruyan hesaplama araçları geliştirir; MLCommons endüstri kıyaslamasını standart hale getiriyor. AVERI, hükümet, akademi ve endüstri standartları organlarını (bunun bir gösteri olmaktan ziyade bir norm haline gelmesi için çift-kör değerlendirmeyi benimsemesi gereken seçim gruplarını) kapsayan bir konsorsiyum oluşturuyor.
Değerlendirme Bütünlüğü Üzerinde Silahlanma Yarışı
Duyuru, yapay zeka şirketlerinin kendilerini nasıl derecelendirdiğine ilişkin incelemelerin arttığı bir dönemde geldi. Laboratuvarlar, tercih edilen kriterleri seçme konusunda giderek artan suçlamalarla karşı karşıyadır ve bağımsız skor tabloları, satıcıların kontrolü dışında kaldıkları için etkili hale gelmiştir. Çift-kör değerlendirme, bu bağımsızlık hareketini satıcının kendi altyapısı içinde genişletir; bu, tarihsel olarak modellerinin nasıl test edildiğine ilişkin her ayrıntıyı kontrol etmekte ısrar eden şirketler için dikkate değer bir değişimdir.
Şimdilik pilot uygulama bir modeli ve bir dizi gizli kriteri kapsıyor. Ancak kriptografik olarak doğrulanırsa, kontaminasyonsuz değerlendirme teknik olarak rutin hale gelirse, işletmelerin ve düzenleyicilerin her sınır laboratuvarından beklentilerini değiştirebilir ve giderek doğrulanabilir iddialar üzerine inşa edilen bir pazarda "puanımıza güvenin" satışını zorlaştırabilir.
---
Yapay Zekanın Önünde OlunEn son AI haberlerini, analizlerini ve buluşlarını tek bir yerden alın.
Daha fazla AI haberini okuyun →
