Google DeepMind ha annunciato il 27 agosto quella che definisce la prima valutazione in doppio cieco al mondo di un modello AI proprietario di classe frontiera: una configurazione crittografica progettata per consentire agli esperti esterni di sottoporre a stress test i modelli di Google senza che nessuna delle due parti veda mai i segreti dell'altra.
Il progetto pilota, descritto in un post sul blog di DeepMind da William Isaac, Sol Messing e Kristian Lum, esegue un modello Gemini Flash Lite attraverso benchmark riservati all'interno di un ambiente crittograficamente sicuro. Google DeepMind sta collaborando con il Singapore AI Safety Institute, OpenMined, AVERI e MLCommons e ha pubblicato un rapporto tecnico che descrive la metodologia.
L’annuncio affronta uno dei punti deboli più persistenti nella valutazione dell’intelligenza artificiale: la contaminazione dei benchmark. Per i lettori che seguono le notizie sulla ricerca sull'intelligenza artificiale, rappresenta uno dei tentativi più concreti di rendere i test di modelli di terze parti puliti e verificabili.
Il problema della contaminazione, spiegato
DeepMind apre il suo annuncio con un'analogia con la classe. Se uno studente vede accidentalmente in anticipo le domande dell'esame, un punteggio perfetto non significa nulla. La stessa logica si applica ai modelli di frontiera: se un modello è già stato esposto alle domande in un benchmark – attraverso dati di addestramento, set di valutazione trapelati o ottimizzazione precedente – i punteggi risultanti possono sovrastimare enormemente la capacità reale.
Questa non è una preoccupazione ipotetica. La contaminazione dei benchmark ha perseguitato il campo per anni, con i ricercatori che hanno ripetutamente dimostrato che i set di test più diffusi si riversano nei corpora di formazione su scala web e che i modelli possono essere tranquillamente messi a punto per funzionare bene su valutazioni note. Quando i governi e le imprese utilizzano i punteggi di riferimento per prendere decisioni politiche e in materia di appalti, i numeri gonfiati comportano conseguenze reali.
Man mano che i modelli diventano più capaci, sostiene DeepMind, la posta in gioco è più alta per le categorie di valutazione sensibili – tra cui i test di sicurezza informatica e le valutazioni governative in primo luogo – dove un punteggio contaminato non è solo fuorviante ma potenzialmente pericoloso.
Il vecchio compromesso: i tuoi suggerimenti o i nostri pesi
Storicamente, le valutazioni esterne ad alto rischio hanno imposto una scelta scomoda. O il valutatore ha consegnato le sue richieste di test al fornitore del modello – rischiando che il fornitore vedesse le domande del test in anticipo – oppure il fornitore ha consegnato i pesi del modello al valutatore – rischiando la perdita della sua proprietà intellettuale più preziosa.
I protocolli di zero-logging e le rigorose garanzie contrattuali hanno mantenuto a lungo riservati i suggerimenti dei test esterni, scrive DeepMind, ma queste sono promesse applicate dalla politica piuttosto che dalla matematica. Le valutazioni in doppio cieco sostituiscono tale fiducia con la prova crittografica.
Come funziona la scatola crittografica
Il progetto pilota utilizza Confidential Space, parte del portfolio Confidential Computing di Google Cloud, per creare quella che DeepMind descrive come una "scatola" crittografica. Al suo interno, entrambe le metà di una valutazione – il benchmark confidenziale e il modello proprietario – rimangono private per i rispettivi proprietari e l’ambiente verifica crittograficamente questo fatto.
Il risultato è veramente in doppio cieco: il valutatore esterno non può vedere i pesi del modello Gemini e Google non può vedere le istruzioni del test del valutatore. Nessuna delle due parti deve fidarsi delle promesse dell'altra, perché l'architettura stessa rende in linea di principio impossibile la fuga di informazioni. Fondamentalmente, la configurazione impedisce anche che i dati di valutazione vengano utilizzati successivamente per ottimizzare le prestazioni del modello prima dei test futuri, chiudendo il ciclo attraverso il quale tipicamente si ripresenta la contaminazione.
Perché è importante per la supervisione dell'intelligenza artificiale
Il significato più ampio va oltre il modello Gemelli. Le organizzazioni indipendenti – istituti di sicurezza dell’intelligenza artificiale, laboratori accademici, regolatori – hanno lottato per anni per valutare rigorosamente i modelli a frontiera chiusa, proprio perché i fornitori non possono cedere i pesi e i valutatori non consegnano i parametri di riferimento. Tutti i principali istituti per la sicurezza dell’intelligenza artificiale si sono confrontati con versioni di questo problema quando hanno firmato accordi di valutazione con laboratori di frontiera.
Se il progetto pilota regge, offre un modello in base al quale la sovranità dei dati e la proprietà intellettuale sopravvivono al contatto con un controllo indipendente. DeepMind spera che il progetto pilota "stabilisca una nuova frontiera per la supervisione dei modelli, aiutando l'industria in generale a costruire sistemi di intelligenza artificiale più sicuri, più affidabili e ampiamente affidabili".
L'elenco dei partner è di per sé notevole. Il Singapore AI Safety Institute è uno degli organismi di valutazione nazionali più attivi; OpenMined crea strumenti di calcolo che preservano la privacy; MLCommons standardizza il benchmarking del settore. AVERI costituisce un consorzio che comprende il governo, il mondo accademico e gli organismi di standardizzazione del settore: i collegi elettorali che dovrebbero adottare la valutazione in doppio cieco affinché diventi una norma piuttosto che una dimostrazione.
Una corsa agli armamenti per l'integrità della valutazione
L’annuncio arriva nel mezzo di un crescente controllo su come le aziende di intelligenza artificiale si classificano. I laboratori devono affrontare crescenti accuse di scegliere benchmark favorevoli e le classifiche indipendenti sono diventate influenti proprio perché sono fuori dal controllo dei fornitori. La valutazione in doppio cieco estende questo movimento di indipendenza all'interno dell'infrastruttura stessa del fornitore: un cambiamento notevole per le aziende che storicamente hanno insistito sul controllo di ogni dettaglio del modo in cui vengono testati i loro modelli.
Per ora, il progetto pilota copre un modello e una serie di parametri di riferimento riservati. Ma se la valutazione crittograficamente verificata e priva di contaminazione diventasse tecnicamente di routine, ciò potrebbe cambiare ciò che le imprese e i regolatori si aspettano da ogni laboratorio di frontiera – e rendere “fiducia nel nostro punteggio” una vendita più difficile in un mercato sempre più costruito su affermazioni verificabili.
---
Stai al passo con l'intelligenza artificialeRicevi le ultime notizie, analisi e scoperte sull'intelligenza artificiale, tutto in un unico posto.
Leggi altre notizie sull'AI →
