Anthropic ha iniziato a fornire a un team di METR, l'organizzazione no-profit che valuta i modelli di intelligenza artificiale di frontiera, un "accesso simile a quello di un dipendente" ai suoi sistemi interni - hardware aziendale, spazi per uffici e strumenti più o meno alla pari con quelli utilizzati dai suoi team di valutazione del rischio - in modo che il gruppo esterno possa valutare in modo indipendente i rischi dei modelli di frontiera di Anthropic e pubblicare ciò che trova.
L'accordo, annunciato mercoledì sul blog di Anthropic, va oltre le relazioni di tipo audit che le società di intelligenza artificiale hanno tipicamente tollerato, e prevede una disposizione che risalta: METR pubblicherà i risultati delle sue valutazioni del rischio e Anthropic non potrà porre il veto alla pubblicazione.
Cosa significa realmente "Accesso di tipo dipendente".
A sei dipendenti METR sono stati assegnati hardware aziendale, spazi per uffici e accesso a strumenti e sistemi interni che Anthropic descrive come più o meno alla pari con ciò che ricevono i propri team di valutazione del rischio. Al di fuori di un numero limitato di categorie chiaramente definite – dati sui clienti, informazioni privilegiate tra avvocato e cliente e informazioni sulle architetture dei modelli – Anthropic afferma che i suoi dipendenti sono incoraggiati a condividere informazioni con il team METR proprio come farebbero con un collega che lavora sul rischio di allineamento.
L'impegno è volutamente ristretto. Copre un piccolo team che opera in base ad accordi vincolanti e altri dipendenti METR vengono isolati dal lavoro di quel team, compresi i ricercatori che collaborano con Anthropic su altri progetti. Anthropic rileva che la configurazione offre ad alcune persone qualificate, che lavorano secondo gli standard di sicurezza di Anthropic, una visione ravvicinata di come opera l'azienda; non è un canale attraverso il quale altre organizzazioni possono ottenere informazioni su Anthropic o sui suoi clienti.
Diritti di pubblicazione, con guardrail
In base all'accordo, METR pubblicherà la sua analisi dei livelli di rischio, degli incidenti o delle pratiche di Anthropic. Anthropic non può bloccare la pubblicazione, ma può richiedere revisioni quando le informazioni rientrano nelle categorie predefinite descritte sopra – e Anthropic stesso decide cosa rientra o meno in tali categorie. METR, da parte sua, si riserva il diritto di fare alcune dichiarazioni sul livello di accesso e di informazioni ricevute, un contrappeso volto a evitare che il potere redazionale diventi un pulsante muto.
Perché l'antropologia si sta aprendo
La mossa fa seguito all’impegno assunto da Anthropic il mese scorso per una valutazione più forte e indipendente da parte di terzi dei suoi modelli e delle pratiche di sicurezza, e alla firma dell’accordo della Casa Bianca sulla super intelligence, in cui le aziende di intelligenza artificiale si sono impegnate a collaborare con revisori o valutatori esterni indipendenti. Inoltre, estende una relazione esistente: nell'ultimo anno, Anthropic ha collaborato con METR su diverse revisioni dei suoi rapporti sui rischi.
METR non è sola nel portafoglio. Anthropic afferma che sta lavorando anche con SecureBio e Accenture come valutatori (la Faculty di Accenture è stata nominata il primo valutatore integrato dell'azienda a settembre) e sta avviando trattative con diverse altre organizzazioni, tra cui Hugging Face. Queste partnership nella fase iniziale prevedono un accesso alle informazioni e diritti di pubblicazione più limitati mentre l’azienda apprende quali tipi di partnership funzionano.
L'analogia tra banca e vigilanza
Il framing stesso di Anthropic prende in prestito dalla finanza. Le banche conoscono meglio le proprie posizioni di rischio rispetto agli esterni, quindi le autorità di regolamentazione assegnano agli esaminatori residenti il compito di lavorare all’interno delle banche più grandi; se l'assunzione di rischi di una banca può minacciare il pubblico, i terzi cercano di vederlo in anticipo. L'azienda posiziona la valutazione integrata come la versione del settore dell'intelligenza artificiale di quella logica: un passo verso una solida supervisione della sicurezza in un campo in cui il costruttore sa sempre più del cane da guardia.
Alla base di tutto c’è un obiettivo dichiarato: colmare il divario tra ciò che i valutatori indipendenti comprendono sui sistemi di un’azienda di intelligenza artificiale di frontiera e ciò che comprende l’azienda stessa.
Di cosa hanno bisogno i valutatori
L’annuncio espone anche ciò che Anthropic ritiene che una valutazione significativa richieda: esperienza nella valutazione delle capacità del modello di frontiera, compresa la comprensione di come le valutazioni possono andare storte a causa di fenomeni come la falsificazione dell’allineamento; indipendenza, vale a dire nessuna partecipazione o dipendenza finanziaria o operativa dalla società oggetto di valutazione; accesso sufficiente per valutare in modo significativo i rischi, estendendosi oltre i modelli più recenti al modo in cui sono stati formati e al funzionamento delle misure di salvaguardia; e la libertà di pubblicare osservazioni e valutazioni su un modello o un processo.
Un banco di prova per l'intero settore
L'arrangiamento sarà giudicato in base alla sua produzione. La prima valutazione pubblicata da METR nell'ambito del nuovo regime di accesso mostrerà se l'accesso simile a quello dei dipendenti produce risultati con effetti concreti o rapporti ritagliati da categorie di redazione definite dall'azienda stessa. Gli scettici noteranno che Anthropic controlla i confini della categoria e che il team pilota è piccolo; I sostenitori noteranno che un diritto di pubblicazione su cui Anthropic non può porre il veto è davvero una novità tra i laboratori di frontiera.
In ogni caso, l’industria sta a guardare. Se l’accesso integrato di METR fa emergere i risultati materiali e li pubblica inalterati, il modello diventa il modello ovvio per ogni laboratorio che ha firmato l’accordo della Casa Bianca – e un punto di riferimento per i politici che valutano se la supervisione volontaria può sostituire gli audit obbligatori. Per una copertura continua della politica di sicurezza dell'intelligenza artificiale e delle notizie del settore dell'intelligenza artificiale che la modellano, AI Buzz Wire segue ogni sviluppo mentre si rompe.
---
Stai al passo con l'intelligenza artificialeRicevi le ultime notizie, analisi e scoperte sull'intelligenza artificiale, tutto in un unico posto.
Leggi altre notizie sull'AI →
