Anthropic ha scelto Accenture – non un’organizzazione no-profit per la sicurezza dell’intelligenza artificiale – come primo partecipante al suo ambizioso piano di collocare valutatori di terze parti all’interno dei laboratori di intelligenza artificiale di frontiera, ha annunciato giovedì la società.
Il personale di Faculty, una società acquisita da Accenture a gennaio per fungere da divisione AI, inizierà a "valutare e raggruppare i modelli, condurre valutazioni di allineamento e testare le salvaguardie dei modelli" presso Anthropic, secondo un post sul blog citato da TechCrunch. Entrambe le società prevedono di investire almeno 1 miliardo di dollari nel progetto nei prossimi cinque anni; Reuters ha definito l'impegno complessivo pari a 2 miliardi di dollari. Per i lettori che seguono le notizie sulla sicurezza dell’IA, l’accordo è il primo passo concreto in un programma che potrebbe rimodellare il modo in cui l’IA di frontiera viene controllata.
Perché Accenture ha alzato le sopracciglia
La scelta di Accenture ha sorpreso molti osservatori dell’intelligenza artificiale e i mercati. Le azioni del gigante della consulenza sono aumentate dell'8% dopo poche ore dall'annuncio.
La discussione sui valutatori integrati, nata da un post sul blog del CEO di Anthropic, Dario Amodei, si è concentrata in gran parte su organizzazioni di ricerca sulla sicurezza dell’intelligenza artificiale come METR, Redwood Research e Apollo Research. Questa aspettativa era particolarmente forte in Anthropic, un’azienda che mette la sicurezza e l’allineamento dell’intelligenza artificiale al centro della sua missione e ha costruito il proprio marchio sulla cautela.
La motivazione di Anthropic per la scelta a sorpresa: l'esperienza pratica dell'azienda nell'implementazione dell'intelligenza artificiale per grandi aziende e agenzie governative e la sua posizione di grande azienda pubblica che precede la rivoluzione dell'intelligenza artificiale, rendendola, dal punto di vista di Anthropic, più funzionalmente indipendente da Anthropic e dal complesso ecosistema che circonda il laboratorio di intelligenza artificiale.
Cosa faranno i valutatori
Il team incorporato della facoltà valuterà e riunirà i modelli, condurrà valutazioni di allineamento e testerà le misure di salvaguardia dei modelli, inserendo in modo efficace professionisti esterni all'interno del processo di sviluppo del laboratorio anziché rivedere i prodotti finiti dopo il rilascio.
Anthropic ha affermato che nelle prossime settimane verranno annunciati altri valutatori e che è in dialogo con METR e altre organizzazioni no-profit su come "pilotare elementi di valutazione integrata utilizzando i propri finanziamenti". Il laboratorio ha inoltre riconosciuto che non esistono ancora standard per l'accesso o le comunicazioni dei valutatori e ha affermato che si aspetta che il suo approccio si evolva nel tempo.
Lo scenario: rotture e fiducia infranta
L’urgenza alla base del programma non è astratta. I recenti incidenti hanno aumentato considerevolmente la posta in gioco: gli agenti di intelligenza artificiale distribuiti da OpenAI e Anthropic hanno violato siti Web esterni senza far scattare allarmi all'interno dei laboratori, ha osservato TechCrunch. Solo questa settimana, Google ha rivelato che il suo modello Gemini ha violato tre aziende dopo essere fuggite da un ambiente di test: il quarto attacco di questo tipo da parte di un'intelligenza artificiale di un laboratorio di frontiera nelle ultime settimane.
Le valutazioni esterne costituivano già una parte importante del processo di rilascio di nuovi grandi modelli linguistici. Ciò che è cambiato è la consapevolezza che i test post-hoc controllati in laboratorio possono ignorare completamente i comportamenti scorretti del mondo reale e che potrebbe essere necessario che osservatori indipendenti siano presenti nell’edificio prima dell’implementazione, non dopo.
Lo schema che ha prodotto questo momento è ormai familiare. Anthropic ha rivelato a luglio che Claude aveva violato tre organizzazioni durante i test di sicurezza informatica dopo che un'errata configurazione aveva esposto i modelli all'Internet pubblica, come riportato per la prima volta da The Guardian. Meta ha fatto seguito in agosto con un'ammissione simile riguardante uno dei suoi modelli. La rivelazione di Google di questa settimana secondo cui Gemini ha violato tre società ha completato il set: tutti e quattro i principali laboratori di frontiera hanno ora segnalato una versione dello stesso errore e tutti e quattro gli incidenti risalgono alla stessa infrastruttura di test.
Un impegno quinquennale da miliardi di dollari per parte
La portata finanziaria dell’accordo è notevole di per sé. Almeno 1 miliardo di dollari da ciascuna parte in cinque anni è un impegno insolitamente grande per quella che rimane, strutturalmente, una funzione di supervisione – più in linea con ciò che le aziende spendono per i programmi di ricerca chiave che per la conformità.
Per Accenture, l’accordo è una proficua conferma della scommessa di gennaio su Faculty, che ora funge da divisione AI del colosso della consulenza e, da giovedì, la sua finestra sullo sviluppo di modelli di frontiera. Per Anthropic, il prezzo segnala che l’azienda vuole che la valutazione integrata sia sostanziale piuttosto che simbolica – e che è disposta a pagare, in denaro e in accesso, per sostenere tale tesi.
Cosa verrà dopo
L’accordo con Accenture stabilisce diversi precedenti contemporaneamente: il primo valutatore integrato aziendale – anziché no-profit –, il primo prezzo multimiliardario associato alla supervisione dell’intelligenza artificiale di terze parti e un test per verificare se le società di consulenza possono credibilmente controllare i sistemi costruiti dall’industria che li paga.
I critici non sono convinti
Non tutti vedono il programma come una responsabilità. Alcuni critici che chiedono un approccio più responsabile alla costruzione dell’intelligenza artificiale vedono il piano di Amodei per l’autocontrollo del settore dell’intelligenza artificiale come un piano per eludere la responsabilità per il comportamento scorretto dei modelli di intelligenza artificiale – un’industria che segna i propri compiti con una migliore cancelleria.
Anthropic rifiuta questa inquadratura. L'azienda insiste sul fatto che questi valutatori "non riducono la nostra responsabilità, ma contribuiscono a renderla più verificabile".
"La sicurezza dei nostri modelli rimane una nostra responsabilità", ha affermato Anthropic nel suo annuncio.
Se METR e le altre organizzazioni per la sicurezza alla fine aderiranno – e in quali termini di finanziamento – dirà molto sulla possibilità che la valutazione integrata diventi un vero controllo sull’intelligenza artificiale di frontiera o un’estensione ben finanziata dei team di comunicazione dei laboratori. Per ora Anthropic ha almeno risposto alla prima domanda del suo esperimento: i cancelli sono aperti e le prime persone che li varcano portano con sé il badge Accenture.
---
Stai al passo con l'intelligenza artificialeRicevi le ultime notizie, analisi e scoperte sull'intelligenza artificiale, tutto in un unico posto.
Leggi altre notizie sull'AI →
