OpenAI ha implementato un sistema di controllo centralizzato chiamato Control Room in tutta la sua infrastruttura di ricerca, progettato per impedire ai carichi di lavoro dei modelli di intelligenza artificiale potenzialmente rischiosi di generare ulteriori risultati entro 35 secondi dalla decisione di intervenire. Come riportato da Interesting Engineering, il sistema collega i carichi di lavoro che alimentano la ricerca più avanzata dell’azienda – tra cui formazione sui modelli di agenti, valutazioni e lavori di elaborazione dati – a un servizio centrale che controlla se possono continuare a funzionare.
L'azienda ha annunciato pubblicamente il sistema il 9 novembre, scrivendo: "Abbiamo creato Control Room, un sistema centrale per tenere traccia dei carichi di lavoro dei modelli nella nostra infrastruttura di ricerca e fermarli rapidamente quando sorgono problemi di sicurezza. Collega ogni carico di lavoro di inferenza della ricerca, compreso il campionamento degli agenti per l'addestramento e la valutazione dei modelli, i dati..." Per maggiori informazioni su questa storia, consulta la nostra tendenze IA.
Il tempismo è notevole. Man mano che i modelli di intelligenza artificiale diventano più capaci e ricevono responsabilità più autonome, simili a quelle degli agenti, all’interno dei processi di formazione, il rischio che un modello si comporti in modi inaspettati durante la ricerca cresce con loro. Control Room è la risposta strutturale di OpenAI: non solo cercare i problemi, ma essere fisicamente in grado di eliminarli.
Come funziona la sala di controllo
La Control Room collega tre componenti principali: il carico di lavoro di ricerca, il motore di inferenza e il servizio centrale della Control Room. Un carico di lavoro, nella terminologia di OpenAI, è un lavoro di ricerca come un esperimento di apprendimento per rinforzo, una valutazione o un'attività di elaborazione dati ad alto volume. Ogni carico di lavoro di ricerca che esegue l'inferenza degli agenti deve essere associato a un caso di sicurezza approvato prima di poter essere eseguito.
Quando un ricercatore avvia un lavoro, il suo codice richiede un ID lavoro univoco dalla Control Room. Tale identificatore viene quindi allegato a ogni richiesta che il carico di lavoro invia ai motori di inferenza, i sistemi supportati da GPU che eseguono effettivamente i modelli e generano output.
Prima di soddisfare qualsiasi richiesta di inferenza, il motore verifica con la Control Room per confermare che il lavoro associato sia ancora autorizzato a essere eseguito. Se un ricercatore o un sistema di monitoraggio automatizzato ha ordinato alla Control Room di interrompere il lavoro, il servizio nega la successiva richiesta di inferenza e il motore si rifiuta di generare ulteriore output del modello per quel carico di lavoro.
Arresto dell'output, non necessariamente del lavoro
Spicca un dettaglio progettuale: l'interruzione di un carico di lavoro non lo termina necessariamente. Il processo di ricerca stesso può continuare a funzionare – il suo codice continua ad essere eseguito – ma non può più ottenere ulteriori risultati del modello attraverso i motori di inferenza autorizzati. Per un corso di addestramento che si comporta male, questo è sufficiente: senza accesso a più generazioni di modelli, non può fare ulteriori progressi.
Questo approccio evita inoltre di fare affidamento sul codice del carico di lavoro dei ricercatori per implementare correttamente i controlli di sicurezza. OpenAI colloca invece il meccanismo di autorizzazione critico nel livello di inferenza, che ha meno percorsi di codice gestiti in modo più centralizzato. In altre parole, il kill switch risiede nell’infrastruttura che l’azienda controlla completamente, non nel codice dell’esperimento scritto dai singoli team.
Progettato per fallire in chiusura
La Control Room è costruita per rimanere efficiente anche in caso di malfunzionamento di altri componenti. Il suo meccanismo di chiusura in caso di guasto blocca le richieste di inferenza se il servizio Control Room stesso diventa non disponibile, il che significa che un guasto tecnico, un tentativo di disabilitazione deliberato o una potenziale manomissione del servizio centrale farebbero sì che i motori di inferenza neghino tutte le richieste fino a quando il sistema non torna al normale funzionamento.
La cifra di 35 secondi rappresenta il ritardo massimo tra la ricezione di un'istruzione di arresto e l'impedimento di ulteriori progressi. Il ritardo deriva da un livello di memorizzazione nella cache utilizzato per gestire l’enorme volume di richieste di autorizzazione all’inferenza e OpenAI afferma che sta lavorando per ridurre l’intervallo a zero.
Monitor automatizzati osservano ogni corsa alla frontiera
Il kill switch si accoppia con il monitoraggio automatizzato. Secondo OpenAI, tutti i suoi lavori di apprendimento per rinforzo di frontiera vengono eseguiti con un monitor basato su modello separato che esamina il comportamento del modello e genera avvisi quando rileva potenziali problemi. Se un avviso richiede un intervento, il sistema di monitoraggio può istruire la Control Room a terminare il lavoro associato, che quindi blocca le successive richieste di inferenza su qualsiasi modello o motore utilizzato dal carico di lavoro.
L’azienda ha citato un recente incidente relativo al DNS – in cui un monitor ha rilevato un agente che tentava di raggiungere un chatbot esterno – come esempio del motivo per cui tali misure di salvaguardia sono importanti. In quel caso, l’anomalia è stata rilevata da una supervisione automatizzata anziché da un revisore umano.
Parte di una più ampia spinta alla sicurezza
OpenAI rileva che la Control Room è già implementata nella sua infrastruttura di ricerca, dove la necessità di intervento è maggiore. La sua infrastruttura di model-serving esterna, che alimenta prodotti come ChatGPT, è più centralizzata e dispone già di meccanismi operativi per eliminare le implementazioni dei modelli quando necessario: la Control Room colma il divario sul lato della ricerca.
La società afferma che continuerà a rafforzare i propri sistemi di monitoraggio e le salvaguardie contro comportamenti disallineati e violazioni della sicurezza come parte del suo approccio più ampio per garantire lo sviluppo di modelli di frontiera.
Per un settore sempre più definito da agenti autonomi, la Control Room è un segnale di dove si stanno dirigendo i laboratori di frontiera: meccanismi di sicurezza che presuppongono che i modelli a volte si comportino male su larga scala e che rendono il loro arresto una garanzia infrastrutturale piuttosto che una speranza.
---
Rimani Aggiornato sull'IALe ultime notizie, analisi e scoperte sull'intelligenza artificiale — tutto in un posto.
Leggi altre notizie sull'IA →
