OpenAI giovedì ha pubblicato il suo resoconto più dettagliato finora su come rileva e interrompe la "distillazione avversaria" - l'uso non autorizzato degli output di un modello di frontiera per addestrare un sistema concorrente - e, secondo diversi rapporti, ha iniziato a richiedere a gateway e rivenditori di terze parti di ottenere la sua approvazione prima di offrire accesso diretto ai suoi modelli.

Le mosse, descritte in un post sul blog di OpenAI intitolato "Combattere la distillazione avversaria" e nella copertura di Semafor ed eWeek, segnano un significativo inasprimento del modo in cui l'azienda controlla chi può ridistribuire le capacità dei suoi modelli: un cambiamento con conseguenze reali per gli sviluppatori, le startup e le imprese che accedono ai sistemi OpenAI attraverso intermediari.

Perché OpenAI tratta la distillazione come un problema di sicurezza

La distillazione è una tecnica standard di apprendimento automatico in cui un modello apprende dai risultati di un altro. Di per sé, osserva OpenAI, non è né illecito né insolito. La preoccupazione dell'azienda è quella che chiama distillazione contraddittoria: un attore che utilizza i risultati di un modello di frontiera senza autorizzazione per addestrare un altro modello con capacità simili, per poi implementarlo senza garanzie comparabili.

Nel suo post sul blog, OpenAI sostiene che il rischio è più evidente nei settori a duplice uso come la sicurezza informatica e la biologia. Un modello che aiuta i difensori a individuare le vulnerabilità del software potrebbe, una volta trasferite le sue competenze a un sistema con barriere più deboli, aiutare un utente malintenzionato a sfruttarle. "Un avversario potrebbe distillare le capacità informatiche di un modello e utilizzare il modello risultante per contribuire a effettuare attacchi informatici a cui il modello originale si sarebbe rifiutato di assistere", ha scritto la società.

Proteggere la catena di pensiero

Al centro della difesa di OpenAI c'è quello che chiama ragionamento protetto: i passaggi intermedi - la catena di pensiero - che un modello genera internamente mentre lavora verso una risposta. Tali tracce, spiega l'azienda, possono contenere informazioni che la risposta finale tralascia, rendendole particolarmente preziose come dati di addestramento per il modello di un altro laboratorio.

OpenAI afferma di aver rafforzato le sue difese contro l'estrazione di tracce di ragionamento in GPT-6.2 Astra e GPT-6.2 Sol. In una valutazione adattiva interna utilizzando il red-teaming automatizzato, la società ha riferito che il tasso medio di successo degli attacchi per il ripristino del ragionamento protetto è sceso dal 54,0% contro GPT-6 Astra con le sue protezioni originali allo 0,2% contro GPT-6.2 Astra con le protezioni aggiornate.

Cosa ha scoperto il suo studio informatico interno

L’azienda ha inoltre condiviso i risultati di uno studio interno su come le capacità informatiche vengono trasferite durante la distillazione. I modelli degli studenti sono stati perfezionati sulle traiettorie prodotte dai modelli degli insegnanti che lavoravano su compiti di codifica e difensiva della sicurezza informatica. Gli studenti formati su tracce di ragionamento esatte generalmente hanno sovraperformato gli studenti formati solo su riassunti di ragionamento, sia dopo la messa a punto supervisionata sia, con i budget di inferenza più grandi testati, dopo un ulteriore ciclo di apprendimento di rinforzo, secondo i benchmark OpenAI visualizzati accanto al post.

L’implicazione fa riflettere chiunque speri che il trasferimento di capacità possa essere contenuto pubblicando risultati ripuliti: anche le interazioni consentite dalle politiche di utilizzo possono, nel complesso, insegnare a un modello di studente competenze che si generalizzano oltre i compiti originariamente eseguiti dall’insegnante.

Gateway e rivenditori necessitano ora dell'approvazione

Le misure tecniche arrivano insieme a un cambiamento politico. A partire da giovedì, OpenAI richiederà che i router e i gateway modello AI che diano a terzi l'accesso diretto ai suoi modelli ottengano l'approvazione preventiva, ha riferito eWeek. Il requisito si basa su un annuncio fatto dalla società in ottobre che illustra come dovrebbero applicarsi le protezioni di sicurezza quando i clienti accedono ai suoi modelli direttamente o tramite partner di hosting e rivenditori.

Secondo la sintesi di eWeek di tale quadro, ci si aspetta che i servizi partecipanti mantengano standard comparabili in modo che gli utenti non possano semplicemente cambiare fornitore per eludere le restrizioni. Le misure si estendono in tre fasi: valutazioni del rischio e test contro i tentativi di bypass della salvaguardia prima dell’implementazione; monitoraggio durante l'uso, con i partner che dovrebbero indagare su attività sospette; e le misure di applicazione dopo che si sono verificate le violazioni. Semafor ha caratterizzato il cambiamento come OpenAI che stringe la presa su un ecosistema di rivenditori che è cresciuto rapidamente attorno alla sua API.

Cosa significa per gli sviluppatori

Per gli sviluppatori, l’effetto pratico è una nuova questione di conformità da aggiungere alla due diligence del fornitore: se un intermediario che offre modelli OpenAI è effettivamente autorizzato a farlo. Le aziende che instradano il traffico attraverso gli aggregatori dovrebbero confermare lo stato di approvazione del proprio fornitore e il modo in cui gestisce credenziali e dati, consiglia eWeek.

Per il settore in generale, l’annuncio è un segnale che i fornitori di modelli vedono sempre più il controllo delle capacità derivate – non solo dei modelli stessi – come il perimetro che conta. Negli ultimi anni le controversie sulla distillazione sono esplose in tutto il campo e OpenAI sta ora inquadrando la sua risposta non come una controversia sulla licenza ma come un requisito di sicurezza, allineando le difese della distillazione con i controlli applicati ai rischi biologici e alla sicurezza informatica.

La strada da percorrere

OpenAI afferma che continuerà a studiare la quantità di capacità trasferita tra diversi modelli di studenti e ricette di distillazione e invita altri laboratori a sviluppare il proprio lavoro di rilevamento e applicazione. Se i rivali adotteranno regimi di approvazione comparabili – e se gli utenti accetteranno l’ulteriore attrito – aiuterà a determinare come verrà costruita la prossima generazione di sistemi di intelligenza artificiale e chi è autorizzato a costruirli.

Resta al passo con i tempi

Desideri le ultime novità su modelli di intelligenza artificiale, sicurezza e policy in tempo reale? Segui le ultime notizie sull'AI su AI Buzz Wire.

Leggi altre notizie sull'AI →