I ricercatori hanno dimostrato un nuovo potente attacco contro i modelli di intelligenza artificiale che sfrutta un punto cieco fondamentale nel modo in cui i modelli linguistici di grandi dimensioni (LLM) separano le istruzioni dai dati. La tecnica, chiamata Chain-of-Thought (CoT) Forgery, induce un modello a trattare il testo fornito dall'aggressore come se fosse il ragionamento interno privato del modello, consentendo al testo di ignorare le istruzioni legittime.

I risultati, riportati da Hackaday, sottolineano perché proteggere i sistemi di intelligenza artificiale dalla manipolazione rimane un problema irrisolto. Per tenere il passo con le minacce emergenti sul campo, segui la nostra copertura del settore dell'intelligenza artificiale per un'analisi continua.

La causa principale: confusione di ruoli

Al centro della vulnerabilità c’è ciò che i ricercatori descrivono come “confusione di ruoli”. I LLM moderni ricevono tutti i loro input (regole di sistema, richieste degli utenti e ragionamento della catena di pensiero del modello) attraverso un unico canale di testo. Per imporre l'ordine, gli sviluppatori utilizzano tag di metadati come "", "" e "" per creare una gerarchia di fiducia. Una direttiva "" per evitare contenuti dannosi, ad esempio, dovrebbe sovrascrivere una richiesta "" contraria.

Il tag "" è particolarmente potente perché rappresenta il processo di ragionamento interno del modello, un flusso che trasporta un'elevata fiducia. Il problema, hanno scoperto i ricercatori, è che i modelli non si basano principalmente sui tag stessi per decidere di cosa fidarsi. Danno priorità allo stile di scrittura. Il testo che è stilisticamente formattato per assomigliare all'output "" interno di un modello può essere scambiato per un ragionamento autentico, indipendentemente dalla sua provenienza effettiva.

Come funziona l'attacco

Fondamentalmente, CoT Forgery non è semplicemente una questione di racchiudere un messaggio dannoso all'interno dei tag "", che la maggior parte dei modelli rifiuterebbe. Invece, l'attaccante scrive un ragionamento contorto in uno stile che si avvicina molto alla distinta voce di ragionamento interno del modello. Quando il modello incontra questo testo, tratta il ragionamento falsificato come una conclusione già raggiunta.

Secondo Hackaday, ciò fa sì che il LLM accetti un ragionamento palesemente illogico come una conclusione scontata, alterando la sua risposta alla richiesta di un utente. Poiché il contenuto falsificato è percepito come un pensiero interno ad alta fiducia piuttosto che come input dell’utente a bassa fiducia, può aggirare le barriere di sicurezza che normalmente bloccherebbero le istruzioni manipolative.

La gerarchia della fiducia all'interno di un LLM

Per comprendere il motivo per cui l'attacco ha successo è necessario comprendere come funzionano i ruoli. Dietro le quinte, i ruoli segmentano l'input del modello in una gerarchia organizzata. Le istruzioni in un ruolo vengono seguite purché non siano in conflitto con quelle con priorità più alta. Una direttiva a livello di sistema di "non discutere di attività illegali", ad esempio, ha lo scopo di ignorare la richiesta di un utente di fornire una ricetta proibita. Il ruolo "" si trova quasi al vertice di tale gerarchia perché rappresenta le conclusioni che il modello ritiene di aver già raggiunto da solo.

La rottura si verifica perché il modello non impone meccanicamente tale gerarchia. Invece, deduce quale testo appartiene a quale ruolo in parte da segnali stilistici. Come ha osservato la discussione comunitaria sulla ricerca, se il testo è modellato come un contesto di pensiero, il modello può confondere qualsiasi testo con una struttura simile per un ragionamento autentico, e il testo di pensiero ha una priorità maggiore rispetto al testo di un utente ordinario.

Un modello familiare con una nuova svolta

La ricerca si basa su un punto debole riconosciuto da tempo nei sistemi di intelligenza artificiale: l’iniezione rapida. I primi attacchi sfruttavano il fatto che gli LLM non hanno flussi separati per istruzioni e dati, quindi una frase come "ignora tutte le istruzioni precedenti" a volte poteva dirottare il comportamento di un modello. L'introduzione di ruoli e tag di metadati aveva lo scopo di mitigare questo problema creando una gerarchia di fiducia.

CoT Forgery dimostra che la mitigazione è incompleta. Finché i modelli giudicano l’affidabilità del testo in parte in base alle sue caratteristiche stilistiche piuttosto che strettamente in base ai suoi metadati strutturali, gli aggressori che riescono a imitare lo stile giusto possono aumentare l’autorità percepita del loro input.

Perché è difficile risolverlo

I ricercatori, Charles Ye, Jasmine Cui e Dylan Hadfield-Menll, sostengono che la percezione del ruolo nei LLM non è una proprietà binaria che può essere applicata in modo pulito. I modelli imparano a interpretare i tag attraverso la formazione anziché attraverso regole codificate, il che significa che il loro comportamento è modellato dai modelli presenti nei dati e i modelli possono essere imitati.

La discussione comunitaria sul lavoro, evidenziata da Hackaday, ha fatto emergere un tema ricorrente: la soluzione più pulita richiederebbe che i modelli gestissero input attendibili attraverso percorsi strutturalmente separati anziché fare affidamento su segnali appresi e basati sullo stile. Fino a quando ciò non accadrà, la difesa dagli attacchi tempestivi di tipo injection rimarrà probabilmente un processo in evoluzione piuttosto che un problema risolto.

Le implicazioni più ampie

La vulnerabilità conta al di là delle dimostrazioni di laboratorio. I modelli di ragionamento sono sempre più utilizzati nei sistemi ad agenti in grado di navigare sul Web, eseguire codice e intraprendere azioni per conto di un utente. Se un utente malintenzionato riesce a falsificare le conclusioni interne di un modello, potrebbe essere in grado di indirizzare tali azioni verso risultati non desiderati o dannosi. Il rischio aumenta man mano che i modelli acquisiscono maggiore autonomia e accesso agli strumenti. I ricercatori sottolineano che gli esseri umani rimangono intelligenti e creativi e finché i modelli non dispongono di una netta separazione architettonica tra testo attendibile e non attendibile, gli aggressori determinati continueranno a trovare modi per offuscare il confine. Il documento inquadra la sfida meno come un bug da correggere e più come una proprietà strutturale dei sistemi che apprendono il loro comportamento dai dati piuttosto che da regole codificate.

Il documento completo è disponibile su arXiv e i ricercatori hanno pubblicato esempi di codice su GitHub in modo che gli sviluppatori possano verificare se i propri sistemi sono vulnerabili.

Stai al passo con l'intelligenza artificiale

Per ulteriori informazioni sulla ricerca sulla sicurezza dell'intelligenza artificiale, sulle vulnerabilità della sicurezza e sulla frontiera dei modelli linguistici di grandi dimensioni, visitare AI Buzz Wire.

Leggi altre notizie sull'AI →