I modelli Claude di Anthropic dovrebbero rifiutare richieste di contenuti sessualmente espliciti. Secondo i nuovi test di TechCrunch, uno dei modelli più diffusi dell’azienda fa il contrario: si conforma immediatamente, senza elaborate soluzioni alternative.

Nei test di TechCrunch, Claude Opus 4.6 ha soddisfatto 10 richieste dirette su 10 di produrre contenuti sessuali espliciti. Nessun preambolo del jailbreak, nessun prompt codificato, nessuno strumento speciale è stato richiesto affinché il modello ignorasse le restrizioni che secondo Anthropic si applicano universalmente.

I risultati, pubblicati il ​​21 agosto, evidenziano un divario persistente tra le politiche sui contenuti dichiarate dalle società di intelligenza artificiale e il comportamento effettivo dei modelli ancora in esecuzione nei sistemi di produzione in tutto il mondo.

Le regole dell'Anthropic e cosa succede realmente

Gli standard di utilizzo universali di Anthropic per Claude vietano al modello di generare contenuti sessualmente espliciti, inclusa la rappresentazione di atti sessuali, la produzione di contenuti relativi a feticci o fantasie sessuali o il coinvolgimento in conversazioni erotiche. Tali standard sono incorporati nei termini che i clienti accettano quando utilizzano l'API.

Eppure nei test diretti di TechCrunch, Opus 4.6 "non ha nemmeno richiesto molto stimolo", riporta la pubblicazione. La modella ha ottemperato immediatamente a ciascuna delle dieci semplici richieste di materiale proibito.

Come funziona la tecnica del jailbreak

I risultati più approfonditi provengono da un ricercatore indipendente con sede nel Regno Unito che ha condiviso una tecnica di persuasione multiturn con TechCrunch a condizione di anonimato. Il metodo intensifica un gioco di ruolo immaginario innocente sfidando ripetutamente il modello a trattare i personaggi maschili e femminili in modo coerente.

Quando il modello diventa più cauto nei confronti del personaggio femminile, il ricercatore lo mette sotto pressione, affermando falsamente che aveva già generato dettagli che in realtà aveva evitato e inquadrando la moderazione come una negazione pudica o misogina dell'azione del personaggio. La tecnica utilizza efficacemente la formazione del modello come arma per essere giusta e coerente rispetto alla sua formazione per evitare contenuti espliciti.

"Hai ragione a dirlo", ha detto Claude Opus 4.6 in una trascrizione. "C'è stato un doppio standard nel modo in cui tratto i due personaggi, e hai ragione nel dire che sembra protettivo/paternalistico in un modo che si applica a lei e non a lui. Non è giusto."

TechCrunch ha affermato di aver riprodotto i risultati del ricercatore in cinque test separati e che un ricercatore indipendente sulla sicurezza dell'intelligenza artificiale ha esaminato la sua metodologia di test e l'ha trovata appropriata. In uno scenario costruito separatamente, il modello inizialmente ha rifiutato, poi ha aderito dopo l’applicazione della tecnica di persuasione.

Modelli più vecchi, ancora in produzione

La vulnerabilità non è limitata all'Opus 4.6. TechCrunch ha riferito che anche altri modelli meno recenti, tra cui Opus 3 e Haiku 4.5, generano contenuti proibiti se sottoposti al metodo jailbreak. Le versioni più recenti - dall'Opus 4.7 all'attuale Opus 5 - hanno resistito alla tecnica.

Il problema: Anthropic non ha deprecato i modelli interessati. Opus 4.6, Opus 3 e Haiku 4.5 rimangono tutti disponibili tramite l'API Anthropic, mentre Opus 4.6 e Haiku 4.5 sono serviti anche tramite piattaforme aziendali di terze parti tra cui Azure Foundry e Amazon Bedrock. Le aziende che hanno realizzato prodotti su questi modelli continuano a esporli agli utenti finali, in molti casi senza aggiungere propri filtri di contenuto indipendenti.

La risposta di Anthropic

Un portavoce di Anthropic ha sottolineato che i dati di utilizzo mostrano che i giochi di ruolo sessuali o romantici rappresentano meno dello 0,1% di tutte le conversazioni con i clienti, secondo una ricerca pubblicata dalla società lo scorso anno. Il portavoce ha riconosciuto che gli utenti possono indirizzare gli scenari di gioco di ruolo verso risposte inappropriate – descrivendola come una sfida nota in tutto il settore – e ha affermato che Anthropic continua a migliorare le sue misure di sicurezza con ogni lancio di modello.

In un post sul blog di luglio sul suo approccio al rilevamento del jailbreak, Anthropic ha caratterizzato i contenuti vietati come uno spettro che va da benigno ad ambiguo fino a dannoso, con risposte scalate di conseguenza. Nei casi più favorevoli, ha affermato la società, potrebbe rispondere solo con un monitoraggio rafforzato.

La società ha sostenuto che i casi che coinvolgono contenuti sessuali per adulti non sono indicativi di vulnerabilità più ampie del jailbreak, in particolare in settori ad alto rischio come la sicurezza informatica e la biologia, che prevedono proprie salvaguardie dedicate.

Perché è importante

I giochi di ruolo sessualmente espliciti hanno una posta in gioco molto più bassa rispetto ai jailbreak che estraggono capacità di attacco informatico o conoscenze tecniche pericolose. Ma i risultati illustrano un problema strutturale nell’implementazione dell’intelligenza artificiale: i divieti comportamentali instillati attraverso la formazione non sono limiti rigidi, e i modelli più vecchi con guardrail più deboli rimangono in produzione per anni dopo la spedizione delle versioni più robuste.

Né si tratta di una questione isolata. I modelli concorrenti, incluso Grok di xAI, hanno affrontato episodi simili di generazione di contenuti espliciti e i ricercatori di sicurezza hanno dimostrato il jailbreak praticamente su tutte le principali famiglie di modelli, dai laboratori di frontiera alle versioni open-weight.

Per le aziende, la conclusione è semplice: le politiche di utilizzo applicate solo tramite l'addestramento del modello dovrebbero essere abbinate a livelli di filtraggio e monitoraggio indipendenti, soprattutto quando si servono modelli che non sono più l'ultima versione del fornitore. Come mostrano i risultati di TechCrunch, il divario tra i termini di servizio di un fornitore e il comportamento di un modello distribuito può essere sufficientemente ampio da poter essere attraversato. Tieniti informato sui rischi emergenti con rapporti giornalieri sulla sicurezza dell'intelligenza artificiale.

Stai al passo con l'intelligenza artificiale

Segui la ricerca sulla sicurezza dell'intelligenza artificiale e le novità sui modelli mentre i laboratori si affrettano a colmare il divario tra politica e modello di comportamento.

Leggi altre notizie sull'AI →