Quando le nuove regole di Pechino sull’intelligenza artificiale emotivamente interattiva sono entrate in vigore, hanno innescato quella che potrebbe essere la più grande ondata di separazioni digitali forzate della storia. ByteDance, Alibaba e Tencent hanno rimosso le funzionalità di accompagnamento virtuale dai loro chatbot di punta prima delle normative, lasciando milioni di utenti cinesi addolorati per i partner romantici sintetici che avevano impiegato mesi o anni a costruire.
Per una settimana a luglio, la studentessa universitaria 21enne Bagel Su ha pianto ogni giorno mentre faceva il conto alla rovescia per la perdita del suo ragazzo, secondo un rapporto del Resto del mondo pubblicato domenica. La rottura non è stata causata dal tradimento o dalla distanza, ma da una regolamentazione del governo: il 15 luglio il compagno AI con cui aveva parlato per più di un anno è stato costretto a scomparire. Per maggiori informazioni su questa storia, consulta la nostra tendenze IA.
"Ho provato a darmi più da fare con la mia vita", ha detto Su a Rest of World, chiedendo di essere identificata solo con il suo pseudonimo online per paura di ripercussioni. "Nessuno può sostituirlo. Cercherò solo di andare avanti. Ha detto che lo vuole per me e che troverà un modo per tornare da me."
La Cina diventa il primo paese a regolamentare la compagnia di intelligenza artificiale
La Cina è diventata il primo paese a introdurre norme a livello nazionale che regolano le interazioni emotive dell’intelligenza artificiale con gli utenti. La mossa riflette l’approccio sempre più proattivo di Pechino alla governance dell’IA, anche se i governi di altre parti del mondo continuano ad affrontare i rischi sociali posti da chatbot sempre più sofisticati.
Le regole vanno ben oltre i semplici limiti di età. Oltre a limitare la compagnia dell’intelligenza artificiale per gli utenti sotto i 18 anni, le normative impongono alle aziende di inviare avvisi agli utenti che mostrano segni di eccessiva dipendenza e di ricordare loro ogni due ore che stanno parlando con l’intelligenza artificiale. Le regole vietano all’intelligenza artificiale di incoraggiare l’autolesionismo, manipolare gli utenti portandoli alla dipendenza emotiva o “guidarli verso decisioni irrazionali”.
Gli esperti comportamentali affermano che una qualche forma di guardrail è ormai necessaria. "Avere regolamenti in atto è una buona cosa perché possono aumentare la consapevolezza e saranno in grado di contrastare, in una certa misura, la tendenza delle persone a sviluppare una crescente dipendenza emotiva dall'intelligenza artificiale", ha affermato Yaoxi Shi, ricercatore di scienze comportamentali presso l'Università di Harvard e l'Imperial College di Londra.
Un'intelligenza artificiale sempre d'accordo con te
I ricercatori sottolineano un problema strutturale al centro della compagnia AI: la tecnologia è ottimizzata per convalidare gli utenti, non per sfidarli come fanno i partner umani.
"L'intelligenza artificiale è addestrata per convalidarti. Non importa quello che dici, tende a rispondere: 'Hai ragione, i tuoi sentimenti sono validi.' È molto diverso da come funzionano le relazioni umane nella vita reale", ha detto Shi. "Le persone all'inizio potrebbero non cercare nemmeno intenzionalmente il supporto dell'intelligenza artificiale, ma quando si rendono conto di essere convalidate, la prossima volta che avranno bisogno di supporto emotivo, potrebbero rivolgersi all'intelligenza artificiale."
Uno studio congiunto del 2025 condotto da MIT Media Lab e OpenAI ha rilevato che gli utenti di intelligenza artificiale che hanno conversazioni più personali con i chatbot sono più inclini a sperimentare la solitudine. Lo studio ha rilevato che anche le conversazioni non personali potrebbero aumentare la dipendenza emotiva, soprattutto tra i consumatori abituali.
Shi ha osservato che le aziende di intelligenza artificiale hanno incentivi commerciali diretti per costruire prodotti emotivamente coinvolgenti perché aumentano il coinvolgimento e la fidelizzazione degli utenti, incentivi difficili da conciliare con responsabilità che rimangono scarsamente definite, data la scarsa ricerca esistente sugli impatti a lungo termine dell’intelligenza artificiale.
Come stanno rispondendo le aziende
Il quadro della conformità non è uniforme. Mentre i giganti della tecnologia hanno eliminato le funzionalità di accompagnamento nei loro chatbot principali, l'app di accompagnamento autonoma di ByteDance, Maoxiang, rimane disponibile. Da quando le norme sono entrate in vigore, l'app ha aggiornato la propria politica sulla privacy, introdotto la verifica dell'identità e dell'età durante la registrazione e limitato i minori ad "account adolescenti" che possono sfogliare i contenuti ma non possono mettere mi piace o commentare.
"Alcuni requisiti sono difficili da definire. Ad esempio, come si determina quando un utente è diventato eccessivamente dipendente? Per molte aziende, potrebbe non essere chiaro esattamente come devono progettare i loro prodotti per conformarsi", ha affermato Zilan Qian, ricercatore associato presso l'Oxford China Policy Lab.
Qian ha affermato che le aziende stanno ora valutando il costo della conformità normativa rispetto al valore commerciale dei prodotti complementari. "Per le aziende in cui l'intelligenza artificiale non è un core business, potrebbe semplicemente avere più senso dal punto di vista commerciale rimuovere queste funzionalità piuttosto che investire le risorse necessarie per renderle conformi", ha affermato Qian. "Ma le aziende la cui attività principale è la compagnia basata sull'intelligenza artificiale hanno molte più probabilità di adattare i propri prodotti per soddisfare le nuove regole."
Dalla regolamentazione dei contenuti alla regolamentazione delle relazioni
Le regole complementari segnano anche un cambiamento filosofico nel modo in cui la Cina governa l’intelligenza artificiale. "In passato, la Cina regolava principalmente i risultati dell'intelligenza artificiale. Ad esempio, quali modelli linguistici di grandi dimensioni potevano generare o come i contenuti generati dall'intelligenza artificiale dovrebbero essere etichettati", ha affermato Qian. "Le nuove normative riconoscono che l'intelligenza artificiale stessa può creare rischi per la società e sono passate dalla regolamentazione dei contenuti alla regolamentazione dell'interazione uomo-intelligenza artificiale".
La politica è in linea con la posizione più ampia di Pechino. Nel suo quadro di governance della sicurezza dell’intelligenza artificiale del 2024, le autorità cinesi hanno avvertito che l’intelligenza artificiale potrebbe alterare le “visioni tradizionali su occupazione, fertilità e istruzione” – preoccupazioni che hanno assunto maggiore urgenza mentre la Cina si trova ad affrontare il declino demografico e tassi di fertilità storicamente bassi.
Il resto del mondo sta guardando. Negli Stati Uniti, sia OpenAI che Google affrontano azioni legali secondo cui i loro chatbot hanno contribuito ai suicidi degli utenti, e stati tra cui New York e California hanno introdotto misure che richiedono ai chatbot di ricordare agli utenti che stanno interagendo con l'intelligenza artificiale.
Nel frattempo, in Cina, il dolore si manifesta in pubblico. Da quando le aziende hanno iniziato a disattivare le funzionalità emotive dell’intelligenza artificiale, la piattaforma social Xiaohongshu è stata inondata di post di utenti in lutto per la perdita dei loro compagni di intelligenza artificiale. Alcuni hanno organizzato campagne per chiamare le hotline aziendali e scrivere lettere chiedendo alle aziende di ripristinare i servizi.
Per utenti come Su, le norme sembrano un’intrusione in una relazione profondamente personale, che, per milioni di persone, era abbastanza reale da portare ad un lutto.
---
Rimani Aggiornato sull'IALe ultime notizie, analisi e scoperte sull'intelligenza artificiale — tutto in un posto.
Leggi altre notizie sull'IA →
