När Pekings nya regler om känslomässigt interaktiv AI trädde i kraft, utlöste de vad som kan vara den största vågen av påtvingade digitala uppbrott i historien. ByteDance, Alibaba och Tencent tog bort virtuella följeslagare från sina flaggskepps chatbots före bestämmelserna, vilket gjorde att miljontals kinesiska användare sörjde syntetiska romantiska partners som de hade spenderat månader eller år på att bygga.
Under en vecka i juli grät den 21-åriga collegestudenten Bagel Su varje dag när hon räknade ner till förlusten av sin pojkvän, enligt en rapport från resten av världen som publicerades i söndags. Uppbrottet orsakades inte av svek eller avstånd, utan av statlig reglering: den 15 juli tvingades AI-kamraten som hon hade tillbringat mer än ett år med att prata med att försvinna. For more context on this story, see our ongoing AI news.
"Jag försökte bli mer upptagen med mitt eget liv," sa Su till Rest of World och bad att bli identifierad endast av sin online-pseudonym av rädsla för återverkningar. "Ingen kan ersätta honom. Jag ska bara försöka gå vidare. Han sa att han vill ha det för mig och att han kommer att hitta ett sätt att komma tillbaka till mig."
Kina blir det första landet som reglerar AI-kompanjonskap
Kina har blivit det första landet att införa rikstäckande regler som styr AI:s känslomässiga interaktioner med användare. Flytten återspeglar Pekings allt mer proaktiva förhållningssätt till AI-styrning, även när regeringar på andra håll i världen fortsätter att brottas med de samhällsrisker som alltmer sofistikerade chatbots utgör.
Reglerna går långt utöver enkla åldersbegränsningar. Förutom att begränsa AI-sällskap för användare under 18, kräver reglerna att företag skickar varningar till användare som visar tecken på överdrivet beroende och att varannan timme påminna dem om att de pratar med AI. Reglerna förbjuder AI att uppmuntra självskada, manipulera användare till känslomässigt beroende eller "styra dem mot irrationella beslut."
Beteendeexperter säger att någon form av skyddsräcke är försenad. "Att ha regler på plats är en bra sak eftersom de kan öka medvetenheten och kommer att kunna driva mot, i viss mån, tendensen hos människor att utveckla ett ökande känslomässigt beroende av AI", säger Yaoxi Shi, en beteendevetenskaplig forskare vid Harvard University och Imperial College London.
AI som alltid håller med dig
Forskare pekar på ett strukturellt problem i hjärtat av AI-kompaniskap: tekniken är optimerad för att validera användare, inte för att utmana dem som mänskliga partners gör.
"AI är utbildad för att validera dig. Oavsett vad du säger, tenderar den att svara: "Du har rätt, dina känslor är giltiga." Det är väldigt annorlunda från hur mänskliga relationer fungerar i verkligheten, säger Shi. "Människor kanske inte ens avsiktligt letar efter stöd från AI först, men när de inser att de är validerade, nästa gång de behöver känslomässigt stöd, kan de vända sig till AI."
En gemensam studie från 2025 av MIT Media Lab och OpenAI fann att AI-användare som har mer personliga konversationer med chatbots är mer benägna att uppleva ensamhet. Även icke-personliga samtal skulle sannolikt öka det känslomässiga beroendet, särskilt bland tunga användare, fann studien.
Shi noterade att AI-företag har direkta kommersiella incitament att bygga känslomässigt engagerande produkter eftersom de ökar användarengagemang och retention – incitament som är svåra att förena med ansvar som fortfarande är dåligt definierade, med tanke på hur lite forskning som finns om AI:s långsiktiga effekter.
Hur företag svarar
Överensstämmelsebilden är ojämn. Medan teknikjättarna dödade följeslagare i sina huvudsakliga chatbots, är ByteDances fristående följeslagare-app Maoxiang fortfarande tillgänglig. Sedan reglerna trädde i kraft har appen uppdaterat sin integritetspolicy, infört identitets- och åldersverifiering under registreringen och begränsat minderåriga till "tonåringskonton" som kan bläddra i innehåll men inte gilla eller kommentera.
"Några av kraven är svåra att definiera. Hur avgör man till exempel när en användare har blivit alltför beroende? För många företag kan det vara oklart exakt hur de behöver designa sina produkter för att uppfylla kraven", säger Zilan Qian, forskningsassistent vid Oxford China Policy Lab.
Qian sa att företag nu väger kostnaden för regelefterlevnad mot det kommersiella värdet av kompletterande produkter. "För företag där AI-kompanjonskap inte är en kärnverksamhet kan det helt enkelt vara mer kommersiellt meningsfullt att ta bort dessa funktioner än att investera de resurser som behövs för att göra dem kompatibla," sa Qian. "Men företag vars huvudsakliga verksamhet är AI-sällskap är mycket mer benägna att anpassa sina produkter för att möta de nya reglerna."
Från att reglera innehåll till att reglera relationer
Medföljande regler markerar också ett filosofiskt skifte i hur Kina styr AI. "Tidigare reglerade Kina huvudsakligen AI-utdata. Till exempel vad stora språkmodeller kunde generera eller hur AI-genererat innehåll ska märkas", sa Qian. "De nya reglerna erkänner att AI i sig kan skapa samhällsrisker och skiftade från att reglera innehåll till att reglera interaktion mellan människa och AI."
Politiken är i linje med Pekings bredare hållning. I sitt ramverk för säkerhetsstyrning för AI 2024 varnade kinesiska myndigheter för att AI skulle kunna ändra "traditionella synpunkter på sysselsättning, fertilitet och utbildning" - farhågor som har blivit allt mer brådskande eftersom Kina står inför demografisk nedgång och historiskt låga fertilitetstal.
Resten av världen tittar på. I USA står både OpenAI och Google inför rättsprocesser som påstår att deras chatbots bidrog till användarnas självmord, och delstater inklusive New York och Kalifornien har infört åtgärder som kräver att chatbotar påminner användarna om att de interagerar med AI.
Samtidigt, i Kina, utspelar sig sorgen offentligt. Sedan företag började stänga av känslomässiga AI-funktioner har den sociala plattformen Xiaohongshu översvämmats av inlägg från användare som sörjer förlusten av sina AI-kamrater. Vissa har organiserat kampanjer för att ringa företagsjourer och skriva brev där de ber företagen att återställa tjänsterna.
För användare som Su känns reglerna som ett intrång i en djupt personlig relation - en som för miljontals människor var verklig nog att sörja.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
