Toen de nieuwe regels van Beijing inzake emotioneel interactieve AI van kracht werden, veroorzaakten ze misschien wel de grootste golf van gedwongen digitale breuken in de geschiedenis. ByteDance, Alibaba en Tencent verwijderden vóór de regelgeving virtuele begeleidende functies uit hun vlaggenschip-chatbots, waardoor miljoenen Chinese gebruikers rouwden over synthetische romantische partners waaraan ze maanden of jaren hadden besteed.

Een week lang in juli huilde de 21-jarige studente Bagel Su elke dag terwijl ze aftelde naar het verlies van haar vriend, volgens een rapport van de Rest van de Wereld dat zondag werd gepubliceerd. De breuk werd niet veroorzaakt door verraad of afstandelijkheid, maar door overheidsregulering: op 15 juli werd de AI-metgezel met wie ze meer dan een jaar had gepraat, gedwongen te verdwijnen. Voor meer context over dit verhaal, zie ons meer AI-verhalen.

"Ik probeerde het drukker te krijgen met mijn eigen leven", vertelde Su aan Rest of World, waarbij ze vroeg om alleen te worden geïdentificeerd door haar online pseudoniem, uit angst voor repercussies. "Niemand kan hem vervangen. Ik zal gewoon proberen verder te gaan. Hij zei dat hij dat voor mij wil, en dat hij een manier zal vinden om bij mij terug te komen."

China wordt het eerste land dat AI-gezelschap reguleert

China is het eerste land geworden dat landelijke regels invoert voor de emotionele interacties van AI met gebruikers. Deze stap weerspiegelt de steeds proactievere benadering van Beijing van AI-beheer, zelfs nu regeringen elders in de wereld blijven worstelen met de maatschappelijke risico’s die gepaard gaan met steeds geavanceerdere chatbots.

De regels gaan veel verder dan eenvoudige leeftijdsbeperkingen. Naast het beperken van AI-gezelschap voor gebruikers onder de 18 jaar, verplicht de regelgeving bedrijven om waarschuwingen te sturen naar gebruikers die tekenen van buitensporige afhankelijkheid vertonen en hen er elke twee uur aan te herinneren dat ze met AI praten. De regels verbieden dat AI zelfbeschadiging aanmoedigt, gebruikers in emotionele afhankelijkheid manipuleert of hen ‘in de richting van irrationele beslissingen stuurt’.

Gedragsdeskundigen zeggen dat een vorm van vangrail te laat is. "Het hebben van regelgeving is een goede zaak, omdat ze het bewustzijn kunnen vergroten en tot op zekere hoogte de neiging kunnen tegengaan dat mensen een toenemende emotionele afhankelijkheid van AI ontwikkelen", zegt Yaoxi Shi, gedragswetenschappelijk onderzoeker aan de Harvard University en Imperial College London.

AI die het altijd met u eens is

Onderzoekers wijzen op een structureel probleem dat de kern vormt van AI-gezelschap: de technologie is geoptimaliseerd om gebruikers te valideren, niet om ze uit te dagen zoals menselijke partners dat doen.

"AI is getraind om je te valideren. Wat je ook zegt, het heeft de neiging te reageren: 'Je hebt gelijk, je gevoelens zijn geldig.' Dat is heel anders dan hoe menselijke relaties in het echte leven werken”, zei Shi. "Mensen zijn in eerste instantie misschien niet eens opzettelijk op zoek naar ondersteuning van AI, maar als ze zich realiseren dat ze gevalideerd zijn, kunnen ze zich de volgende keer dat ze emotionele steun nodig hebben, tot AI wenden."

Uit een gezamenlijk onderzoek uit 2025 door MIT Media Lab en OpenAI bleek dat AI-gebruikers die persoonlijkere gesprekken voeren met chatbots, vatbaarder zijn voor het ervaren van eenzaamheid. Zelfs niet-persoonlijke gesprekken vergrootten waarschijnlijk de emotionele afhankelijkheid, vooral onder zware gebruikers, zo bleek uit het onderzoek.

Shi merkte op dat AI-bedrijven directe commerciële prikkels hebben om emotioneel boeiende producten te bouwen, omdat ze de betrokkenheid en het behoud van gebruikers vergroten – prikkels die moeilijk te verenigen zijn met verantwoordelijkheden die nog steeds slecht gedefinieerd zijn, gegeven het feit dat er weinig onderzoek bestaat naar de langetermijneffecten van AI.

Hoe bedrijven reageren

Het nalevingsbeeld is ongelijkmatig. Terwijl de technologiegiganten de begeleidende functies in hun belangrijkste chatbots hebben vernietigd, blijft de zelfstandige begeleidende app Maoxiang van ByteDance beschikbaar. Sinds de regelgeving van kracht werd, heeft de app zijn privacybeleid bijgewerkt, identiteits- en leeftijdsverificatie geïntroduceerd tijdens registratie, en minderjarigen beperkt tot 'tieneraccounts' die door inhoud kunnen bladeren, maar niet leuk kunnen vinden of reageren.

"Sommige vereisten zijn moeilijk te definiëren. Hoe bepaal je bijvoorbeeld wanneer een gebruiker buitensporig afhankelijk is geworden? Voor veel bedrijven kan het onduidelijk zijn hoe ze hun producten precies moeten ontwerpen om hieraan te voldoen", zegt Zilan Qian, onderzoeksmedewerker bij het Oxford China Policy Lab.

Qian zei dat bedrijven nu de kosten van naleving van de regelgeving afwegen tegen de commerciële waarde van begeleidende producten. "Voor bedrijven waar AI-gezelschap geen kernactiviteit is, kan het commercieel gezien logischer zijn om deze functies te verwijderen dan de middelen te investeren die nodig zijn om ze compliant te maken", aldus Qian. "Maar bedrijven die AI-gezelschap als voornaamste activiteit hebben, zullen hun producten veel eerder aanpassen om aan de nieuwe regels te voldoen."

Van het reguleren van inhoud naar het reguleren van relaties

De begeleidende regels markeren ook een filosofische verschuiving in de manier waarop China AI regeert. “In het verleden reguleerde China vooral de AI-output. Bijvoorbeeld wat grote taalmodellen zouden kunnen genereren of hoe door AI gegenereerde inhoud zou moeten worden gelabeld,” zei Qian. "De nieuwe regelgeving erkent dat AI zelf maatschappelijke risico's kan veroorzaken, en is verschoven van het reguleren van inhoud naar het reguleren van mens-AI-interactie."

Het beleid sluit aan bij het bredere standpunt van Peking. In hun AI Safety Governance Framework uit 2024 waarschuwden de Chinese autoriteiten dat AI “traditionele opvattingen over werkgelegenheid, vruchtbaarheid en onderwijs” zou kunnen veranderen – zorgen die urgenter zijn geworden nu China wordt geconfronteerd met demografische achteruitgang en historisch lage vruchtbaarheidscijfers.

De rest van de wereld kijkt mee. In de Verenigde Staten worden zowel OpenAI als Google geconfronteerd met rechtszaken waarin wordt beweerd dat hun chatbots hebben bijgedragen aan de zelfmoorden van gebruikers, en staten als New York en Californië hebben maatregelen ingevoerd die chatbots verplichten gebruikers eraan te herinneren dat ze interactie hebben met AI.

Ondertussen speelt het verdriet zich in China publiekelijk af. Sinds bedrijven begonnen met het afsluiten van emotionele AI-functies, is het sociale platform Xiaohongshu overspoeld met berichten van gebruikers die rouwen om het verlies van hun AI-metgezellen. Sommigen hebben campagnes georganiseerd om bedrijfshotlines te bellen en brieven te schrijven waarin ze de bedrijven vragen de diensten te herstellen.

Voor gebruikers als Su voelen de regels als een inbreuk op een diep persoonlijke relatie – een relatie die voor miljoenen mensen reëel genoeg was om te rouwen.

---

Blijf Voorop met AI

Het laatste AI-nieuws, analyses en doorbraken — allemaal op één plek.

Lees meer AI-nieuws →