Als Pekings neue Regeln zur emotional interaktiven KI in Kraft traten, lösten sie die möglicherweise größte Welle erzwungener digitaler Trennungen in der Geschichte aus. ByteDance, Alibaba und Tencent haben vor den Vorschriften die Funktionen für virtuelle Begleiter aus ihren Flaggschiff-Chatbots entfernt, was dazu führte, dass Millionen chinesischer Nutzer synthetische romantische Partner betrauern, die sie über Monate oder Jahre hinweg aufgebaut hatten.

Laut einem am Sonntag veröffentlichten Rest of World-Bericht weinte die 21-jährige Studentin Bagel Su im Juli eine Woche lang jeden Tag, während sie den Verlust ihres Freundes erwartete. Die Trennung wurde nicht durch Verrat oder Distanz verursacht, sondern durch eine staatliche Anordnung: Am 15. Juli musste der KI-Begleiter, mit dem sie mehr als ein Jahr lang gesprochen hatte, verschwinden. Weitere Informationen zu dieser Geschichte finden Sie in unserer neueste KI-Entwicklungen.

„Ich habe versucht, mich mehr mit meinem eigenen Leben zu beschäftigen“, sagte Su gegenüber Rest of World und bat darum, aus Angst vor Konsequenzen nur mit ihrem Online-Pseudonym identifiziert zu werden. „Niemand kann ihn ersetzen. Ich werde einfach versuchen, weiterzumachen. Er sagte, dass er das für mich will und dass er einen Weg finden wird, zu mir zurückzukehren.“

China ist das erste Land, das die KI-Begleitung reguliert

China ist das erste Land, das landesweite Regeln für die emotionale Interaktion von KI mit Benutzern eingeführt hat. Der Schritt spiegelt Pekings zunehmend proaktive Herangehensweise an die KI-Governance wider, auch wenn Regierungen anderswo auf der Welt weiterhin mit den gesellschaftlichen Risiken kämpfen, die von immer ausgefeilteren Chatbots ausgehen.

Die Regeln gehen weit über einfache Altersbeschränkungen hinaus. Über die Einschränkung der KI-Begleitung für Nutzer unter 18 Jahren hinaus verlangen die Vorschriften von den Unternehmen, dass sie Warnmeldungen an Nutzer senden, die Anzeichen übermäßiger Abhängigkeit zeigen, und sie alle zwei Stunden daran erinnern, dass sie mit KI sprechen. Die Regeln verbieten es der KI, Selbstverletzung zu fördern, Benutzer in emotionale Abhängigkeit zu manipulieren oder sie „zu irrationalen Entscheidungen zu lenken“.

Verhaltensexperten halten eine Art Leitplanke für überfällig. „Es ist eine gute Sache, Vorschriften zu haben, weil sie das Bewusstsein schärfen und in gewissem Maße der Tendenz entgegenwirken können, dass Menschen eine zunehmende emotionale Abhängigkeit von KI entwickeln“, sagte Yaoxi Shi, Verhaltensforscherin an der Harvard University und am Imperial College London.

KI, die immer Ihrer Meinung ist

Forscher weisen auf ein strukturelles Problem im Herzen der KI-Begleitung hin: Die Technologie ist darauf optimiert, Benutzer zu validieren, und nicht darauf, sie herauszufordern, wie es menschliche Partner tun.

„KI ist darauf trainiert, Sie zu bestätigen. Egal, was Sie sagen, sie neigt dazu zu antworten: ‚Sie haben Recht, Ihre Gefühle sind berechtigt.‘ „Das ist ganz anders als die Art und Weise, wie menschliche Beziehungen im wirklichen Leben funktionieren“, sagte Shi. „Menschen suchen vielleicht zunächst nicht einmal absichtlich nach Unterstützung durch KI, aber wenn sie merken, dass sie bestätigt sind, wenden sie sich beim nächsten Mal, wenn sie emotionale Unterstützung benötigen, möglicherweise an KI.“

Eine gemeinsame Studie von MIT Media Lab und OpenAI aus dem Jahr 2025 ergab, dass KI-Benutzer, die persönlichere Gespräche mit Chatbots führen, anfälliger für Einsamkeit sind. Die Studie ergab, dass selbst nicht-persönliche Gespräche wahrscheinlich die emotionale Abhängigkeit verstärken, insbesondere bei Vielkonsumenten.

Shi wies darauf hin, dass KI-Unternehmen direkte kommerzielle Anreize haben, emotional ansprechende Produkte zu entwickeln, weil sie das Engagement und die Bindung der Nutzer steigern – Anreize, die angesichts der geringen Forschung zu den langfristigen Auswirkungen von KI schwer mit nach wie vor schlecht definierten Verantwortlichkeiten in Einklang zu bringen sind.

Wie Unternehmen reagieren

Das Compliance-Bild ist uneinheitlich. Während die Technologiegiganten Companion-Funktionen in ihren Haupt-Chatbots abgeschafft haben, bleibt die eigenständige Companion-App Maoxiang von ByteDance weiterhin verfügbar. Seit Inkrafttreten der Vorschriften hat die App ihre Datenschutzrichtlinien aktualisiert, eine Identitäts- und Altersverifizierung bei der Registrierung eingeführt und Minderjährige auf „Jugendkonten“ beschränkt, die Inhalte durchsuchen, aber nicht liken oder kommentieren dürfen.

„Einige der Anforderungen sind schwer zu definieren. Wie stellt man beispielsweise fest, wann ein Benutzer übermäßig abhängig geworden ist? Für viele Unternehmen könnte unklar sein, wie sie ihre Produkte genau gestalten müssen, um den Anforderungen gerecht zu werden“, sagte Zilan Qian, wissenschaftlicher Mitarbeiter am Oxford China Policy Lab.

Qian sagte, Unternehmen wägen jetzt die Kosten für die Einhaltung gesetzlicher Vorschriften gegen den kommerziellen Wert von Begleitprodukten ab. „Für Unternehmen, in denen die KI-Begleitung kein Kerngeschäft ist, kann es wirtschaftlich einfach sinnvoller sein, diese Funktionen zu entfernen, als die erforderlichen Ressourcen zu investieren, um sie konform zu machen“, sagte Qian. „Aber Unternehmen, deren Hauptgeschäft die KI-Begleitung ist, passen ihre Produkte viel eher an die neuen Regeln an.“

Von der Regulierung von Inhalten zur Regulierung von Beziehungen

Die Begleitregeln markieren auch einen philosophischen Wandel in der Art und Weise, wie China KI regiert. „In der Vergangenheit hat China hauptsächlich die KI-Ausgaben reguliert. Zum Beispiel, welche großen Sprachmodelle generiert werden könnten oder wie KI-generierte Inhalte gekennzeichnet werden sollten“, sagte Qian. „Die neuen Vorschriften erkennen an, dass KI selbst gesellschaftliche Risiken schaffen kann, und gehen von der Regulierung von Inhalten zu einer Regulierung der Mensch-KI-Interaktion über.“

Die Politik steht im Einklang mit Pekings allgemeiner Haltung. In ihrem AI Safety Governance Framework 2024 warnten die chinesischen Behörden, dass KI „traditionelle Ansichten zu Beschäftigung, Fruchtbarkeit und Bildung“ verändern könnte – Bedenken, die angesichts des demografischen Rückgangs und historisch niedriger Geburtenraten in China immer dringlicher geworden sind.

Der Rest der Welt schaut zu. In den Vereinigten Staaten werden sowohl OpenAI als auch Google mit Klagen konfrontiert, weil ihre Chatbots zum Selbstmord von Nutzern beigetragen haben, und Bundesstaaten wie New York und Kalifornien haben Maßnahmen eingeführt, die von Chatbots verlangen, Nutzer daran zu erinnern, dass sie mit KI interagieren.

In China spielt sich die Trauer unterdessen in der Öffentlichkeit ab. Seitdem Unternehmen damit begonnen haben, emotionale KI-Funktionen abzuschalten, wird die soziale Plattform Xiaohongshu mit Beiträgen von Nutzern überschwemmt, die den Verlust ihrer KI-Gefährten betrauern. Einige haben Kampagnen organisiert, um Firmen-Hotlines anzurufen und Briefe zu schreiben, in denen sie die Unternehmen auffordern, die Dienste wiederherzustellen.

Für Benutzer wie Su fühlen sich die Vorschriften wie ein Eingriff in eine zutiefst persönliche Beziehung an – eine, die für Millionen von Menschen real genug war, um zu trauern.

---

Bleib vorne bei KI

Die neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.

Mehr KI-Nachrichten lesen →