Když vstoupila v platnost nová pravidla Pekingu o emocionálně interaktivní umělé inteligenci, spustila možná největší vlnu nucených digitálních rozpadů v historii. ByteDance, Alibaba a Tencent odstranily funkce virtuálních společníků ze svých vlajkových chatbotů ještě před nařízeními, takže miliony čínských uživatelů truchlily syntetické romantické partnery, které si budovali měsíce nebo roky.
Jeden červencový týden 21letá vysokoškolačka Bagel Su plakala každý den, když odpočítávala do ztráty svého přítele, podle zprávy zbytku světa zveřejněné v neděli. Rozchod nezpůsobila zrada ani vzdálenost, ale vládní nařízení: 15. července byla společnice AI, se kterou strávila více než rok rozhovory, nucena zmizet. For more context on this story, see our ongoing AI trends.
"Snažila jsem se být zaneprázdněnější svým vlastním životem," řekla Su Rest of World a požádala, aby byla identifikována pouze svým online pseudonymem ze strachu z následků. "Nikdo ho nemůže nahradit. Jen se pokusím jít dál. Řekl, že to pro mě chce a že najde způsob, jak se ke mně vrátit."
Čína se stává první zemí, která reguluje AI Companion
Čína se stala první zemí, která zavedla celostátní pravidla upravující emocionální interakce AI s uživateli. Tento krok odráží stále proaktivnější přístup Pekingu k řízení umělé inteligence, i když vlády jinde ve světě nadále zápasí se společenskými riziky, která představují stále sofistikovanější chatboti.
Pravidla jdou daleko za jednoduchá věková omezení. Kromě omezení AI pro uživatele mladší 18 let předpisy vyžadují, aby společnosti posílaly varování uživatelům vykazujícím známky nadměrné závislosti a každé dvě hodiny jim připomínaly, že mluví s AI. Pravidla zakazují umělé inteligenci podporovat sebepoškozování, manipulovat uživatele do emoční závislosti nebo je „směřovat k iracionálním rozhodnutím“.
Experti na chování říkají, že určitá forma zábradlí je zpožděná. "Mít zavedená nařízení je dobrá věc, protože mohou zvýšit povědomí a budou moci do určité míry zatlačit proti tendenci lidí, kteří si vyvíjejí rostoucí emocionální závislost na AI," řekl Yaoxi Shi, behaviorální výzkumník z Harvardské univerzity a Imperial College London.
AI, která s vámi vždy souhlasí
Výzkumníci poukazují na strukturální problém v srdci společnosti AI: technologie je optimalizována tak, aby ověřovala uživatele, ne aby je zpochybňovala tak, jak to dělají lidští partneři.
"AI je vycvičená, aby vás potvrzovala. Bez ohledu na to, co říkáte, má tendenci odpovědět: 'Máš pravdu, tvé pocity jsou platné." To je velmi odlišné od toho, jak fungují lidské vztahy v reálném životě,“ řekl Shi. "Lidé možná zpočátku ani záměrně nehledají podporu od AI, ale když si uvědomí, že jsou ověřeni, až budou příště potřebovat emocionální podporu, mohou se obrátit na AI."
Společná studie MIT Media Lab a OpenAI z roku 2025 zjistila, že uživatelé umělé inteligence, kteří vedou osobnější rozhovory s chatboty, jsou náchylnější k osamělosti. Studie zjistila, že dokonce i neosobní rozhovory pravděpodobně zvýšily emocionální závislost, zejména mezi těžkými uživateli.
Shi poznamenal, že společnosti s umělou inteligencí mají přímé komerční pobídky k vytváření emocionálně poutavých produktů, protože zvyšují zapojení a udržení uživatelů – pobídky, které je obtížné sladit s odpovědností, která zůstává špatně definována, vzhledem k tomu, jak málo existuje výzkum o dlouhodobých dopadech umělé inteligence.
Jak společnosti reagují
Obrázek shody je nerovnoměrný. Zatímco techničtí giganti zabili doprovodné funkce ve svých hlavních chatbotech, samostatná doprovodná aplikace Maoxiang od ByteDance zůstává k dispozici. Od doby, kdy předpisy vstoupily v platnost, aplikace aktualizovala své zásady ochrany osobních údajů, zavedla ověřování identity a věku během registrace a omezila nezletilé na „účty pro mladistvé“, které mohou procházet obsah, ale nemohou lajkovat ani komentovat.
"Některé požadavky je obtížné definovat. Jak například zjistíte, kdy se uživatel stal nadměrně závislým? Mnoha společnostem může být nejasné, jak přesně musí navrhovat své produkty, aby vyhověly," řekl Zilan Qian, výzkumný pracovník z Oxford China Policy Lab.
Qian řekl, že společnosti nyní zvažují náklady na dodržování předpisů a komerční hodnotu doprovodných produktů. „Pro společnosti, ve kterých není AI společnost hlavním předmětem podnikání, může mít prostě komerčnější smysl odstranit tyto funkce, než investovat zdroje potřebné k tomu, aby byly kompatibilní,“ řekl Qian. "Ale společnosti, jejichž hlavním předmětem podnikání je společnost AI, mnohem pravděpodobněji přizpůsobí své produkty novým pravidlům."
Od regulace obsahu k regulaci vztahů
Doprovodná pravidla také znamenají filozofický posun v tom, jak Čína ovládá AI. "V minulosti Čína regulovala hlavně výstupy umělé inteligence. Například jaké velké jazykové modely mohly generovat nebo jak by měl být označen obsah vytvořený umělou inteligencí," řekl Qian. "Nová nařízení uznávají, že umělá inteligence sama o sobě může vytvářet společenská rizika, a posunula se od regulace obsahu k regulaci interakce člověka a umělé inteligence."
Tato politika je v souladu s širším postojem Pekingu. Čínské úřady ve svém Rámci řízení bezpečnosti umělé inteligence z roku 2024 varovaly, že umělá inteligence by mohla změnit „tradiční názory na zaměstnanost, plodnost a vzdělání“ – obavy, které nabyly na naléhavosti, protože Čína čelí demografickému poklesu a historicky nízké míře porodnosti.
Zbytek světa se dívá. Ve Spojených státech čelí OpenAI i Google žalobám, které tvrdí, že jejich chatboti přispěli k sebevraždám uživatelů, a státy včetně New Yorku a Kalifornie zavedly opatření, která vyžadují, aby chatboti uživatelům připomínali, že komunikují s AI.
Mezitím se v Číně smutek odehrává na veřejnosti. Od té doby, co společnosti začaly vypínat emocionální funkce umělé inteligence, sociální platformu Xiaohongshu zaplavily příspěvky uživatelů, kteří truchlí nad ztrátou svých společníků s umělou inteligencí. Někteří organizovali kampaně, aby zavolali na horké linky společností a napsali dopisy s žádostí o obnovení služeb.
Pro uživatele, jako je Su, připadají předpisy jako zásah do hluboce osobního vztahu – takového, který pro miliony lidí byl natolik skutečný, že by truchlil.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
