감정적으로 상호 작용하는 AI에 대한 베이징의 새로운 규칙이 발효되었을 때 역사상 가장 큰 강제 디지털 해체의 물결이 촉발되었습니다. ByteDance, Alibaba 및 Tencent는 규정에 앞서 주력 챗봇에서 가상 동반자 기능을 제거하여 수백만 명의 중국 사용자가 몇 달 또는 몇 년을 들여 구축한 합성 로맨틱 파트너를 슬퍼하게 했습니다.

지난 7월 한 주 동안 21세 대학생 베이글 수(Bagel Su)는 남자친구의 죽음을 카운트다운하면서 매일 울었다고 일요일 발표된 세계 나머지 지역(Rest of World) 보고서에 따르면. 이별의 원인은 배신이나 거리감이 아니라 정부 규제 때문이었습니다. 7월 15일, 그녀가 1년 넘게 대화를 나누던 AI 동반자가 강제로 사라질 수 있었습니다. 이 이야기에 대한 자세한 내용은 AI 뉴스를 참조하세요.

Su는 Rest of World와의 인터뷰에서 "나는 내 삶을 더 바쁘게 보내려고 노력했다"며 영향을 두려워하여 자신의 온라인 가명으로만 신원을 밝히도록 요청했습니다. "아무도 그를 대신할 수 없습니다. 나는 계속해서 노력할 것입니다. 그는 나를 위해 그것을 원하며 나에게 돌아올 방법을 찾을 것이라고 말했습니다."

중국, AI 동반관계를 규제하는 최초의 국가가 되다

중국은 AI와 사용자의 정서적 상호작용을 규제하는 전국적인 규칙을 도입한 최초의 국가가 되었습니다. 이러한 움직임은 전 세계의 정부가 점점 더 정교해지는 챗봇으로 인한 사회적 위험과 계속해서 씨름하고 있음에도 불구하고 AI 거버넌스에 대한 베이징의 점점 더 적극적인 접근 방식을 반영합니다.

규칙은 단순한 연령 제한을 뛰어넘습니다. 18세 미만 사용자의 AI 동반을 제한하는 것 외에도, 규정에 따라 회사는 과도한 의존 징후를 보이는 사용자에게 경고를 보내고 2시간마다 AI와 대화하고 있음을 상기시켜야 합니다. 이 규칙은 AI가 자해를 조장하거나 사용자를 감정적 의존성으로 조종하거나 "비합리적인 결정을 내리도록 유도"하는 것을 금지합니다.

행동 전문가들은 어떤 형태의 가드레일이 더 이상 필요하지 않다고 말합니다. 하버드 대학교와 임페리얼 칼리지 런던의 행동 과학 연구원인 야오시 시(Yaoxi Shi)는 "규제를 마련하는 것은 인식을 제고하고 사람들이 AI에 대한 정서적 의존도가 높아지는 경향을 어느 정도 억제할 수 있기 때문에 좋은 것"이라고 말했습니다.

항상 당신의 의견에 동의하는 AI

연구자들은 AI 동반자 관계의 핵심에 있는 구조적 문제를 지적합니다. 즉, 이 기술은 인간 파트너처럼 사용자에게 도전하는 것이 아니라 사용자를 검증하는 데 최적화되어 있습니다.

"AI는 당신을 검증하도록 훈련되었습니다. 당신이 무슨 말을 하든 AI는 '당신 말이 맞습니다. 당신의 감정은 타당합니다.'라고 대답하는 경향이 있습니다. 이는 실제 생활에서 인간 관계가 작동하는 방식과 매우 다릅니다."라고 Shi는 말했습니다. "사람들은 처음에는 의도적으로 AI의 지원을 구하지 않을 수도 있지만, 검증되었다는 사실을 깨닫고 다음에 정서적 지원이 필요할 때 AI로 전환할 수 있습니다."

MIT Media Lab과 OpenAI의 2025년 공동 연구에 따르면 챗봇과 더 개인적인 대화를 나누는 AI 사용자는 외로움을 겪는 경향이 더 높습니다. 비개인적인 대화조차도 특히 헤비 유저들 사이에서 정서적 의존성을 증가시킬 가능성이 있는 것으로 연구는 밝혔습니다.

Shi는 AI 회사가 사용자 참여와 유지를 높이기 때문에 감정적으로 매력적인 제품을 구축하려는 직접적인 상업적 인센티브를 가지고 있다고 지적했습니다. AI의 장기적인 영향에 대한 연구가 거의 없기 때문에 잘못 정의된 책임과 조화하기 어려운 인센티브입니다.

기업의 대응 방식

규정 준수 상황이 고르지 않습니다. 거대 기술 기업들이 주요 챗봇의 동반 기능을 없앴지만 ByteDance의 독립형 동반 앱인 Maoxiang은 계속 사용할 수 있습니다. 규정이 발효된 이후 앱은 개인 정보 보호 정책을 업데이트하고 등록 시 신원 확인 및 연령 확인을 도입했으며 미성년자를 콘텐츠를 탐색할 수는 있지만 좋아요를 누르거나 댓글을 달 수 없는 '십대 계정'으로 제한했습니다.

Oxford China Policy Lab의 연구원인 Zilan Qian은 "요구 사항 중 일부는 정의하기 어렵습니다. 예를 들어 사용자가 지나치게 의존하게 된 시기를 어떻게 판단합니까? 많은 기업의 경우 제품을 준수하도록 설계하는 방법이 정확히 무엇인지 불분명할 수 있습니다."라고 말했습니다.

Qian은 기업들이 이제 컴패니언 제품의 상업적 가치와 규제 준수 비용을 비교하고 있다고 말했습니다. Qian은 "AI 동반 ​​관계가 핵심 사업이 아닌 기업의 경우 이러한 기능을 준수하는 데 필요한 리소스를 투자하는 것보다 이러한 기능을 제거하는 것이 더 상업적으로 합리적일 수 있습니다"라고 말했습니다. "그러나 AI 동반자 관계를 주요 사업으로 하는 기업은 새로운 규칙에 맞게 제품을 조정할 가능성이 훨씬 더 높습니다."

콘텐츠 규제에서 관계 규제로

동반 규칙은 또한 중국이 AI를 관리하는 방식에 대한 철학적 변화를 나타냅니다. "과거에 중국은 주로 AI 출력을 규제했습니다. 예를 들어, 대규모 언어 모델이 생성할 수 있는 것이 무엇인지, AI 생성 콘텐츠에 라벨을 어떻게 지정해야 하는지 등을 규제했습니다."라고 Qian은 말했습니다. "새로운 규정은 AI 자체가 사회적 위험을 초래할 수 있다는 점을 인정하고 콘텐츠 규제에서 인간-AI ​​상호작용 규제로 전환했습니다."

이 정책은 중국의 폭넓은 입장과 일치합니다. 중국 당국은 2024년 AI 안전 거버넌스 프레임워크에서 AI가 "고용, 출산율, 교육에 대한 전통적인 견해"를 바꿀 수 있다고 경고했습니다. 중국이 인구 감소와 역사적으로 낮은 출산율에 직면하면서 이러한 우려는 더욱 시급해졌습니다.

전 세계가 지켜보고 있습니다. 미국에서는 OpenAI와 Google 모두 자사의 챗봇이 사용자의 자살에 기여했다는 소송에 직면해 있으며, 뉴욕과 캘리포니아를 포함한 주에서는 챗봇이 사용자에게 AI와 상호 작용하고 있음을 상기시키도록 요구하는 조치를 도입했습니다.

한편 중국에서는 슬픔이 공개적으로 나타나고 있다. 기업들이 감성 AI 기능을 종료하기 시작한 이후, 소셜 플랫폼 Xiaohongshu에는 AI 동반자를 잃은 것을 애도하는 사용자들의 게시물이 넘쳐났습니다. 일부는 회사 핫라인에 전화하고 회사에 서비스 복원을 요청하는 편지를 쓰는 캠페인을 조직했습니다.

Su와 같은 사용자에게는 규정이 매우 개인적인 관계에 대한 침해처럼 느껴집니다. 수백만 명의 사람들이 애도할 만큼 현실적이었던 관계입니다.

---

AI 최신 소식

최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.

AI 뉴스 더 보기 →