感情的にインタラクティブな AI に関する中国政府の新しい規則が施行されたとき、史上最大と思われる強制的なデジタル離別の波が引き起こされました。 ByteDance、Alibaba、Tencent は、規制に先駆けて自社の主力チャットボットからバーチャル コンパニオン機能を削除したため、何百万もの中国人ユーザーが数か月、または数年かけて構築した合成のロマンチックなパートナーを悲しむことになりました。

日曜日に発行されたその他の地域の報告書によると、7月の1週間、21歳の大学生ベーグル・スーさんはボーイフレンドの死をカウントダウンしながら毎日泣いていたという。別れの原因は裏切りや距離ではなく、政府の規制によるものだった。7月15日、彼女が1年以上話していたAIの仲間は失踪を余儀なくされた。 この件の詳細は、AIニュースをご覧ください。

「私は自分の生活で忙しくしようとしました」とスーさんはレスト・オブ・ワールドに語り、影響を恐れてオンライン上の偽名のみで特定されることを求めた。 「誰も彼の代わりにはなれません。私はただ前に進むだけです。彼は私のためにそれを望んでおり、私の元に戻る方法を見つけるだろうと言いました。」

中国が AI コンパニオンシップを規制する最初の国となる

中国は、AIとユーザーの感情的なやりとりを管理する全国的な規則を導入した最初の国となった。世界各国の政府がますます高度化するチャットボットによってもたらされる社会的リスクに取り組み続けているにもかかわらず、この動きは中国政府のAIガバナンスに対するますます積極的なアプローチを反映している。

このルールは単純な年齢制限をはるかに超えています。この規制では、18歳未満のユーザーのAIとの交際を制限するだけでなく、過度の依存の兆候を示したユーザーに警告を送り、AIと会話していることを2時間ごとに通知することも企業に義務付けている。この規則は、AIが自傷行為を奨励したり、ユーザーを操作して感情的依存に陥らせたり、「不合理な決定に誘導する」ことを禁じている。

行動学の専門家らは、何らかの形のガードレールは時代遅れだと主張する。ハーバード大学とインペリアル・カレッジ・ロンドンの行動科学研究者、ヤオシー・シー氏は、「規制を整備することは良いことだ。なぜなら、規制によって意識が高まり、AIに対する人々の感情的依存が高まる傾向にある程度歯止めをかけることができるからだ」と述べた。

常にあなたに同意する AI

研究者らは、AI のパートナー関係の中心にある構造的な問題を指摘しています。それは、このテクノロジーが、人間のパートナーのようにユーザーに挑戦するのではなく、ユーザーを検証するように最適化されているということです。

「AIはあなたを正当化するように訓練されています。あなたが何を言っても、AIは『あなたは正しい、あなたの感情は正しい』と答える傾向があります。それは現実の人間関係の仕組みとは大きく異なります」とシー氏は語った。 「人々は最初は意図的にAIからのサポートを求めてさえいないかもしれませんが、自分が正当であると認識すると、次に精神的なサポートが必要になったときにAIに頼ることになるかもしれません。」

MITメディアラボとOpenAIによる2025年の共同研究では、チャットボットとより個人的な会話をするAIユーザーは孤独を経験する傾向が高いことが判明した。非個人的な会話であっても、特にヘビーユーザーの間で感情的依存が高まる可能性があることが研究で判明した。

Shi氏は、AI企業には、ユーザーのエンゲージメントと定着率を高めるため、感情的に魅力的な製品を開発するという直接的な商業的インセンティブがあるが、AIの長期的な影響に関する研究がほとんどないことを考えると、インセンティブは定義が不十分なままの責任と調和させるのが難しいと指摘した。

企業の対応

コンプライアンスの状況は一様ではありません。ハイテク大手は主要チャットボットのコンパニオン機能を廃止したが、ByteDanceのスタンドアロンコンパニオンアプリMaoxiangは引き続き利用できる。この規制が発効して以来、同アプリはプライバシーポリシーを更新し、登録時に本人確認と年齢認証を導入し、未成年者はコンテンツを閲覧できるが「いいね！」やコメントができない「10代のアカウント」に限定した。

「要件の中には、定義するのが難しいものもあります。たとえば、ユーザーが過度に依存するようになったとき、どのように判断すればよいでしょうか。多くの企業にとって、準拠するために自社の製品をどのように設計する必要があるのか​​が正確に不明瞭になる可能性があります」と、オックスフォード大学中国政策研究所の研究員、Zilan Qian氏は述べた。

銭氏は、企業は現在、規制順守のコストとコンパニオン製品の商業的価値を比較検討していると述べた。 「AI コンパニオンシップが中核事業ではない企業にとっては、これらの機能を準拠させるために必要なリソースを投資するよりも、これらの機能を削除するほうが商業的に合理的である可能性があります」と Qian 氏は述べています。 「しかし、AI コンパニオンを主な事業とする企業は、自社の製品を新しいルールに適合させる可能性がはるかに高くなります。」

コンテンツの規制から関係の規制へ

この付随規則は、中国が AI をどのように統治するかについての哲学的変化も示している。 「これまで中国は主にAIの出力を規制していた。たとえば、どのような大規模な言語モデルが生成できるか、AIが生成したコンテンツにどのようなラベルを付けるかなどだ」とQian氏は述べた。 「新しい規制は、AI自体が社会的リスクを生み出す可能性があることを認めており、コンテンツの規制から人間とAIの相互作用の規制に移行した。」

この政策は中国政府の広範な立場と一致している。中国当局は、2024年のAI安全ガバナンス枠組みの中で、AIが「雇用、出生率、教育に関する伝統的な見方」を変える可能性があると警告した。中国が人口減少と歴史的に低い出生率に直面する中、この懸念はより緊急性を増している。

残りの世界も注目しています。米国では、OpenAIとGoogleの両社が、自社のチャットボットがユーザーの自殺に寄与したとして訴訟に直面しており、ニューヨーク州やカリフォルニア州などの州は、チャットボットにAIと対話していることをユーザーに思い出させることを義務付ける措置を導入している。

一方、中国では悲しみが公の場で展開されている。企業が感情的なAI機能を停止し始めて以来、ソーシャルプラットフォームXiaohongshuには、AI仲間の死を悼むユーザーからの投稿が殺到している。企業のホットラインに電話したり、企業にサービスの復旧を求める手紙を書いたりするキャンペーンを組織した企業もある。

スーさんのようなユーザーにとって、この規制は非常に個人的な関係への侵入のように感じられ、何百万人もの人々にとってそれは嘆くほど現実的なものでした。

---

AIの最新情報をお届け

AIの最新ニュース、分析、ブレイクスルーを一箇所で。

AIニュースをもっと読む →