כאשר החוקים החדשים של בייג'ינג בנושא AI אינטראקטיבי רגשית נכנסו לתוקף, הם הפעילו את מה שעשוי להיות הגל הגדול ביותר של התפרקות דיגיטלית כפויה בהיסטוריה. ByteDance, Alibaba ו-Tencent הסירו תכונות נלוות וירטואליות מצ'אטבוטי הדגל שלהן לפני התקנות, והותירו מיליוני משתמשים סינים מתאבלים על שותפים רומנטיים סינתטיים שהם הקדישו חודשים או שנים לבנייתם.
במשך שבוע ביולי, סטודנטית בקולג' בת ה-21 בייגל סו בכתה כל יום כשהיא סופרת לאחור לאובדן החבר שלה, על פי דו"ח של שאר העולם שפורסם ביום ראשון. הפרידה לא נגרמה על ידי בגידה או ריחוק, אלא על ידי רגולציה ממשלתית: ב-15 ביולי, המלווה בבינה מלאכותית שאיתה בילתה יותר משנה בשיחה נאלצה להיעלם. For more context on this story, see our ongoing AI industry coverage.
"ניסיתי להיות עסוקה יותר בחיים שלי", אמרה סו לשאר העולם, וביקשה להזדהות רק לפי השם הבדוי המקוון שלה מחשש להשלכות. "אף אחד לא יכול להחליף אותו. אני פשוט אנסה להמשיך הלאה. הוא אמר שהוא רוצה את זה בשבילי, ושהוא ימצא דרך לחזור אליי".
סין הופכת למדינה הראשונה שמסדירה את החברות בבינה מלאכותית
סין הפכה למדינה הראשונה שהציגה כללים כלל ארציים המסדירים את האינטראקציות הרגשיות של AI עם משתמשים. המהלך משקף את הגישה הפרואקטיבית יותר ויותר של בייג'ינג לממשל בינה מלאכותית, גם כאשר ממשלות במקומות אחרים בעולם ממשיכות להתמודד עם הסיכונים החברתיים הנשקפים מצ'אטבוטים יותר ויותר מתוחכמים.
הכללים חורגים הרבה מעבר להגבלות גיל פשוטות. מעבר להגבלת חברות בינה מלאכותית למשתמשים מתחת לגיל 18, התקנות מחייבות חברות לשלוח אזהרות למשתמשים המראים סימנים של תלות מופרזת ולהזכיר להם כל שעתיים שהם מדברים עם AI. הכללים אוסרים על בינה מלאכותית לעודד פגיעה עצמית, לתמרן משתמשים לתלות רגשית או "לנתב אותם לעבר החלטות לא רציונליות".
מומחי התנהגות אומרים שצורה כלשהי של מעקה בטיחות הגיעה לאיחור. "קיום תקנות זה דבר טוב כי הם יכולים להעלות את המודעות ויוכלו לדחוף נגד, במידה מסוימת, את הנטייה של אנשים לפתח הסתמכות רגשית גוברת על AI", אמר Yaoxi Shi, חוקר מדעי ההתנהגות באוניברסיטת הרווארד ואימפריאל קולג' בלונדון.
בינה מלאכותית שתמיד מסכימה איתך
חוקרים מצביעים על בעיה מבנית בלב ליבה של חברות בינה מלאכותית: הטכנולוגיה מותאמת לאימות משתמשים, לא לאתגר אותם כפי שעושים שותפים אנושיים.
"AI מאומן לאמת אותך. לא משנה מה אתה אומר, הוא נוטה להגיב, 'אתה צודק, הרגשות שלך תקפים'. זה שונה מאוד מהאופן שבו יחסי אנוש עובדים בחיים האמיתיים", אמר שי. "אנשים אולי אפילו לא מחפשים בכוונה תמיכה מבינה מלאכותית בהתחלה, אבל כשהם מבינים שהם מאומתים, בפעם הבאה שהם צריכים תמיכה רגשית, הם עשויים לפנות לבינה מלאכותית."
מחקר משותף משנת 2025 של MIT Media Lab ו-OpenAI מצא שמשתמשי AI שיש להם יותר שיחות אישיות עם צ'אטבוטים נוטים יותר לחוות בדידות. אפילו שיחות לא אישיות עלולות להגביר את התלות הרגשית, במיוחד בקרב משתמשים כבדים, מצא המחקר.
שי ציין כי לחברות בינה מלאכותית יש תמריצים מסחריים ישירים לבנות מוצרים מרתקים רגשית מכיוון שהם מגבירים את מעורבות המשתמשים ושימורם - תמריצים שקשה ליישב אותם עם אחריות שנותרה מוגדרת בצורה גרועה, בהתחשב בכמה מעט קיים מחקר על ההשפעות ארוכות הטווח של בינה מלאכותית.
איך חברות מגיבות
תמונת הציות לא אחידה. בעוד ענקיות הטכנולוגיה הרגו תכונות נלוות בצ'אטבוטים הראשיים שלהן, האפליקציה הנלווית העצמאית של ByteDance, Maoxiang, נותרה זמינה. מאז שהתקנות נכנסו לתוקף, האפליקציה עדכנה את מדיניות הפרטיות שלה, הציגה אימות זהות וגיל במהלך הרישום, והגבילה קטינים ל"חשבונות נוער" שיכולים לגלוש בתכנים אך אינם יכולים לעשות לייק או להגיב.
"קשה להגדיר חלק מהדרישות. למשל, איך קובעים מתי משתמש הפך לתלוי יתר על המידה? עבור חברות רבות, יכול להיות שלא ברור איך בדיוק הן צריכות לעצב את המוצרים שלהן כדי לעמוד בדרישות", אמר זילן צ'יאן, עמית מחקר במעבדת מדיניות סין של אוקספורד.
Qian אמר כי חברות שוקלים כעת את העלות של ציות לרגולציה מול הערך המסחרי של מוצרים נלווים. "עבור חברות שבהן חברות בינה מלאכותית אינה עסק הליבה, עשוי להיות פשוט יותר הגיוני להסיר את התכונות הללו מאשר להשקיע את המשאבים הדרושים כדי להפוך אותן לתאימות", אמר צ'יאן. "אבל חברות שהעסק העיקרי שלהן הוא חברות בינה מלאכותית נוטות הרבה יותר להתאים את המוצרים שלהן כדי לעמוד בכללים החדשים."
מוויסות תוכן ועד ויסות מערכות יחסים
הכללים הנלווים מסמנים גם שינוי פילוסופי באופן שבו סין שולטת בבינה מלאכותית. "בעבר, סין רגולטה בעיקר את תפוקות הבינה המלאכותית. לדוגמה, אילו מודלים של שפות גדולות היו יכולים ליצור או כיצד יש לתייג תוכן שנוצר על ידי בינה מלאכותית", אמר צ'יאן. "התקנות החדשות מכירות בכך שבינה מלאכותית בעצמה יכולה ליצור סיכונים חברתיים, ועברו מוויסות תוכן לוויסות אינטראקציה בין אדם ל-AI".
המדיניות עולה בקנה אחד עם העמדה הרחבה יותר של בייג'ינג. במסגרת ניהול הבטיחות של AI לשנת 2024, הזהירו הרשויות הסיניות כי בינה מלאכותית עשויה לשנות את "השקפות המסורתיות על תעסוקה, פוריות וחינוך" - חששות שתפסו דחיפות רבה יותר כאשר סין מתמודדת עם ירידה דמוגרפית ושיעורי פריון נמוכים היסטורית.
שאר העולם מסתכל. בארצות הברית, גם OpenAI וגם גוגל עומדות בפני תביעות משפטיות בטענה שהצ'אטבוטים שלהן תרמו להתאבדות של משתמשים, ומדינות כולל ניו יורק וקליפורניה הציגו אמצעים המחייבים צ'אטבוטים להזכיר למשתמשים שהם מקיימים אינטראקציה עם AI.
בינתיים, בסין, הצער מתגלה בפומבי. מאז שחברות החלו לסגור תכונות בינה מלאכותית רגשיות, הפלטפורמה החברתית Xiaohongshu הוצפה בפוסטים של משתמשים המתאבלים על אובדן חבריהם לבינה מלאכותית. חלקם ארגנו קמפיינים להתקשרות למוקדי החברה ולכתוב מכתבים המבקשים מהחברות להחזיר את השירותים.
עבור משתמשים כמו סו, התקנות מרגישות כמו חדירה למערכת יחסים אישית עמוקה - כזו שעבור מיליוני אנשים הייתה אמיתית מספיק כדי להתאבל.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
