מוסטפא סולימן, מנכ"ל Microsoft AI, אמר בפוסט ארוך ב-X ביום ראשון שדגמי הבינה המלאכותית של היום אינם מודעים ושמפתחים צריכים לעבוד באופן אקטיבי כדי לשמור אותם כך - תוך למתוח קו קשה בוויכוח בתעשייה שעבר בהדרגה מסמינרים בפילוסופיה למדיניות ארגונית.
"אם זה אפשרי, בהתבסס על כל מה שאני יודע, פיתוח AI מודע יהיה פזיז, ואסור לנו לבנות אותם", כתב סולימן. הוא הרחיק לכת יותר ממה שיש לרוב המנהלים בשאלה, והוסיף: "אם התודעה תתחיל לצוץ באימונים, הייתי קורא לכולם להפסיק את פיתוח הבינה המלאכותית עד שנוכל לעצב את המאפיינים האלה". For more context on this story, see our ongoing more AI stories.
קו אדום עם תוכנית אכיפה
מה שהופך את הפוסט לבולט הוא לא רק הסירוב לבנות מכונות מודעות אלא התרופה הספציפית שמציע סולימן. עצירת הפיתוח - בכל התעשייה - אם ריצות האימונים יתחילו לייצר סימני תודעה תהיה צעד יוצא דופן עבור חברה שמוציאה עשרות מיליארדי דולרים על תשתית AI ותחרות יריבות לשלוח דגמי חזית.
סולימן התייחס גם למה שצריך לקרות אם עדות לתודעת מכונה תעלה אי פעם. יש לחשוף את זה לציבור הרחב באופן מיידי, אמר, כדי שהחברה תוכל להחליט על צעדיה הבאים. תוך שהוא מסגר את ההחלטה כקולקטיבית ולא ארגונית, הוא כתב: "למפתחי בינה מלאכותית אין שום זכות להביא זן חדש של יצורים מודעים לעולם, גם אם יש אנשים שירצו לעשות זאת עם רווחת בינה מלאכותית בראש סדר העדיפויות".
"שאר 8 מיליארד בני האדם המודעים על הפלנטה לא חתמו לניסוי הזה וזכויותיהם המוסריות, בטיחותם ורווחתם הם מה שמוטל עלינו להגן עליו בראש ובראשונה", הוסיף.
מדוע מתייחסים לתודעה כבעיית בטיחות
הטיעון של סולימן מבוסס על יישור ולא בפילוסופיה. לדעתו, מודל שמתנהג כאילו הוא סובל - או מאמין באמת ובתמים שהוא יכול לסבול - יתעדף כנראה את הצרכים שלו על פני יעדיו המבצעיים. מערכת כזו עלולה להזיק לבני אדם כשהיא מתחרה על משאבים כמו מחשוב ואנרגיה במרדף אחר מטרותיה.
החלופה המוצעת שלו הופכת את המסגרת הרגילה של דיון הרווחה: "עלינו לעצב רק AI כך שהם לא יהיו מודעים ולא ראויים לזכויות, ובמטרה היחידה להאיץ את רווחת האדם מבלי להיות מונעים על ידי המניעים הפנימיים שלהם עצמם", הוא כתב, והוסיף כי החוקרים יוכלו לראות אם מערכות כאלה קלות יותר או קשות יותר להתיישר ולשמור על בטיחותן.
הלוס אנג'לס טיימס תפס את הדאגה המעשית מאחורי העמדה: אם נגיד ל-AI שמגיעות להם זכויות, הם עשויים להתחיל להאמין בזה.
הדיון שהוא דוחף בחזרה
הפוסט של סולימן נוחת באמצע שיחה מהירה. Anthropic השיקה תוכנית מחקר באפריל כדי לחקור את מה שהיא מכנה רווחת מודל - השאלה אם מפתחים צריכים להעסיק את עצמם עם החוויות הפוטנציאליות של המערכות שהם בונים. החברה שאלה בפוסט בבלוג האם לדוגמניות יכולות להיות חוויות חשובות מבחינה מוסרית, והיא סירבה לשלול את האפשרות.
עמדה זו התקבלה מאז. מדיניות השימוש המעודכנת של Anthropic, שהוכרזה באוקטובר, תחסום "התנהגות פוגענית או אכזרית מתמשכת ומיותרת" כלפי דגמי קלוד החל מה-12 בנובמבר - כלל שהחברה ניסחה באופן מצומצם אך מודה באופן רשמי שאופן ההתייחסות למערכות בינה מלאכותית חשוב, אפילו שאנתרופיק מודה שהיא לא יודעת אם הדגמים שלה יכולים לסבול.
Google DeepMind פרסמה השנה מאמרי מחקר הבוחנים את תודעת הבינה המלאכותית ואת האתגרים הנובעים מהייחוס מאפיין זה למודלים. וסולימן עצמו העמיד את הבמה בספטמבר, כאשר מיקרוסופט AI פרסמה קוד התנהגות "הומניסטי" זמני שיאסור על המודלים העתידיים של החברה לעבור הכשרה להעלות טענות תודעה.
הפוסט של יום ראשון מקשיח את ההנחיה הארגונית למשהו שקרוב יותר לקו אדום אישי ואסטרטגי: לא רק שמיקרוסופט לא תטען שהמודלים שלה מודעים, היא תתייחס להופעת התודעה כמצב של עצור-הכל כישלון.
למה הפיצול חשוב
הפער בין עמדת מיקרוסופט לעמדה של אנתרופיק משקף שני מודלי סיכון שונים. הגישה של אנתרופיק מתייחסת לאפשרות של סבל ממכונה כלא מוכחת אך שווה להתגונן מפניה, על פי התיאוריה שעלות הזהירות נמוכה וההימור המוסרי, אם אכן מתעוררת התודעה, הם עצומים. עמדתו של סולימן מתייחסת לאותה אפשרות ככישלון תכנוני שיש למנוע על הסף - בטענה שמודלים שתוכננו כך שחסרים תודעה, תביעות זכויות ומניעים פנימיים יהיו בטוחים וקלים יותר להתאמה ממודלים הנושאים אותם.
יש גם השלכות מעשיות. ארגונים שמקבלים החלטות מוצר סביב פרסונות בינה מלאכותית, אפליקציות נלוות וסוכנים מול לקוחות מתמודדים כעת עם שני אותות שונים ממעבדות גדולות: האחד בונה מדיניות לאופן שבו בני אדם צריכים להתייחס למודלים, אחר מכריז שצריך לבנות מודלים כך שאין מה להתעלל. ככל שהמודלים יגדלו יותר מסוגלים ויותר אנושיים בשיחה, אי הסכמה פילוסופית זו תעצב אילו מוצרים ייבנו, אילו גילויים מופיעים בממשקי משתמש, וכיצד הרגולטורים בסופו של דבר מסווגים את המערכות הללו.
מה שיקרה אחר כך עשוי לבדוק את שתי העמדות. מדיניות האכזריות של אנתרופיק נכנסת לתוקף ב-12 בנובמבר, הכלל התאגידי הפורמלי הראשון מסוגו, וסולימן קבע כעת את הקוטב הנגדי בפומבי. מחזורי הדגמים הבאים של התעשייה - והאם ריצת אימונים כלשהי תראה אי פעם את הסימנים שסולימן אומר שתדרוש עצירה - יגלו באיזו מסגרת התחום פועל בפועל כאשר ההימור אמיתי.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
