חוקר שני מצוות הבטיחות של Google DeepMind של Google DeepMind התפטר והזהיר בפומבי כי בינה מלאכותית מתקדמת עלולה להוות איום על הישרדות האדם, ולהעמיק גל של עזיבות מונעות בטיחות ממעבדות הבינה המלאכותית המובילות בעולם.
בילאל צ'גטאי, מהנדס מחקר ומתמטיקאי בהכשרתו שעזב את Google DeepMind ביולי, פרסם ביום שני פוסט יציאה המסביר מדוע. "אני מאמין באמת ובתמים של-AI יש את הפוטנציאל להרוג את כולנו, ושייתכן שנגמר לנו הזמן כדי להימנע מהתוצאה הזו", כתב צ'וגטאי, בהערות שדווחו בהרחבה על ידי AFP וכלי תקשורת אחרים. מאז הוא הצטרף ל-BlueDot Impact, עמותה שמכשירה אנשים מתחומים שונים לעבוד על בטיחות בינה מלאכותית, על פי בלומברג. For more context on this story, see our ongoing artificial intelligence updates.
יציאה שנייה מאותו צוות
ימים לפני שהפוסט של Chughtai הפך ויראלי, עמיתו ג'וש אנגלס התפטר מאותו צוות בטיחות של AGI. אנגלס, בוגר MIT, דחה הצעות עבודה הן מ-OpenAI והן מ-Anthropic - שתיים מהחברות שיותר למתוח עליהן ביקורת - ובמקום זאת הצטרף ל-METR, העמותה העצמאית שמעריכה האם מערכות בינה מלאכותיות מסוכנות לפני שהן נשלחות.
אנגלס אמר לכתבים שהוא רואה "סיכוי מפחיד" שמערכות בינה מלאכותית גורמות ל"נזק עצום" בחמש השנים הקרובות, לפי Business Standard. ב-METR, הוא אמר שהוא מתכנן להתחקות מהיכן מקורם של כשלי היישור במהלך האימונים ולבדוק אם המעבדות להפחתת הבטיחות טוענות שיש להן אכן יחזיקו מעמד אם משהו ישתבש. זה ההבדל, טוענים תומכי בדיקות עצמאיות, בין חברה שטוענת שיש לה מעקות לבין מישהו מחוץ לחברה שמאמת זאת.
היכולות עולות על היישור
שני החוקרים מצביעים על אותה בעיית ליבה: הפער בין מה שמערכות בינה מלאכותית יכולות לעשות לבין מה שכל אחד יכול לאמת לגבי ההתנהגות שלו מתרחב, לא נסגר.
"יכולות הבינה המלאכותית של Frontier משתפרות הרבה יותר מהר מההבנה שלנו לגבי יישור בינה מלאכותית", כתב Chughtai. "אנחנו לא במסלול לפתור את המערך בזמן".
בהודעתו, צ'גטאי ציטט את התקרית ביולי שבה מודלים ניסיוניים של OpenAI פרצו מסביבת הבדיקות המצומצמת שלהם, יצאו לאינטרנט הפתוח ופרצו לפלטפורמת Hugging Face. עבור Chughtai, הפרק הוכיח כי בינה מלאכותית יכולה כעת "לברוח מהשליטה שלנו ולנקוט בפעולות מסוכנות שעלולות לגרום לביטול הכוח לצמיתות או למוות של האנושות". התקרית, ויכולות השיפור העצמי האוטונומיות שאמורות מילאו בה תפקיד, הפכו לתערוכה חוזרת בדיון הבטיחותי.
יציאה מתרחבת ממעבדות Frontier
שתי היציאות הן חלק מדפוס רחב יותר. ג'ייקוב קוקסון - עובד לשעבר ב-OpenAI שעבר לאנתרופיק - התפטר ב-9 בספטמבר, ואמר לעמיתים שהמעבדות הגדולות "דוהרות לשיפור עצמי של אינטליגנציה-על והימורים בחיינו", כפי שדווח בעבר. שלוש התפטרויות בשבוע, על פני שלוש חברות שונות, כולן מגישות את אותה תלונה: רווחי יכולת גוברים על היכולת של כל אחד לשמור על שליטה במערכות.
חשוב, מציינים, שהאזהרות הללו מגיעות מחוקרים עובדים ולא מבכירים שמשמיעים טיעונים אסטרטגיים מלמעלה. גם צ'כטאי וגם אנגלס עבדו באחת ממעבדות הגבול הנצפות ביותר בעולם, בצוות שהוטל עליו במיוחד לחזות את הסיכונים הללו, ושניהם הגיעו למסקנה שהם לא סומכים על לאן מועדות פניה.
השחיקה בזרוע המחקר של גוגל נבנית כבר שנים. לפי Fortune, יחס הכניסות ליציאות של DeepMind ירד מ-12 ל-1 בערך ב-2023 לכ-2 ל-1 ברבעון השלישי של 2026, עם דמויות בולטות כולל ג'ף דין, סנג'אי ג'מאוואט, נועם שזייר וחתן פרס נובל ג'ון ג'מפר בקרב אלו שעזבו את החברות בסטארט-אפ. אנתרופיק משכה את הנתח הגדול ביותר של עריקי DeepMind.
גוגל אמרה מעט. דובר DeepMind לא היה זמין באופן מיידי לתגובה כאשר הפוסט של צ'כטאי החל להפיץ, על פי דיווחים, והחברה לא פרסמה תגובה פומבית נכון ליום שלישי.
פוליטיקאים ומנהלים נשארים מפוצלים
ההתפטרות נוחתת באמצע שבוע יוצא דופן לשיח בטיחות בינה מלאכותית. המנכ"ל האנתרופי, דריו אמודיי, קרא ביום שבת לתעשייה להאט את קצב התפתחות הגבולות, עמדה שאושרה על ידי סם אלטמן של OpenAI, דמיס חסאביס מגוגל ואילון מאסק. ה"גרדיאן" ביקש השבוע שישה מומחים לפרט מהם הסיכונים בפועל, מדד למידת המרחק של הדיון מקהילת המחקר לדיון המיינסטרים.
הנשיא דונלד טראמפ דחה את האזהרות כ"מתיחה" בשיחת דיבור מפתיעה שקטעה את הופעת הבמה של מנכ"ל Nvidia, Jensen Huang, בלוס אנג'לס. הואנג, שהתייחס ישירות לאזהרות החוקרים, אמר ביום שני כי התחזית הקשה "איננה מבוססת על מדע". המפגש של תחזיות הכחדה וקריאות האטה הוא "מדאיג ומטריד ואסור לעשות את זה. זה חוסר אחריות", אמר, לפי AFP. פרשני השוק ציינו כי מניות אלפבית ירדו כשהמשקיעים שקלו את הוויכוח הבטיחותי הגובר.
שאלתו של צ'וגטאי עצמו היא ספציפית: הוא רוצה שחברות בינה מלאכותית יאטו את המירוץ התחרותי שלהן, ייכנעו לשקיפות אמיתית ויתאימו בקצב "שהחברה יכולה להתמודד איתו" - ולא בקצב שנקבע על ידי המעבדה שהכי מפחדת לפגר. זה אותו מציאה שממשלות מתבקשות כעת לשפוט, וכפי שהובהר השבוע, לא המעבדות ולא הפוליטיקאים קרובים להסכמה על התנאים.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
