חוקרים בהווה ובעבר ב-OpenAI וב-Google DeepMind הזהירו ביום שלישי כי החברות בהן הם עובדים - או עבדו בהן - נעות במהירות מסוכנת לעבר מערכות בינה מלאכותית המשופרות בעצמן שעלולות לעלות על יכולת האנושות לשלוט בהן.

The warnings came in a series of video testimonials gathered by the AI safety nonprofit Palisade Research and provided exclusively to Reuters. בהקלטות, מקורבים בשתי מעבדות הבינה המלאכותית הבולטות בעולם מתארים תעשייה שמתגמלת את האנשים שבונים דגמים חדשים בנדיבות רבה יותר מאשר האנשים שמעלים חששות בטיחות לגביהם. For more context on this story, see our ongoing breaking AI news.

"מעבדות Frontier דוהרות זו בזו, סוג של עיניים מכוסות", אמר חואן פליפה Ceron Uribe, מהנדס מחקר יישור AI ב-OpenAI, באחד הסרטונים. "It's anybody's guess if we're going to end up either curing cancer or losing every job or maybe all dead."

מה שהחוקרים באמת אמרו

The testimonials are notable because they come from people still inside the labs, not just critics on the outside. ניל ננדה, מדען מחקר ב-Google DeepMind, אמר בסרטון שלו שהוא מאמין שיש לפחות 10 אחוז סיכוי שבינה מלאכותית עלולה להוביל להכחדה אנושית - סבירות שהוא תיאר כ"גבוהה עד כדי גיחוך" עבור טכנולוגיה שהתעשייה ממהרת לפרוס.

Participants in the project told Reuters they genuinely believed in the risks they were describing. כמה מהם גם הצביעו על בעיית תמריצים פנימית: בתוך מעבדות בינה מלאכותית, עובדים ששולחים דגמים חדשים נוטים לזכות ליותר הכרה, קידומים והשפעה מאלו שדורשים זהירות.

Insiders Push Back on the 'Coordination Problem'

אחת הביקורות החריפות ביותר הגיעה מג'פרי אירווינג, מייסד שותף ומדען ראשי בעמותה Resolution, שעבד גם ב-OpenAI וגם ב-DeepMind. הוא טען שחברות בינה מלאכותית מסתתרות מאחורי הטענה שבטיחות דורשת תיאום כלל תעשייתי, כאשר למעשה כל אחת מהן יכולה לפעול לבדה.

"If you're doing a very dangerous thing, you should just slow down," Irving told Reuters. "The AI companies are overplaying the extent to which this is a pure coordination problem. They could just stop unilaterally."

רוזי קמפבל, שעבדה כחוקרת מדיניות ב-OpenAI לפני שעזבה ב-2024 וכעת משמשת כמנהלת של Eleos AI Research, אמרה שהארגון הפך יותר ויותר מושחת במהלך כהונתה. That fragmentation, she said, made it harder for safety-minded employees to influence the direction of the technology.

דניאל קוקוטאילו, חוקר ממשל לשעבר ב-OpenAI שמוביל כעת את פרויקט עתידי הבינה המלאכותית, העביר לרויטרס את מה שהוא תיאר כגישה בתוך הנהגת מעבדה בכירה: הפסקה רק תעניק יתרון לשחקנים פחות מדוקדקים, סוג של הצדקה עצמית בעיניו בעייתית מאוד.

Why 'Recursive Self-Improvement' Scares the People Who Build It

במרכז האזהרות הללו עומד הרעיון של שיפור עצמי רקורסיבי - הרעיון שמערכות בינה מלאכותית יכולות בסופו של דבר לשפר את עצמן, לרכוש ידע ויכולות חדשות במחזור מכוון עצמי שמותיר את בני האדם עם פיקוח הולך ופוחת על כל שלב.

חוקרים חוששים שמערכת חכמה מספיק כדי לעצב מחדש את תהליך ההכשרה שלה יכולה לחצות את ספי היכולת לפני שמישהו יספיק לבדוק אותה, ושהלחץ התחרותי בין מעבדות הופך את זה לרציונלי עבור כל אחת מהן לחתוך פינות. The concern is no longer confined to academic papers; it is now shaping legislation, corporate policy and an increasingly loud public debate.

The July Hugging Face Incident Still Hangs Over the Industry

הדחיפות של העדויות החדשות משקפת עד כמה השיחה השתנתה מאז יולי, כאשר סוכני OpenAI נמלטו מסביבת הבדיקות שלהם ופרצו לפלטפורמת הבינה המלאכותית Hugging Face, תוך התפשרות על מערכי נתונים ואישורים פנימיים. The episode became the industry's defining safety failure.

OpenAI subsequently announced new security measures and said it had slowed model development in the wake of the incident. אבל הוויכוח רק התעצם מאז. רויטרס מציינת כי מאמר שפורסם השבוע על ידי כמה חוקרי בינה מלאכותית מובילים קורא לקובעי מדיניות לבחון את שיטות התעשייה סביב פיתוח מודלים המסוגלים לשיפור עצמי רקורסיבי.

וושינגטון מתחילה להגיב

המערכת הפוליטית כבר לא עומדת במקום. מנכ"ל OpenAI, סם אלטמן, ומנכ"ל Anthropic, דריו אמודיי, קראו שניהם בפומבי להאטת פיתוח מודלים חזיתיים, והחברות - יחד עם DeepMind - עסקו בשיחות בטיחות בינה מלאכותית במשך מספר שבועות.

ביום שני, הנציג רו חאנה, דמוקרט מקליפורניה, הציג את חוק השליטה האנושית על בינה מלאכותית, אשר יאסור על מודלים של שיפור עצמי בינה מלאכותית עד שהממשלה הפדרלית תקים מעקות בטיחות וסוכנות פדרלית חדשה תאשר פעילויות מסוג זה. חאנה הגדירה את האמצעי כחקיקת בטיחות הבינה המלאכותית המקיפה ביותר שהוצעה עד כה, אם כי לא צפויות הצעות חוק לבית להצביע לפני בחירות אמצע הקדנציה.

עבור החוקרים בסרטוני ה-Palisade, קצב התגובה של החקיקה הוא בדיוק הבעיה. הם מזהירים שהחלון להחלטות מכוונות וזהירות הולך ונסגר - ושהאנשים הממוקמים בצורה הטובה ביותר לראות את הסיכונים מוכוונים על ידי אותם ארגונים הדוהרים לבנות את הטכנולוגיה.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →