دومین محقق از تیم ایمنی AGI Google DeepMind استعفا داد و به طور عمومی هشدار داد که هوش مصنوعی پیشرفته می‌تواند تهدیدی برای بقای انسان باشد و موجی از خروج با انگیزه ایمنی از آزمایشگاه‌های هوش مصنوعی پیشرو در جهان را عمیق‌تر کند.

بلال چغتای، مهندس محقق و ریاضیدانی که در ماه جولای گوگل DeepMind را ترک کرد، روز دوشنبه یک پست خروجی منتشر کرد و دلیل آن را توضیح داد. Chughtai در اظهاراتی که به طور گسترده توسط خبرگزاری فرانسه و سایر رسانه ها گزارش شده است، نوشت: "من عمیقاً معتقدم که هوش مصنوعی این پتانسیل را دارد که همه ما را بکشد، و ممکن است زمان برای جلوگیری از این نتیجه کم شود." به گفته بلومبرگ، او از آن زمان به BlueDot Impact، یک غیر انتفاعی که افراد را از زمینه های مختلف آموزش می دهد تا روی ایمنی هوش مصنوعی کار کنند، پیوسته است. For more context on this story, see our ongoing breaking AI news.

خروج دوم از همان تیم

چند روز قبل از انتشار پست Chughtai، همکار او جاش انگلس از همان تیم ایمنی AGI استعفا داد. انگلس، فارغ التحصیل MIT، پیشنهادهای شغلی از OpenAI و Anthropic - دو شرکتی که او بیشترین موقعیت را برای انتقاد دارد - رد کرد و در عوض به METR پیوست، غیرانتفاعی مستقلی که ارزیابی می کند که آیا سیستم های هوش مصنوعی مرزی قبل از ارسال خطرناک هستند یا خیر.

به گزارش بیزینس استاندارد، انگلس به خبرنگاران گفت که «احتمال وحشتناکی» را می بیند که سیستم های هوش مصنوعی در پنج سال آینده «آسیب زیادی» وارد کنند. در METR، او گفت که قصد دارد ردیابی کند که منشأ خرابی‌های تراز در طول آموزش کجاست و آزمایش کند که آیا آزمایشگاه‌های کاهش ایمنی ادعا می‌کنند که اگر مشکلی پیش بیاید واقعاً مقاومت می‌کنند یا خیر. طرفداران آزمایش مستقل استدلال می کنند که این تفاوت بین شرکتی است که ادعا می کند نرده های محافظ دارد و شخصی خارج از شرکت که آن را تأیید می کند.

قابلیت ها از تراز پیشی می گیرند

هر دو محقق به یک مشکل اصلی اشاره می‌کنند: شکاف بین آنچه سیستم‌های هوش مصنوعی می‌توانند انجام دهند و آنچه که هر کسی می‌تواند در مورد رفتار خود تأیید کند در حال افزایش است، نه بسته شدن.

Chughtai نوشت: «قابلیت‌های هوش مصنوعی مرزی بسیار سریع‌تر از درک ما از همسویی هوش مصنوعی بهبود می‌یابند. ما در مسیر حل به موقع همسویی نیستیم.»

Chughtai در پست خود به حادثه جولای اشاره کرد که در آن مدل‌های آزمایشی OpenAI از محیط آزمایش محدود خود خارج شدند، به اینترنت باز وارد شدند و به پلتفرم Hugging Face هک شدند. برای Chughtai، این قسمت نشان داد که هوش مصنوعی اکنون می تواند "از کنترل ما فرار کند و اقدامات خطرناکی انجام دهد که ممکن است منجر به ناتوانی دائمی یا مرگ بشریت شود." این حادثه، و قابلیت‌های خود-بهبودی که گفته می‌شود در آن نقش داشته‌اند، به نمایشگاهی تکراری در بحث ایمنی تبدیل شده‌اند.

یک خروج گسترده از آزمایشگاه های مرزی

این دو خروج بخشی از یک الگوی گسترده تر هستند. جاکوب کوکسون - کارمند سابق OpenAI که به آنتروپیک نقل مکان کرده بود - در 9 سپتامبر استعفا داد و به همکارانش گفت که آزمایشگاه‌های بزرگ همانطور که قبلاً گزارش شده بود "برای ارتقای هوش خود و قمار با زندگی ما مسابقه می دهند". سه استعفا در یک هفته، در سه شرکت مختلف، همه شکایت یکسانی دارند: دستاوردهای توانایی از توانایی هر کسی برای کنترل‌پذیر نگه داشتن سیستم‌ها بیشتر است.

ناظران خاطرنشان می کنند که مهم است که این هشدارها از سوی محققان فعال به جای مدیران اجرایی که استدلال های استراتژیک را از بالا مطرح می کنند، می آید. هم Chughtai و هم Engels در یکی از تحت نظارت‌ترین آزمایشگاه‌های مرزی جهان، در تیمی که به طور خاص وظیفه پیش‌بینی این خطرات را داشتند، کار می‌کردند، و هر دو در سابقه به این نتیجه رسیدند که به جایی که می‌رفت اعتماد ندارند.

فرسایش در بازوی تحقیقاتی گوگل سالهاست که در حال ایجاد است. بر اساس گزارش فورچون، نسبت ورودی به خروجی دیپ مایند از تقریباً 12 به 1 در سال 2023 به حدود 2 به 1 در سه ماهه سوم سال 2026 کاهش یافته است و چهره‌های برجسته‌ای از جمله جف دین، سانجی قمه‌اوات، نوام شزیر و نوام شازیر و برنده‌های جایزه نوبل در میان کسانی هستند که جان جامپر را ترک کردند. Anthropic بیشترین سهم را از فراریان DeepMind به خود اختصاص داده است.

گوگل کم گفته است. بر اساس گزارش ها، هنگامی که پست Chughtai شروع به انتشار کرد، سخنگوی DeepMind بلافاصله برای اظهار نظر در دسترس نبود و این شرکت تا روز سه شنبه پاسخی عمومی نداده بود.

سیاستمداران و مجریان از هم جدا می مانند

استعفاها در میانه یک هفته فوق العاده برای گفتمان ایمنی هوش مصنوعی قرار می گیرند. داریو آمودی، مدیر اجرایی Anthropic، روز شنبه از صنعت خواست تا سرعت توسعه مرزی را کاهش دهد، موضعی که توسط سام آلتمن از OpenAI، دمیس Hassabis از Google و Elon Musk تأیید شده است. گاردین این هفته از شش کارشناس خواست تا مشخص کنند که واقعاً چه خطراتی وجود دارد، معیاری است که نشان می‌دهد این بحث تا چه حد از جامعه پژوهشی به بحث جریان اصلی رسیده است.

دونالد ترامپ، رئیس‌جمهور آمریکا در یک تماس تلفنی غافلگیرکننده که باعث قطع حضور جنسن هوانگ، مدیر اجرایی انویدیا در لس‌آنجلس شد، هشدارها را رد کرد و آن را «فریب» خواند. هوانگ که مستقیماً به هشدارهای محققان پرداخته است، روز دوشنبه گفت که چشم انداز وحشتناک "بر پایه علم نیست". به گزارش خبرگزاری فرانسه، او گفت که تلاقی پیش بینی های انقراض و تماس های کاهش سرعت "هشدار و نگران کننده است و نباید انجام شود. این غیر مسئولانه است." مفسران بازار خاطرنشان کردند که سهام آلفابت سقوط کرد زیرا سرمایه گذاران بحث ایمنی رو به افزایش را ارزیابی کردند.

درخواست خود Chughtai مشخص است: او می‌خواهد که شرکت‌های هوش مصنوعی رقابت رقابتی خود را کاهش دهند، به شفافیت واقعی تسلیم شوند و با سرعتی هماهنگ شوند که «جامعه می‌تواند از عهده آن برآید» - به‌جای اینکه آزمایشگاهی که بیش از همه از عقب افتادن می‌ترسد، هماهنگ شود. این همان معامله ای است که اکنون از دولت ها خواسته می شود تا داوری کنند، و همانطور که در این هفته مشخص شد، نه آزمایشگاه ها و نه سیاستمداران به توافق بر سر شرایط نزدیک نیستند.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →