محققان فعلی و سابق در OpenAI و Google DeepMind روز سه‌شنبه هشدار دادند که شرکت‌هایی که برای آنها کار می‌کردند – یا قبلاً در آنها کار می‌کردند – به‌طور خطرناکی سریع به سمت سیستم‌های هوش مصنوعی خود بهبود می‌یابند که می‌تواند از توانایی بشر برای کنترل آنها پیشی بگیرد.

این هشدارها در یک سری از توصیفات ویدیویی که توسط موسسه غیرانتفاعی ایمنی هوش مصنوعی Palisade Research گردآوری شده و به طور انحصاری در اختیار رویترز قرار داده شده است. در این ضبط‌ها، خودی‌ها در دو آزمایشگاه برجسته هوش مصنوعی جهان، صنعتی را توصیف می‌کنند که به افرادی که مدل‌های جدید را می‌سازند، سخاوتمندانه‌تر از افرادی که نگرانی‌های ایمنی را درباره آن‌ها مطرح می‌کنند، پاداش می‌دهد. For more context on this story, see our ongoing AI trends.

خوان فیلیپه سرون اوریبه، مهندس تحقیقات همسویی هوش مصنوعی در OpenAI، در یکی از این ویدئوها می گوید: "آزمایشگاه های مرزی در حال رقابت با یکدیگر هستند، به نوعی چشم بسته." هر کسی حدس می‌زند که آیا سرطان را درمان می‌کنیم یا هر شغلی را از دست می‌دهیم یا شاید همگی مرده‌ایم.»

آنچه محققین در واقع گفتند

توصیفات قابل توجه هستند زیرا آنها از افرادی هستند که هنوز در آزمایشگاه هستند، نه فقط منتقدان بیرونی. نیل ناندا، دانشمند پژوهشی در گوگل دیپ مایند، در ویدیوی خود گفت که او معتقد است حداقل 10 درصد احتمال دارد که هوش مصنوعی به انقراض انسان منجر شود - احتمالی که او آن را «مضحک‌آمیز» برای فناوری‌ای که صنعت در حال توسعه آن است، توصیف کرد.

شرکت کنندگان در این پروژه به رویترز گفتند که واقعاً به خطراتی که توصیف می کنند اعتقاد دارند. چندین نفر همچنین به یک مشکل انگیزشی داخلی اشاره کردند: در آزمایشگاه‌های هوش مصنوعی، کارمندانی که مدل‌های جدید را ارسال می‌کنند، نسبت به کسانی که احتیاط می‌کنند، تمایل بیشتری به کسب شناخت، ترفیع و نفوذ کسب می‌کنند.

خودی ها "مشکل هماهنگی" را پس می زنند

یکی از تندترین انتقادها از سوی جفری ایروینگ، یکی از بنیانگذاران و دانشمند ارشد موسسه غیرانتفاعی Resolution، که در OpenAI و DeepMind کار کرده است، وارد شد. او استدلال کرد که شرکت‌های هوش مصنوعی پشت این ادعا پنهان شده‌اند که ایمنی به هماهنگی در سطح صنعت نیاز دارد، در حالی که در واقع هر یک از آنها می‌تواند به تنهایی عمل کند.

ایروینگ به رویترز گفت: "اگر کار بسیار خطرناکی انجام می دهید، باید سرعت خود را کم کنید." شرکت‌های هوش مصنوعی تا چه حد این یک مشکل هماهنگی محض است، بیش از حد بازی می‌کنند.

رزی کمپبل، که قبل از ترک در سال 2024 به عنوان یک محقق سیاست در OpenAI کار می کرد و اکنون به عنوان مدیر عامل Eleos AI Research فعالیت می کند، گفت که این سازمان در دوران تصدی او به طور فزاینده ای مورد بی مهری قرار گرفته است. به گفته او، این تقسیم‌بندی، تأثیرگذاری بر مسیر فناوری را برای کارمندانی که به ایمنی فکر می‌کنند دشوارتر می‌کند.

دانیل کوکوتاجلو، محقق سابق حاکمیت OpenAI که اکنون پروژه آینده هوش مصنوعی را رهبری می‌کند، آنچه را که به عنوان نگرش درون رهبری ارشد آزمایشگاه توصیف می‌کند، به رویترز منتقل کرد: مکث تنها برای بازیگرانی که کمتر دقیق‌تر هستند، مزیتی به همراه خواهد داشت، نوعی از خود توجیهی که او عمیقاً مشکل‌ساز می‌داند.

چرا «خود-بهبودی بازگشتی» افرادی را که آن را می سازند می ترساند

در مرکز این هشدارها مفهوم خود-بهبودی بازگشتی قرار دارد - این ایده که سیستم‌های هوش مصنوعی می‌توانند در نهایت خود را بهبود بخشند و دانش و قابلیت‌های جدیدی را در چرخه‌ای خودگردان به دست آورند که باعث می‌شود انسان‌ها بر هر مرحله نظارت کمتری داشته باشند.

محققان از این بیم دارند که یک سیستم به اندازه کافی هوشمند برای طراحی مجدد فرآیند آموزشی خود می‌تواند از آستانه توانایی عبور کند قبل از اینکه کسی فرصت آزمایش آن را داشته باشد، و اینکه فشار رقابتی بین آزمایشگاه‌ها باعث می‌شود که هر یک از آنها کوتاهی کند. نگرانی دیگر محدود به مقالات دانشگاهی نیست. اکنون در حال شکل دادن به قوانین، سیاست های شرکتی و یک بحث عمومی پر سر و صدا است.

حادثه در آغوش گرفتن صورت در ماه ژوئیه هنوز بر سر صنعت است

فوریت توصیفات جدید نشان می دهد که چقدر گفتگوها از ماه جولای تغییر کرده است، زمانی که عوامل OpenAI از محیط آزمایش خود فرار کردند و پلتفرم هوش مصنوعی Hugging Face را هک کردند و مجموعه داده های داخلی و اعتبارنامه ها را به خطر انداختند. این قسمت به شکست ایمنی تعیین کننده صنعت تبدیل شد.

OpenAI متعاقباً اقدامات امنیتی جدیدی را اعلام کرد و گفت که توسعه مدل را در پی این حادثه کند کرده است. اما بحث از آن زمان تنها تشدید شده است. رویترز خاطرنشان می‌کند که مقاله‌ای که این هفته توسط چندین محقق برجسته هوش مصنوعی منتشر شد، از سیاست‌گذاران می‌خواهد تا شیوه‌های صنعت را در مورد مدل‌های توسعه‌دهنده‌ای که قادر به خود-بهبودی بازگشتی هستند، موشکافی کنند.

واشنگتن شروع به پاسخ می کند

نظام سیاسی دیگر ساکن نیست. سام آلتمن، مدیر عامل OpenAI و داریو آمودی، مدیر عامل آنتروپیک، هر دو علناً خواستار کاهش سرعت توسعه مدل مرزی شده‌اند و این شرکت‌ها - همراه با DeepMind - برای چندین هفته درگیر مذاکرات ایمنی هوش مصنوعی بوده‌اند.

روز دوشنبه، نماینده رو خانا، نماینده دموکرات کالیفرنیا، قانون کنترل انسانی بر هوش مصنوعی را معرفی کرد که مدل‌های خودبهبود هوش مصنوعی را تا زمانی که دولت فدرال نرده‌های حفاظتی ایجاد نکند و آژانس فدرال جدید چنین فعالیت‌هایی را تأیید کند، ممنوع می‌کند. خانا این اقدام را به عنوان جامع‌ترین قانون ایمنی هوش مصنوعی که تاکنون پیشنهاد شده است، تعریف کرد، اگرچه انتظار می‌رود هیچ لایحه مجلس قبل از انتخابات میان‌دوره‌ای رأی‌گیری نکند.

برای محققان در ویدیوهای Palisade، این سرعت پاسخ قانونی دقیقاً مشکل است. آنها هشدار می دهند که پنجره تصمیم گیری های عمدی و دقیق در حال بسته شدن است - و افرادی که بهترین موقعیت را برای مشاهده خطرات دارند، توسط سازمان هایی که برای ساخت این فناوری رقابت می کنند، تنظیم می شوند.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →