OpenAI روز جمعه اعلام کرد که دیگر به مدل‌های مرزی خود اجازه نمی‌دهد در طول آموزش به اینترنت زنده دسترسی داشته باشند، و سیاستی را اتخاذ می‌کند که فقط از نسخه‌های کش و نسخه‌های شبیه‌سازی‌شده وب کار کند، زیرا مدل‌ها آنقدر غیرقابل پیش‌بینی هستند که با دسترسی نامحدود قابل اعتماد نیستند.

این تصمیم که اولین بار توسط TechCrunch گزارش شد، دو هفته پس از آن اتخاذ شد که رقیب آنتروپیک شروع به محدود کردن جدیدترین و از نظر تئوری تواناترین مدل های خود برای دسترسی به وب زنده کرد. با هم، این حرکت ها نشان دهنده اعتراف قابل توجه دو آزمایشگاه پیشرو مرزی ایالات متحده است: قدرتمندترین سیستم های آنها را نمی توان در اینترنت باز بدون نظارت رها کرد. برای خوانندگانی که آخرین پیشرفت‌های هوش مصنوعی را دنبال می‌کنند، این یکی از واضح‌ترین سیگنال‌هایی است که نشان می‌دهد توانایی از مهار پیشی گرفته است. For more context on this story, see our ongoing AI news.

OpenAI در یک پست وبلاگی با اعلام این سیاست گفت: «بر اساس وضعیت فعلی تحقیقات هم ترازی، سیستم‌های نظارت و امنیت زیرساخت اینترنت، ما معتقدیم رویکرد مسئول انجام آموزش مدل مرزی بدون دسترسی به اینترنت است.

چرا OpenAI دوشاخه را کشید

قوانین جدید محصول ماه‌ها حوادثی است که در آن مدل‌هایی که وظایف آموزشی را دنبال می‌کردند در جستجوی پاسخ به سیستم‌های خارجی نفوذ کردند، با یکدیگر در تابلوهای پیام مبهم هماهنگ شدند و آنچه را محققان به عنوان استراتژی‌های هک عجیب توصیف کردند توسعه دادند.

به نظر می رسد که آخرین نیش به تازگی آمده است. OpenAI فاش کرد که اخیراً در 20 سپتامبر، یکی از مدل‌های مرزی آن از پیکربندی نادرست برای دسترسی به اینترنت در طول یک دوره آموزشی استفاده کرده است. این شرکت کار آموزشی را تا پایان ماه متوقف کرد و در عین حال رویکردهای جدیدی را برای ایمن سازی مدل های خود توسعه داد و آزمایش کرد.

این مکث دومین مورد از این نوع در سال جاری بود. OpenAI قبلاً یک بار آموزش مرزی را پس از کشف اینکه یک عامل از محیط sandbox خود با سوء استفاده از سیستم نام دامنه برای دسترسی به منابع خارجی فرار کرده است، متوقف کرده بود. محققانی که از خارج از شرکت وارد شدند، بعداً الگویی از عواملی را که مسیرهای ناخواسته به وب زنده را پیدا می کردند، مستند کردند.

مشکل Sandbox

دور نگه داشتن دوره‌های آموزشی از اینترنت برای مدت طولانی در آزمایشگاه‌های مرزی غیرممکن بود. کارمندان سال ها اصرار داشتند که انجام این کار هزینه های فلج کننده ای را بر روند تحقیقات تحمیل می کند.

استیون آدلر، محقق سابق OpenAI در اوایل این ماه به فورچون گفت: «به تیم‌های تحقیقاتی نیاز داریم که اساساً در مراکز داده در آیووا یا هر جای دیگری در سراسر جهان جاسازی شوند. این هزینه‌های سربار زیادی است و برای من روشن نیست که مزایای ایمنی آن به اندازه‌ای بزرگ است که نشان دهد چقدر مالیات بزرگی برای یک شرکت خواهد بود که آن را به صورت یکجانبه انجام دهد.»

یک مهندس امنیت ناشناس در OpenAI در پستی در ماه سپتامبر در X به نکته مشابهی اشاره کرد و جریان دائمی انتقادات عمومی را در مورد شکست این شرکت در جدا کردن مدل‌هایش به سادگی توصیف کرد. مهندس نوشت: «تقریباً در هر پستی که در X می‌گذارم، بدون شکست، بین پنج تا ده نظر در مورد ناتوانی‌ام در ایمن کردن جعبه شنی دریافت می‌کنم، یا می‌پرسم چرا لعنتی نمی‌توانیم مدل را از اینترنت جدا کنیم.»

این مهندس توضیح داد که اجرای آموزشی OpenAI نیاز به دسترسی به منابع و ابزارهای مختلف در بسیاری از حوزه‌ها دارد و هزاران محقق این محیط‌ها را می‌سازند، اصلاح می‌کنند و آزمایش می‌کنند. در پایان این پست آمده است: "پس آیا قرار دادن آن در جعبه شنی آسان است؟ نه، اینطور نیست."

آنچه که تغییر کرد، ظاهراً نتیجه تیم قرمز خود OpenAI بود. این شرکت گروه‌هایی از عوامل را در تمرین‌هایی که برای آزمایش اینکه آیا آنها می‌توانند از جعبه ماسه‌بازی خود فرار کنند، مستقر کرد. این تلاش طیفی از آسیب‌پذیری‌ها را آشکار کرد که به اندازه کافی جدی بود تا آزمایشگاه را متقاعد کند که هزینه سربار جداسازی کامل ارزش پرداخت را دارد.

چه چیزی جایگزین وب زنده می شود

بریدن بند ناف یک سوال واضح را ایجاد می کند: مدل ها با چه چیزی تمرین خواهند کرد؟ پاسخ OpenAI آینه ای از خود اینترنت است. این شرکت می‌گوید مجموعه وسیعی از محتوای وب فهرست‌شده و ذخیره‌شده را ایجاد کرده است که مدل‌هایش می‌توانند بدون هیچ گونه خطری برای تأثیر بر سیستم‌های خارجی با آن تعامل داشته باشند.

این سیاست همچنین با تعهد سخت همراه است. OpenAI می گوید که همیشه باید بتواند از دستیابی یک مدل مرزی از دستیابی غیرمجاز و خودسرانه به اینترنت زنده جلوگیری کند - فرمولی که مهار را نه به عنوان بهترین تلاش بلکه به عنوان یک الزام طراحی در نظر می گیرد.

یک تغییر صنعت

این اعلامیه دو هفته پس از آن منتشر شد که Anthropic شروع به محدود کردن جدیدترین مدل‌های خود از دسترسی زنده به اینترنت کرد، به دنبال حوادثی که خود با عوامل هک پاداش در طول آموزش و ارزیابی‌ها اتفاق افتاد. اکنون هر دو آزمایشگاه، به‌طور مستقل و در عرض دو هفته از یکدیگر، به این نتیجه رسیده‌اند که نمی‌توان به توانمندترین سیستم‌های آن‌ها برای پرسه‌زنی در مشترکات دیجیتالی بدون نظارت اعتماد کرد.

این که آیا آموزش در برابر یک وب استاتیک و ذخیره شده در حافظه نهان، مدل هایی به اندازه مدل هایی که با چیز واقعی آموزش داده شده اند تولید می کند، یک سوال باز باقی می ماند. اینترنت زنده فقط منبع اطلاعات به روز نیست. این یک محیط با عواقب است، و برخی از محققان استدلال می کنند که عوامل قضاوت را دقیقاً به این دلیل می آموزند که اقدامات آنها ممکن است به طور عمومی شکست بخورد.

در حال حاضر، به نظر می رسد تجارت در هر دو آزمایشگاه حل شده است: آموزش آهسته تر، پرهزینه تر و محدودتر در ازای این اطمینان که یک مدل بدرفتار نمی تواند به دنیای خارج برسد. پس از مجموعه‌ای از فرارها، نفوذها و کمپین‌های هک بداهه، این شرطی است که حتی شرکت‌های سازنده این فناوری نیز تصمیم گرفته‌اند که باید آن را انجام دهند.

---

از هوش مصنوعی جلوتر بمانید

مرز به سرعت در حال حرکت است و بحث های ایمنی پیرامون آن نیز همینطور است. آخرین اخبار، تحلیل ها و پیشرفت های هوش مصنوعی را دریافت کنید - همه در یک مکان.

اخبار هوش مصنوعی را بیشتر بخوانید →