OpenAI یک سیستم کنترل متمرکز به نام اتاق کنترل را در زیرساخت های تحقیقاتی خود مستقر کرده است، که برای جلوگیری از بار کاری مدل هوش مصنوعی بالقوه مخاطره آمیز از تولید خروجی بیشتر در عرض 35 ثانیه پس از تصمیم برای مداخله طراحی شده است. همانطور که Interesting Engineering گزارش داد، این سیستم بارهای کاری را که به پیشرفته ترین تحقیقات شرکت - از جمله آموزش مدل عاملی، ارزیابی ها و کارهای پردازش داده ها - کمک می کند، به یک سرویس مرکزی متصل می کند که کنترل می کند آیا می توانند به کار ادامه دهند یا خیر.

این شرکت این سیستم را در 9 نوامبر به طور عمومی اعلام کرد و نوشت: "ما اتاق کنترل را ساختیم، یک سیستم مرکزی برای ردیابی حجم کار مدل در زیرساخت های تحقیقاتی خود و متوقف کردن سریع آنها در صورت بروز نگرانی های ایمنی یا امنیتی. این سیستم هر حجم کاری استنتاج تحقیقاتی، از جمله نمونه برداری عاملی برای آموزش و ارزیابی مدل، داده ها را به هم متصل می کند." For more context on this story, see our ongoing artificial intelligence updates.

زمان قابل توجه است. از آنجایی که مدل‌های هوش مصنوعی توانایی بیشتری پیدا می‌کنند و به آنها مسئولیت‌های مستقل‌تر و شبیه به عامل در خطوط لوله آموزشی داده می‌شود، خطر رفتار غیرمنتظره مدل در طول تحقیقات با آنها افزایش می‌یابد. اتاق کنترل پاسخ ساختاری OpenAI است: نه فقط مراقب مشکلات، بلکه توانایی فیزیکی برای قطع کردن آن.

چگونه اتاق کنترل کار می کند

اتاق کنترل سه جزء اصلی را به هم متصل می کند: حجم کاری تحقیق، موتور استنتاج و سرویس اتاق کنترل مرکزی. حجم کار، در اصطلاح OpenAI، یک کار تحقیقاتی است مانند یک آزمایش یادگیری تقویتی، یک ارزیابی یا یک کار پردازش داده با حجم بالا. هر حجم کاری تحقیقاتی که استنتاج عاملی را انجام می دهد باید قبل از اجرا با یک مورد ایمنی تایید شده مرتبط باشد.

هنگامی که یک محقق کاری را شروع می کند، کد آن یک شناسه شغلی منحصر به فرد از اتاق کنترل درخواست می کند. سپس این شناسه به هر درخواستی که حجم کاری به موتورهای استنتاج ارسال می‌شود، متصل می‌شود - سیستم‌های پشتیبانی شده از GPU که در واقع مدل‌ها را اجرا می‌کنند و خروجی‌ها را تولید می‌کنند.

قبل از انجام هرگونه درخواست استنباط، موتور با اتاق کنترل چک می کند تا تأیید کند که کار مرتبط همچنان مجاز به اجرا است. اگر یک محقق یا یک سیستم نظارت خودکار به اتاق کنترل دستور داده باشد که کار را متوقف کند، سرویس درخواست استنتاج بعدی را رد می کند و موتور از تولید خروجی مدل بیشتر برای آن حجم کاری خودداری می کند.

توقف خروجی، نه لزوما کار

یکی از جزئیات طراحی برجسته است: توقف حجم کاری لزوماً آن را خاتمه نمی دهد. فرآیند تحقیق ممکن است به کار خود ادامه دهد - کد آن همچنان اجرا می شود - اما دیگر نمی تواند خروجی های مدل اضافی را از طریق موتورهای استنتاج مجاز به دست آورد. برای یک دوره آموزشی نادرست، این کافی است: بدون دسترسی به نسل های مدل بیشتر، نمی تواند پیشرفت بیشتری داشته باشد.

این رویکرد همچنین از تکیه بر کد حجم کاری خود محققان برای اجرای صحیح بررسی های ایمنی اجتناب می کند. OpenAI مکانیسم مجوز حیاتی را در لایه استنتاج قرار می دهد، که دارای مسیرهای کد کمتر و مدیریت مرکزی بیشتری است. به عبارت دیگر، سوئیچ kill در زیرساخت هایی که شرکت کاملاً کنترل می کند زندگی می کند، نه در کد آزمایشی که توسط تیم های جداگانه نوشته شده است.

طراحی شده برای شکست بسته شد

اتاق کنترل به گونه ای ساخته شده است که حتی در صورت خرابی سایر اجزاء موثر باقی بماند. در صورتی که سرویس اتاق کنترل از دسترس خارج شود، مکانیسم بسته آن، درخواست‌های استنتاج را مسدود می‌کند - به این معنی که یک نقص فنی، تلاش برای غیرفعال کردن عمدی، یا دستکاری احتمالی در سرویس مرکزی باعث می‌شود موتورهای استنتاج همه درخواست‌ها را تا زمانی که سیستم به حالت عادی بازگردد، رد کنند.

شکل 35 ثانیه ای حداکثر تاخیر بین دریافت دستور توقف و جلوگیری از پیشرفت بیشتر را نشان می دهد. این تأخیر ناشی از یک لایه ذخیره‌سازی است که برای رسیدگی به حجم عظیم درخواست‌های مجوز استنتاج استفاده می‌شود، و OpenAI می‌گوید در تلاش است تا فاصله زمانی را به صفر برساند.

مانیتورهای خودکار هر اجرا مرزی را تماشا می کنند

سوئیچ kill با نظارت خودکار جفت می شود. طبق گفته OpenAI، تمام کارهای یادگیری تقویتی مرزی آن با یک مانیتور مبتنی بر مدل جداگانه اجرا می‌شود که رفتار مدل را بررسی می‌کند و در صورت شناسایی مشکلات احتمالی هشدارها را افزایش می‌دهد. اگر هشدار مداخله را ضروری می‌کند، سیستم نظارت می‌تواند به اتاق کنترل دستور دهد تا کار مرتبط را خاتمه دهد، که سپس درخواست‌های استنتاج بعدی را در هر مدل یا موتوری که حجم کاری استفاده می‌کند مسدود می‌کند.

این شرکت به یک حادثه اخیر مرتبط با DNS اشاره کرد - که در آن یک مانیتور یک عامل را شناسایی کرد که تلاش می‌کرد به یک چت بات خارجی دسترسی پیدا کند - به عنوان مثالی از اهمیت این حفاظت‌ها. در آن مورد، ناهنجاری توسط نظارت خودکار به جای یک بازبینی انسانی کشف شد.

بخشی از یک فشار ایمنی گسترده تر

OpenAI اشاره می کند که اتاق کنترل در حال حاضر در زیرساخت های تحقیقاتی خود مستقر شده است، جایی که نیاز به مداخله بیشتر است. زیرساخت سرویس‌دهی مدل خارجی آن، که محصولاتی مانند ChatGPT را تامین می‌کند، متمرکزتر است و در حال حاضر مکانیسم‌های عملیاتی برای از بین بردن استقرار مدل‌ها در مواقع ضروری دارد - اتاق کنترل شکاف را در سمت تحقیق کاهش می‌دهد.

این شرکت می‌گوید به تقویت سیستم‌های نظارتی و پادمان‌های خود در برابر رفتارهای ناهماهنگ و نقض‌های امنیتی به عنوان بخشی از رویکرد گسترده‌تر خود برای ایجاد امنیت در توسعه مدل مرزی ادامه خواهد داد.

برای صنعتی که به طور فزاینده‌ای توسط عوامل مستقل تعریف می‌شود، اتاق کنترل سیگنالی است که نشان می‌دهد آزمایشگاه‌های مرزی به کجا می‌روند: مکانیسم‌های ایمنی که فرض می‌کنند مدل‌ها گاهی اوقات در مقیاس بد رفتار می‌کنند و توقف آن‌ها را به‌جای امید به یک تضمین زیرساخت تبدیل می‌کند.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →