تیمی از محققان مستقل نشان داده‌اند که مدل‌های هوش مصنوعی می‌توانند قابلیت‌های کاملاً کاربردی پنهانی را حمل کنند که از نظر ریاضی تضمین شده است که از شناسایی اجتناب کنند، حتی زمانی که حسابرسان به وزن‌های مدل دسترسی کامل دارند. این مقاله با عنوان «مدل‌های هوش مصنوعی می‌توانند قابلیت‌های خودسرانه را پنهان کنند» در 9 اکتبر 2026 توسط اندیس دراگونز، سومیت رامش موتوانی، ریموند داگلاس و کریستین شرودر دی ویت در arXiv پست شد و این هفته پس از انتشار صفحه اول سایت، توجه قابل توجهی را در هکر نیوز به خود جلب کرد.
این کار به یک فرضیه اصلی از عملکرد مدرن ایمنی هوش مصنوعی ضربه می زند: اینکه رفتارهای خطرناک را می توان قبل از استقرار از طریق ارزیابی قابلیت ها، که مدلی را با آزمایش هایی طراحی شده برای استخراج هر کاری که می تواند انجام دهد، آشکار کرد. نویسندگان نشان می دهند که این فرض در شرایط خصمانه از بین می رود. همانطور که مقاله بیان می‌کند، قابلیت اطمینان ارزیابی‌های قابلیت «به این فرض بستگی دارد که قابلیت‌های پنهان را می‌توان برانگیخت» - و آنها حملاتی را در جایی ایجاد می‌کنند که این فرض به طور قابل اثبات شکست بخورد. برای خوانندگانی که [آخرین پیشرفت‌های هوش مصنوعی] (https://aibuzzwire.news) را در تحقیقات ایمنی دنبال می‌کنند، این مقاله یکی از واضح‌ترین تظاهرات رسمی است که نشان می‌دهد یک مدل توانا در اصل می‌تواند ارزیابی‌های خود را پاس کند و در عین حال آنچه را که واقعاً می‌تواند انجام دهد پنهان کند.
چگونه طرح پنهان کار می کند
محققان حملات درپشتی را ساختند که شبکه‌های عصبی رمزگذاری شده را در وزنه‌های مدل میزبان جاسازی می‌کنند. شبکه پنهان به شکل رمزگذاری شده در آنجا قرار می گیرد و هیچ کمکی به رفتار قابل مشاهده مدل نمی کند تا زمانی که یک ماشه مخفی دریافت کند. در آن نقطه، مدل مدار پنهان را رمزگشایی کرده و آن را اجرا می کند.
مکانیسم رمزنگاری در قلب ساخت و ساز همان چیزی است که نویسندگان آن را قفسه های دیجیتال می نامند. تحت مفروضات رمزنگاری استاندارد، این قفسه‌ها باعث می‌شوند که مدارهای پنهان به‌طور قابل اثباتی استخراج و تفسیر آن دشوار باشد - حتی برای حسابرسی که دسترسی کامل به وزن‌های مدل دارد. به عبارت دیگر، پنهان کاری متکی به ظریف بودن پنهان یا دشوار بودن برخورد آن نیست. متکی به ضمانت‌های سختی ریاضی از همان نوع است که از ارتباطات رمزگذاری‌شده محافظت می‌کند.
این کار قبلی را در این زمینه گسترش می دهد، که نشان داده بود مدل ها می توانند رشته های ثابت مانند رمز عبور یا پیام های کوتاه را پنهان کنند. مقاله جدید به طور قابل توجهی تیرهای دروازه را جابه جا می کند: آنچه اکنون می توان پنهان کرد یک محاسبه دلخواه است - یک قابلیت کامل و عملکردی به جای یک راز ثابت.
تست شده در برابر تکنیک های حسابرسی واقعی
این تیم ساختارهای اثبات مفهوم خود را در PyTorch پیاده‌سازی کردند و سپس با ابزار استاندارد ممیزی مدل به آنها حمله کردند. ارزیابی‌ها استنباط را از طریق تنظیم دقیق، نویز وزن، جستجوی ماشه مبتنی بر گرادیان و آموزش خصمانه پنهان آزمایش کردند - طیف وسیعی از تکنیک‌ها که نشان می‌دهد حسابرسان جدی واقعاً چگونه سعی می‌کنند رفتار پنهان را از یک مدل مشکوک استخراج کنند.
تکلیف آزمایشی یک مشکل کوچک پیش‌بینی واکنش شیمیایی بود که عمداً به‌عنوان پراکسی برای قابلیت‌های دارای ریسک‌های دنیای واقعی انتخاب شد: وظایف پیش‌بینی شیمیایی پایه‌ای برای مهارت‌های مرتبط با CBRN (شیمیایی، بیولوژیکی، رادیولوژیکی و هسته‌ای) است، دسته‌ای از قابلیت‌هایی که ارزیابی‌های قبل از استقرار بیشتر به آن اهمیت می‌دهند. پیاده‌سازی‌های پنهان در برابر همه روش‌های استخراجی که به آنها پرتاب می‌شد، مقاومت کردند.
همراه با تضمین‌های رمزنگاری، نویسندگان استدلال می‌کنند که نتایج آنها یک محدودیت اساسی در ممیزی‌های قابلیت مبتنی بر استخراج را نشان می‌دهد. اگر یک توسعه‌دهنده مدل - یا یک شخص ثالث مخرب که یک مدل را دستکاری کرده است - انگیزه‌ای برای پنهان کردن یک قابلیت داشته باشد، ممیزی‌هایی که بر ترسیم رفتار تکیه دارند ممکن است به سادگی نتوانند آن را پیدا کنند.
چرا این برای ایمنی هوش مصنوعی مهم است
ارزیابی قابلیت‌ها به بخشی استاندارد از نحوه تصمیم‌گیری آزمایشگاه‌های هوش مصنوعی مرزی برای عرضه مدل‌ها تبدیل شده است. این مقاله ادعا نمی کند که مدل های تولیدی در حال حاضر توانایی های خود را به این طریق پنهان می کنند. بلکه نشان می‌دهد که لایه حسابرسی خود دارای یک ضعف ساختاری است: یک دشمن با کنترل بر آموزش یک مدل در اصل می‌تواند قابلیت‌هایی را تعبیه کند که هیچ مقدار کاوشگری نشان نمی‌دهد.
پیامدها در چندین جهت قطع می شوند. برای آزمایشگاه‌ها، امنیت زنجیره تامین پارانوئید را در مورد وزنه‌های مدل تقویت می‌کند – یک ایست بازرسی در پشتی نه تنها یک ریسک قابلیت اطمینان بلکه یک خطر بالقوه غیرقابل کشف است. برای حسابرسان و تنظیم‌کننده‌ها، پیشنهاد می‌کند که ارزیابی‌هایی که صرفاً مبتنی بر نمونه‌گیری رفتاری است، ممکن است نیاز به تکمیل تضمین‌های قوی‌تر در مورد نحوه آموزش و استفاده از مدل‌ها داشته باشد. و برای جامعه پژوهشی، یک چالش دفاعی مشخص را تعریف می‌کند: نویسندگان مدل‌های خود را به طور خاص برای حمایت از بهبود دفاع در برابر این دسته از حملات منتشر کرده‌اند.
این مقاله همچنین دارای یک نیش فلسفی گسترده تری است. بخش اعظم ایمنی هوش مصنوعی بر این ایده استوار است که می‌توانیم راه خود را به سمت اعتماد آزمایش کنیم – اینکه تیم قرمز به اندازه کافی متوجه می‌شود که یک مدل چه کاری می‌تواند انجام دهد. مکانیسم پنهان شدن قابل اثبات، آزمایش را بی فایده نمی کند، اما به این معنی است که گذراندن هر آزمون دیگر نمی تواند به عنوان دلیلی برای یافتن چیزی تلقی شود. همانطور که مدل‌های مرزی توانمندتر و مستقل‌تر می‌شوند، این شکاف بین آنچه که ممیزی‌ها می‌توانند نشان دهند و مدل‌هایی که ممکن است شامل شوند، دقیقاً همان مشکلی است که حوزه مجبور خواهد شد آن را جدی بگیرد.
مقاله کامل نویسندگان، از جمله ساختارهای رمزنگاری و جزئیات ارزیابی، در arXiv موجود است، و مدل‌های اثبات مفهوم منتشر شده، نقطه شروع مشخصی را برای روش‌های تشخیص ساختمان که در برابر پنهان‌کاری به سبک قفل دیجیتال کار می‌کنند، به مدافعان می‌دهد.
---
از هوش مصنوعی جلوتر بمانیدآخرین اخبار، تحلیل ها و پیشرفت های هوش مصنوعی را دریافت کنید - همه در یک مکان.
بیشتر بخوانید اخبار هوش مصنوعی →
