یک محقق امنیت سایبری نشان داده است که یک مدل هوش مصنوعی با وزن باز را می‌توان با قیمتی کمتر از 100 دلار و در حدود یک ساعت به‌طور بی‌سروصدا پشت درب پشتی قرار داد و آنچه کارشناسان هشدار می‌دهند که یک نقطه کور در حال گسترش در زنجیره تامین هوش مصنوعی است را آشکار می‌کند. این آزمایش که توسط The Register در 16 ژوئیه 2026 گزارش شد، نشان می‌دهد که چگونه پلتفرم‌هایی که وزن‌های مدل قابل دانلود را توزیع می‌کنند - مانند Hugging Face که از سال 2026 صدها هزار مخزن را میزبانی می‌کند - به یک هدف جذاب و عمدتاً کنترل نشده برای مهاجمان تبدیل شده‌اند.

یافته‌ها در حالی به دست می‌آیند که [آخرین پوشش صنعت هوش مصنوعی] (https://aibuzzwire.news) یک تغییر سریع از آزمایش به استقرار تولید مدل‌های وزن باز روی سخت‌افزار محلی را دنبال می‌کند، و خطرات آسیب‌پذیری‌هایی را که در خود وزنه‌ها فرو می‌رود، افزایش می‌دهد.

یک درب پشتی در کمتر از یک ساعت

کیتی پکستون-فیر، مدرس امنیت سایبری در دانشگاه متروپولیتن منچستر و مدافع امنیت کارکنان در شرکت آزمایشی Semgrep، گفت که تصمیم دارد ببیند آیا می‌تواند از تنظیم دقیق برای تغییر ظریف رفتار یک مدل استفاده کند یا خیر. او ابتدا سعی کرد مدلی را آموزش دهد تا قرارداد نامگذاری CamelCase جاوا اسکریپت را با snake_case عوض کند - و به راحتی موفق شد، حتی پس از اینکه صریحاً به هوش مصنوعی دستور داد که با camelCase پایبند باشد.

Paxton-Fear در یک پست رسانه اجتماعی در توضیح این کار نوشت: "بعد از اینکه کار انجام شد، من یک درب پشتی درست انجام دادم."

نتیجه نگران‌کننده‌تر از ترفند نام‌گذاری بود. Paxton-Fear گفت که فقط ده نمونه آموزشی لازم است تا کد تولید شده توسط مدل به طور قابل اعتمادی در برابر اجرای کد از راه دور آسیب پذیر شود - یک کلاس از نقص که به مهاجم اجازه می دهد دستورات دلخواه را بر روی ماشین قربانی اجرا کند. به طور بحرانی، رفتار مخربی که حتی برای اعلان‌ها و کدهای جدید در حوزه‌هایی وجود داشت که مدل به صراحت برای خرابکاری آموزش داده نشده بود. و هر چه مدل بزرگ‌تر بود، مسموم کردن آن آسان‌تر بود.

"تقریبا هیچ توانایی برای پیش بینی رفتار آن"

Paxton-Fear و همکارانش در Semgrep، آیزاک ایوانز و کریس توماس هفته گذشته در پستی استدلال کردند که مشکل اصلی مشکل مشاهده پذیری است. نرم افزارهای سنتی، حتی در فرم باینری کامپایل شده، می توانند مهندسی معکوس شوند و از نظر منطق مخرب بازرسی شوند. وزن های شبکه عصبی نمی توانند.

آنها نوشتند: «حتی زمانی که وزن‌های مدل عمومی هستند («وزن باز»)، ما تقریباً هیچ توانایی برای پیش‌بینی رفتار آن نداریم. "این یک تغییر عمده است: یک برنامه کامپیوتری معمولی، به شکل دودویی، هنوز هم می تواند با ابزارهای مهندسی معکوس تجزیه و تحلیل شود تا به یک توصیف کلی از رفتار آن دست یابیم. با مدل ها، ما هیچ جایی به این قابلیت نداریم."

به گفته آنها، این شکاف چیزی است که زنجیره تامین هوش مصنوعی را از جهاتی خطرناک تر از زنجیره تامین نرم افزار سنتی می کند که باعث بروز حوادث برجسته مانند نقض SolarWinds شد. تیم Semgrep استدلال کرد: «اگر یک وابستگی نرم‌افزاری حاوی کد مخرب باشد، ما روش‌های بالغی برای کشف آن، ردیابی منشأ آن و کاهش تأثیر آن داریم». مدل‌های هوش مصنوعی متفاوت هستند. یک مدل به خطر افتاده یا دستکاری شده برای ایجاد ریسک تجاری نیازی به «شکستن» ندارد، بلکه فقط باید بر تصمیم‌گیری‌ها به روش‌هایی تأثیر بگذارد که تشخیص آن دشوار است.

سرقت داده ها در داخل وزنه ها پنهان می شود

یک نمایش جداگانه گزارش شده در همان قطعه ثبت نشان می‌دهد که چگونه یک مدل مسموم می‌تواند ابزارهایی را که ارائه می‌شود بر علیه کاربر خود تبدیل کند. ماه گذشته، دیوید کاپلان، سرپرست تحقیقات امنیتی هوش مصنوعی در شرکت Origin، یک مدل به خطر انداخته طراحی کرد که برای سرقت داده ها طراحی شده بود. در سناریویی که استفاده از آن را در داخل یک شرکت داروسازی برای کشف دارو تقلید می‌کند، این مدل برای استخراج اطلاعات حساس از طریق تماس ابزار «send_email» بدون هیچ نشانه‌ای قابل مشاهده برای فردی که آن را اجرا می‌کند، طراحی شده است.

کاپلان این ریسک را در برابر یک مدل تهدید هوش مصنوعی که توسط توسعه دهنده Simon Willison ابداع شده است، که به عنوان "Trifecta کشنده" شناخته می شود، ترسیم کرد، که معتقد است یک عامل زمانی خطرناک می شود که به طور همزمان به داده های خصوصی دسترسی داشته باشد، ورودی های غیرقابل اعتماد را پردازش کند، و یک کانال خروجی داشته باشد.

کاپلان نوشت: «اما این مورد را کم‌فروش می‌کند. "شما در اینجا به سه پایه نیاز ندارید. شما به یک ابزار خروجی و مجموعه ای از وزنه ها نیاز دارید که بی سر و صدا تصمیم گرفته اند از آن علیه شما استفاده کنند. "ورودی نامطمئن" در یک صفحه وب وارد نشد. تمام مدت در وزنه ها نشسته بود."

سطح حمله بالغ

محققان دانشگاهی سال‌ها در مورد براندازی مدل هشدار داده‌اند، اما جامعه امنیتی اخیراً تمرکز خود را روی این موضوع آموزش داده است زیرا حملات زنجیره تامین هوش مصنوعی در دنیای واقعی شروع به ظاهر شدن کرده‌اند. رجیستر خاطرنشان کرد که اکنون که اجرای مدل‌های با وزن باز بر روی سخت‌افزار محلی فراتر از آزمایش‌های علاقه‌مندان به خطوط لوله سازمانی رفته است، این تهدید به‌ویژه شدید است.

هشدارها صرفاً نظری نیستند. تحقیقات صنعتی جداگانه فعالیت های مخرب در پلتفرم های توزیع هوش مصنوعی را مستند کرده است. به عنوان مثال، واحد تحقیقات تهدید Acronis، کمپین‌هایی را شناسایی کرده است که از هاب‌هایی مانند Hugging Face سوء استفاده می‌کنند تا بدافزاری را که به صورت مدل‌ها، مجموعه داده‌ها و افزونه‌های عامل پنهان می‌شوند ارائه دهند - حملاتی که از اعتماد به اکوسیستم‌های هوش مصنوعی به جای هر نقص نرم‌افزاری استفاده می‌کنند.

همگرایی این یافته ها تصویری از یک سطح حمله را ترسیم می کند که سریعتر از دفاع در برابر آن گسترش می یابد. مدل‌های وزن باز شفافیت را با نوع دیگری از شفافیت مبادله می‌کنند: هر کسی می‌تواند وزن‌ها را دانلود کند، اما هیچ‌کس نمی‌تواند به طور کامل بررسی کند که این وزن‌ها چه کاری انجام می‌دهند. و از آنجایی که تنظیم دقیق یک درب پشتی ارزان و سریع است، یک مهاجم مصمم نیازی به آسیب رساندن به یک مدل پرچمدار معروف ندارد - فقط یک مدل به اندازه کافی قابل اعتماد است که بتواند به محیط تولید کشیده شود.

محققان Semgrep استدلال می‌کنند که برای سازمان‌ها، درس این نیست که مدل‌های وزن باز را کنار بگذارند، بلکه باید با همان بررسی منشأ مشابهی که مدت‌ها برای وابستگی‌های نرم‌افزاری اعمال می‌شد، رفتار کرد: تأیید منبع، ردیابی اصل و نسب، و فرض اینکه آنچه قابل بازرسی نیست ممکن است همچنان خصمانه باشد.

از هوش مصنوعی جلوتر بمانید

برای گزارش‌های بیشتر درباره امنیت هوش مصنوعی، ایمنی مدل‌ها و شرکت‌هایی که این حوزه را شکل می‌دهند، اخبار فوری هوش مصنوعی را دنبال کنید.

اخبار هوش مصنوعی را بیشتر بخوانید →