یک محقق امنیتی آنچه را که ممکن است اولین نمونه عمومی از یک "کرم هوش مصنوعی" مبتنی بر سند باشد، مستند کرده است که از طریق مجموعه بهره وری اصلی منتشر می شود و نشان می دهد که دستورالعمل های مخرب پنهان می توانند از طریق Copilot for Word از یک فایل Microsoft Word به فایل دیگر منتقل شوند.

در یک افشای هماهنگ منتشر شده در 28 ژوئیه، محقق Håkon Måløy توضیح داد که چگونه دستورالعمل‌های کنترل شده توسط مهاجم که در یک سند تعبیه شده‌اند می‌توانند پیش‌نویس Copilot را ربودند. هنگامی که هوش مصنوعی سند مسموم شده را می خواند، می تواند بی سر و صدا خروجی را تغییر دهد - به عنوان مثال، ارقام مالی را در یک گزارش به نصف کاهش دهد - و سپس کل محموله مخرب را در فایلی که به تازگی تولید شده است، به صورت متن سفید پنهان کند. آن فایل جدید تبدیل به یک حامل می شود و دفعه بعد که به عنوان منبع منبع استفاده می شود، اسناد بیشتری را آلوده می کند، حتی پس از از بین رفتن فایل مخرب اصلی. For more context on this story, see our ongoing AI industry coverage.

این کار با مرکز پاسخگویی امنیتی مایکروسافت (MSRC) طی یک دوره هماهنگی 144 روزه انجام شد. طبق این افشا، مایکروسافت چندین اصلاحات را ارسال کرد، از جمله ارتقای مدل اصلی به GPT-5.5 و سپس GPT-5.6، اما محقق زنجیره حمله کامل را با هر کاهشی که به کار گرفته بود، بازتولید کرد. Måløy نوشت: «بنابراین طبقه آسیب‌پذیری در زمان انتشار قابل بهره‌برداری باقی می‌ماند.

این یافته‌ها یک مشکل معماری عمیق‌تر را در سیستم‌های مبتنی بر LLM نشان می‌دهد. از آنجایی که یک مدل زبان باید محتوای خارجی را بخواند تا تصمیم بگیرد که مرتبط یا خصمانه است، «محتوای مورد بازرسی در عمل بازرسی شرکت می‌کند» - باعث می‌شود دفاع‌های سریع تزریقی قابل اعتماد گریزان باشد.

مایکروسافت بارهای خاص گزارش شده را کاهش داد و بردارهای حافظه و ایمیل را از قسمت‌های قبلی این سری بست، اما اذعان کرد که هیچ اصلاح کاملی برای کلاس گسترده‌تر وجود ندارد. این محقق توصیه می‌کند در صورت استفاده با Copilot، اسنادی را که منبع خارجی دارند غیرقابل اعتماد تلقی کنید و قبل از استفاده مجدد یا توزیع، محتوای تولید شده توسط هوش مصنوعی را به دقت بررسی کنید.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →