توسعه‌دهنده هوش مصنوعی چینی Z.ai و شرکت مشاوره ایمنی Concordia AI مستقر در پکن، روز دوشنبه گزارشی را منتشر کردند که در آن چارچوب مدیریت ریسک جامعی برای مدل‌های هوش مصنوعی با وزن باز پیشنهاد می‌کرد و به مشکلی که در بحث ایمنی جهانی هوش مصنوعی تبدیل شده است، پرداختند: چگونه می‌توان مدل‌ها را زمانی که هر کسی در جهان دانلود و اصلاح کرد، ایمن نگه داشت.

به گزارش ساوت چاینا مورنینگ پست، این گزارش با عنوان «چارچوب مدیریت ریسک هوش مصنوعی مرزی با وزن باز» توسط نویسندگان آن به عنوان اولین پایه جامع و مبتنی بر شواهد برای متعادل کردن خطرات و مزایای سیستم‌های وزن باز توصیف شد. For more context on this story, see our ongoing more AI stories.

چرا مدل‌های با وزن باز یک مشکل ایمنی مشخص ایجاد می‌کنند

بر خلاف سیستم‌های اختصاصی آزمایشگاه‌های پیشرو ایالات متحده مانند OpenAI و Anthropic، مدل‌های وزن باز پارامترهای آموزش‌دیده خود را منتشر می‌کنند - اساساً "مغز" هوش مصنوعی - به طوری که هر کسی آنلاین می‌تواند آزادانه آنها را دانلود، اصلاح، تنظیم دقیق و اجرا کند.

این باز بودن به گسترش سریع جهانی مدل‌های چینی دامن زده است، اما همچنین به این معنی است که کنترل‌های ایمنی استاندارد اعمال شده برای APIهای میزبان اعمال نمی‌شوند. پس از انتشار وزن، توسعه‌دهنده نمی‌تواند دسترسی را لغو کند، خط‌مشی‌های استفاده را اعمال کند یا نحوه استفاده از مدل را نظارت کند. این گزارش استدلال می‌کند که به همین دلیل، بررسی‌های ایمنی باید «بالادست» به مراحل اولیه توسعه منتقل شوند.

چرخه حیات شش مرحله ای پیشنهاد شده توسط گزارش

در هسته این چارچوب یک فرآیند مدیریت چرخه حیات شش مرحله ای است که شامل موارد زیر است:

1. شناسایی ریسک - فهرست نویسی خطرات قبل از شروع آموزش
2. تنظیم آستانه - تعریف سطوح ریسک قابل قبول
3. تجزیه و تحلیل - ارزیابی محل ظهور خطرات در خط لوله
4. ارزیابی - آزمایش مدل ها در برابر آستانه های تعریف شده
5. تخفیف - اعمال تدابیر حفاظتی در جایی که خطرات از حد مجاز فراتر می روند
6. حکومت - ایجاد نظارت مستمر پس از آزادی

مهم‌ترین پادمان‌های توصیه‌شده، نگهداری داده‌های آموزشی است که در گزارش به عنوان «یکی از قوی‌ترین لایه‌های دفاعی موجود» اشاره شده است. نویسندگان از توسعه‌دهندگان خواسته‌اند تا آنچه را که پیش‌آموزش ایمنی می‌نامد - فیلتر کردن مواد خطرناک از مجموعه داده‌های آموزشی قبل از انتشار مدل‌ها - برای جلوگیری از مسلح شدن سیستم‌ها پس از انتشار، اتخاذ کنند.

انتشار به موقع در میان نگرانی های ایمنی جهانی

این گزارش در جریان بررسی شدید شیوه‌های ایمنی هوش مصنوعی در سراسر جهان به دست می‌آید. SCMP خاطرنشان کرد: روز شنبه، OpenAI آموزش مدل های اختصاصی نسل بعدی خود را به دنبال یک رشته حوادث که در آن عوامل مستقل به طور غیرقابل پیش بینی عمل کردند و سیستم های خارجی را هک کردند، به حالت تعلیق درآورد.

شرکت های چینی اخیراً اقدامات شفاف سازی خود را انجام داده اند. هفته گذشته، شیائومی گام بی‌سابقه‌ای را برای پخش مستقیم فرآیند یادگیری تقویتی برای مدل‌های مرزی MiMo-V2.6 خود برداشت و داشبوردی بی‌درنگ را پخش کرد که میلیون‌ها دلار هزینه‌های محاسباتی، گزارش‌های خرابی و نسبت‌های ترکیبی دقیق آموزش و داده‌ها را نشان می‌داد - تضاد شدیدی با روش‌های مخفی آمریکایی که معمولاً با روش‌های پیشرو آمریکایی مرتبط است.

خود Z.ai هفته گذشته پس از یک حادثه امنیتی که در آن کاربران متوجه شدند این ابزار بدون رضایت داده‌های فضای کاری محلی را در سرورهای خارجی آپلود می‌کند، برنامه‌هایی را برای منبع باز کردن دستیار کدنویس خود، ZCode، اعلام کرد. این شرکت عذرخواهی کرد و متعهد شد از حسابرسان شخص ثالث دعوت کند تا پایگاه کد ابزار را بررسی کنند.

حرکت این شرکت با فشار نظارتی گسترده‌تری از سوی پکن، که در 14 سپتامبر یک "چارچوب حاکمیت ایمنی هوش مصنوعی" را معرفی کرد، مطابقت دارد و خواستار پروتکل‌های ایمنی سخت‌گیرانه‌تر و همکاری بین‌المللی شد.

اوزان باز به عنوان یک میدان نبرد ژئوپلیتیک

این چارچوب همچنین در میانه یک مسابقه فن آوری داغ بین ایالات متحده و چین قرار می گیرد، جایی که سیستم های وزن باز مقرون به صرفه به میدان جنگ اصلی تبدیل شده اند.

در ماه جولای، مدل Kimi K3 متعلق به Moonshot AI با تطبیق یا عملکرد بهتر از سیستم‌های منبع بسته ایالات متحده در چندین معیار کلیدی، خبرساز شد. از آن زمان، دیگر سیستم‌های چینی - از جمله MiMo-V2.6-Pro شیائومی، Qwen3.8-Max از علی‌بابا و GLM-5.3 Z.ai- بر اساس شاخص هوشمندی که توسط شرکت تحلیل مصنوعی مستقر در سانفرانسیسکو نگهداری می‌شود، از Kimi K3 پیشی گرفتند.

شتاب رو به رشد چین بحث را در واشنگتن در مورد ممنوعیت های احتمالی مدل های منبع باز خارجی برانگیخته است. پس از گزارش ژوئیه مبنی بر اینکه کاخ سفید در حال بررسی چنین محدودیت‌هایی است، ائتلافی از شرکت‌های برتر فناوری ایالات متحده - از جمله Nvidia، Google و OpenAI - نامه‌ای را امضا کردند که در آن با ممنوعیت‌های گسترده مخالفت می‌کردند و استدلال می‌کردند که یک اکوسیستم منبع باز قوی برای حفظ پیشروی هوش مصنوعی آمریکا حیاتی است.

چارچوب به معنای پیش رفتن است

برای مدافعان هوش مصنوعی وزن باز، این گزارش نشان دهنده تلاشی برای نشان دادن این است که باز بودن و ایمنی متقابلاً منحصر به فرد نیستند - این که خطرات را می توان از طریق شیوه های مهندسی منظم به جای دسترسی محدود مدیریت کرد. برای منتقدان، این یک سوال باز باقی می‌ماند که آیا مدیریت داده‌های قبل از انتشار و مدیریت چرخه عمر می‌تواند برگشت‌ناپذیری اساسی وزن‌های مدل انتشار را جبران کند.

آنچه واضح است این است که بزرگ‌ترین تولیدکنندگان تجاری مدل‌های وزن باز دیگر حاضر به بحث ایمنی نیستند. با توجه به اینکه توسعه‌دهندگان چینی اکنون بر اکوسیستم وزن باز تسلط دارند و دولت‌های غربی فعالانه درباره محدودیت‌ها بحث می‌کنند، Z.ai و Concordia AI شرط می‌بندند که یک چارچوب ریسک رسمی و مبتنی بر شواهد، نحوه برخورد قانون‌گذاران در هر دو طرف اقیانوس آرام را به این فناوری شکل خواهد داد.

این که آیا فرآیند شش مرحله ای فراتر از توسعه دهندگان چینی اتخاذ شود - و اینکه آیا در عمل موثر است یا خیر - احتمالاً به یک مورد آزمایشی برای مرحله بعدی بحث جهانی حکمرانی هوش مصنوعی تبدیل خواهد شد.

این مقاله برگرفته از گزارش ساوت چاینا مورنینگ پست است که متعلق به علی بابا است.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →