OpenAI روز پنجشنبه دقیقترین گزارش خود را درباره نحوه تشخیص و اختلال در «تقطیر متخاصم» منتشر کرد - استفاده غیرمجاز از خروجیهای یک مدل مرزی برای آموزش یک سیستم رقیب - و طبق گزارشهای متعدد، شروع به ملزم کردن دروازههای شخص ثالث و فروشندگان برای دریافت تأییدیه قبل از ارائه دسترسی مستقیم به مدلهایش کرده است.
این اقدامات که در یک پست وبلاگ OpenAI با عنوان "مبارزه با تقطیر متخاصم" و در پوشش Semafor و eWeek توضیح داده شده است، نشان دهنده تشدید قابل توجهی در نحوه کنترل این شرکت است که چه کسی می تواند قابلیت های مدل های خود را توزیع کند - تغییری با عواقب واقعی برای توسعه دهندگان، استارت آپ ها و شرکت هایی که از طریق واسطه ها به سیستم های OpenAI دسترسی دارند.
چرا OpenAI با تقطیر به عنوان یک مشکل ایمنی برخورد می کند
تقطیر یک تکنیک استاندارد یادگیری ماشینی است که در آن یک مدل از خروجی های مدل دیگر یاد می گیرد. OpenAI اشاره می کند که به خودی خود نه غیرقانونی است و نه غیرعادی. نگرانی این شرکت چیزی است که آن را تقطیر متخاصم می نامد: بازیگری که از خروجی های یک مدل مرزی بدون مجوز استفاده می کند تا مدل دیگری با قابلیت های مشابه را آموزش دهد، سپس آن را بدون پادمان های قابل مقایسه به کار می گیرد.
OpenAI در پست وبلاگ خود استدلال می کند که این خطر در حوزه های دارای کاربرد دوگانه مانند امنیت سایبری و زیست شناسی واضح ترین است. مدلی که به مدافعان کمک میکند آسیبپذیریهای نرمافزاری را پیدا کنند، میتواند پس از انتقال مهارتهایش به سیستمی با نردههای محافظ ضعیفتر، به مهاجم کمک کند تا از آنها سوءاستفاده کند. این شرکت نوشت: «یک حریف ممکن است قابلیتهای سایبری یک مدل را تقطیر کند و از مدل حاصل برای کمک به انجام حملات سایبری استفاده کند که مدل اصلی از کمک به آن امتناع میکرد.
حفاظت از زنجیره فکر
در مرکز دفاع OpenAI چیزی است که آن را استدلال محافظت شده مینامد: گامهای میانی – زنجیره فکر – که یک مدل در داخل بهوجود میآید در حالی که برای رسیدن به پاسخ تلاش میکند. شرکت توضیح میدهد که این ردپاها میتوانند حاوی اطلاعاتی باشند که پاسخ نهایی نادیده گرفته میشود و به ویژه به عنوان دادههای آموزشی برای مدل آزمایشگاهی دیگر ارزشمند میشوند.
OpenAI می گوید که دفاع خود را در برابر استخراج رد استدلال در GPT-6.2 Astra و GPT-6.2 Sol تقویت کرده است. در یک ارزیابی تطبیقی داخلی با استفاده از تیم قرمز خودکار، این شرکت گزارش داد که میانگین میزان موفقیت حمله برای بازیابی استدلال محافظت شده از 54.0٪ در برابر GPT-6 Astra با محافظ های اولیه آن به 0.2٪ در برابر GPT-6.2 Astra با محافظت های به روز کاهش یافته است.
مطالعه سایبری داخلی آن چه یافت
این شرکت همچنین نتایج یک مطالعه داخلی در مورد چگونگی انتقال قابلیتهای سایبری در طول تقطیر را به اشتراک گذاشت. مدلهای دانشآموزی در مسیرهای تولید شده توسط مدلهای معلمی که روی کدنویسی و وظایف امنیت سایبری دفاعی کار میکردند، تنظیم شدند. طبق معیارهای OpenAI که در کنار پست نشان داده شده است، دانشآموزانی که بر روی ردپای استدلال دقیق آموزش دیدهاند، عموماً از دانشآموزانی که فقط بر اساس خلاصههای استدلال آموزش دیدهاند، هم پس از تنظیم دقیق نظارت شده و هم - در بزرگترین بودجههای استنتاج آزمایش شده - پس از یک دور بیشتر یادگیری تقویتی، بهتر عمل میکنند.
این مفهوم برای هر کسی که امیدوار است انتقال قابلیت می تواند با انتشار خروجی های سالم مهار شود، نگران کننده است: حتی تعاملاتی که تحت خط مشی های استفاده مجاز هستند، می توانند در مجموع، مهارت هایی را به دانش آموز آموزش دهند که فراتر از وظایفی که معلم در ابتدا انجام می داد تعمیم می یابد.
دروازه ها و فروشندگان اکنون نیاز به تایید دارند
اقدامات فنی همراه با تغییر سیاست وارد می شود. به گزارش eWeek، از روز پنجشنبه، OpenAI به روترها و دروازههای مدل هوش مصنوعی نیاز دارد که به اشخاص ثالث دسترسی مستقیم به مدلهای آن را برای دریافت تأییدیه قبلی میدهند. این الزام بر اساس اعلامیه ای است که این شرکت در ماه اکتبر ارائه کرد که در آن نحوه اعمال حفاظت های ایمنی در زمانی که مشتریان مستقیماً یا از طریق شرکای میزبان و فروشندگان به مدل های آن دسترسی دارند، اعمال شود.
بر اساس خلاصه ای ویک از آن چارچوب، انتظار می رود سرویس های شرکت کننده استانداردهای مشابهی را حفظ کنند تا کاربران نتوانند به سادگی ارائه دهندگان را برای فرار از محدودیت ها تغییر دهند. اقدامات شامل سه مرحله است: ارزیابی ریسک و آزمایش در برابر تلاشهای دور زدن حفاظتی قبل از استقرار. نظارت در حین استفاده، با شرکای مورد انتظار برای بررسی فعالیت مشکوک؛ و مراحل اجرایی پس از وقوع تخلف. Semafor این تغییر را اینگونه توصیف کرد که OpenAI کنترل خود را بر اکوسیستم فروشندگانی که به سرعت در اطراف API آن رشد کرده است، محکم می کند.
چه معنایی برای توسعه دهندگان دارد
برای توسعهدهندگان، تأثیر عملی یک سؤال انطباق جدید است که باید به بررسی دقیق فروشنده اضافه شود: آیا واسطهای که مدلهای OpenAI را ارائه میکند واقعاً مجاز به انجام این کار است؟ eWeek توصیه میکند که کسبوکارهایی که ترافیک را از طریق تجمیعکنندهها هدایت میکنند، باید وضعیت تأیید ارائهدهنده خود و نحوه رسیدگی به اعتبارنامهها و دادهها را تأیید کنند.
برای صنعت گسترده تر، این اعلام سیگنالی است که ارائه دهندگان مدل به طور فزاینده ای کنترل قابلیت های مشتق شده - نه فقط خود مدل ها - را به عنوان محیطی که اهمیت دارد می بینند. اختلافات تقطیر در سالهای اخیر در سراسر این زمینه شعلهور شده است، و OpenAI اکنون پاسخ خود را نه به عنوان یک اختلاف مجوز، بلکه به عنوان یک الزام ایمنی، تنظیم میکند و دفاع تقطیر را با کنترلهایی که برای خطرات زیستشناسی و امنیت سایبری اعمال میکند، همسو میکند.
راه پیش رو
OpenAI میگوید به مطالعه میزان انتقال توانایی در مدلهای مختلف دانشجویی و دستور العملهای تقطیر ادامه خواهد داد و از آزمایشگاههای دیگر دعوت میکند تا بر روی کار تشخیص و اجرای آن کار کنند. اینکه آیا رقبا از رژیمهای تایید دروازههای قابل مقایسه استفاده میکنند - و آیا کاربران اصطکاک اضافی را میپذیرند یا خیر - به تعیین نحوه ساخت نسل بعدی سیستمهای هوش مصنوعی و اینکه چه کسی مجاز به ساخت آنها است کمک میکند.
جلوتر از منحنی باشید
آیا میخواهید آخرین مدلهای هوش مصنوعی، ایمنی و خطمشیها را در زمان وقوع؟ [اخبار فوری هوش مصنوعی را دنبال کنید] (https://aibuzzwire.news) در AI Buzz Wire.
بیشتر بخوانید اخبار هوش مصنوعی →