Google DeepMind در 27 آگوست آنچه را که اولین ارزیابی دوسوکورانه در جهان از یک مدل اختصاصی هوش مصنوعی کلاس مرزی می‌نامد، اعلام کرد – یک راه‌اندازی رمزنگاری که به کارشناسان خارجی اجازه می‌دهد تا مدل‌های گوگل را بدون اینکه هیچ‌یک از طرفین هرگز اسرار طرف مقابل را ببینند، آزمایش کنند.

خلبان، که در یک پست وبلاگ DeepMind توسط ویلیام آیزاک، سول مسینگ و کریستین لوم توصیف شده است، یک مدل Gemini Flash Lite را از طریق معیارهای محرمانه در یک محیط امن رمزنگاری اجرا می کند. Google DeepMind در این تلاش با مؤسسه ایمنی هوش مصنوعی سنگاپور، OpenMined، AVERI و MLCommons همکاری می‌کند و گزارشی فنی در توصیف روش‌شناسی منتشر کرده است.

این اعلامیه به یکی از پایدارترین نقاط ضعف در ارزیابی هوش مصنوعی می پردازد: آلودگی معیار. برای خوانندگانی که [اخبار تحقیقاتی هوش مصنوعی] (https://aibuzzwire.news) را ردیابی می کنند، یکی از تلاش های ملموس تر برای تمیز کردن آزمایش مدل شخص ثالث است.

مشکل آلودگی، توضیح داده شد

DeepMind اعلامیه خود را با قیاس کلاس درس باز می کند. اگر دانش آموزی به طور تصادفی سوالات امتحانی را از قبل ببیند، نمره کامل هیچ معنایی ندارد. همین منطق در مورد مدل‌های مرزی نیز صدق می‌کند: اگر یک مدل قبلاً در معرض سؤالات یک معیار قرار گرفته باشد - از طریق داده‌های آموزشی، مجموعه‌های ارزشی لو رفته یا بهینه‌سازی قبلی - نمرات حاصل می‌تواند توانایی واقعی را به‌شدت اغراق کند.

این یک نگرانی فرضی نیست. آلودگی معیار سال‌هاست که این حوزه را تحت تأثیر قرار داده است و محققان بارها نشان می‌دهند که مجموعه‌های آزمایشی محبوب به مجموعه‌های آموزشی در مقیاس وب نشت می‌کنند و این که مدل‌ها می‌توانند بی‌صدا تنظیم شوند تا در ارزیابی‌های شناخته‌شده به خوبی عمل کنند. وقتی دولت‌ها و شرکت‌ها از امتیازات معیار برای تصمیم‌گیری در مورد تدارکات و سیاست‌گذاری استفاده می‌کنند، اعداد متورم پیامدهای واقعی دارند.

DeepMind استدلال می‌کند که با افزایش توانمندی مدل‌ها، ریسک‌ها برای مقوله‌های ارزیابی حساس - تست امنیت سایبری و ارزیابی‌های دولتی در میان آنها - که امتیاز آلوده نه تنها گمراه‌کننده نیست بلکه بالقوه خطرناک است، بالاترین ریسک را دارد.

معامله قدیمی: درخواست های شما یا وزن های ما

از نظر تاریخی، ارزیابی‌های خارجی پرمخاطره انتخابی ناخوشایند را مجبور کردند. یا ارزیاب درخواست‌های آزمایشی خود را به ارائه‌دهنده مدل می‌دهد - با این خطر که ارائه‌دهنده سؤالات آزمون را از قبل ببیند - یا ارائه‌دهنده وزن‌های مدل را به ارزیاب تحویل می‌دهد - با این خطر که ارزشمندترین مالکیت معنوی خود را از دست می‌دهد.

DeepMind می نویسد، پروتکل های ثبت صفر و پادمان های قراردادی دقیق مدت طولانی است که درخواست های تست خارجی را محرمانه نگه داشته اند، اما اینها وعده هایی هستند که به جای ریاضیات، توسط سیاست اجرا می شوند. ارزیابی های دوسوکور این اعتماد را با اثبات رمزنگاری جایگزین می کند.

جعبه رمزنگاری چگونه کار می کند

این آزمایشی از فضای محرمانه، بخشی از مجموعه محاسبات محرمانه Google Cloud، برای ایجاد چیزی که DeepMind به عنوان یک "جعبه" رمزنگاری توصیف می کند، استفاده می کند. در داخل آن، هر دو نیمه ارزیابی - معیار محرمانه و مدل اختصاصی - برای صاحبان مربوطه خصوصی باقی می‌مانند و محیط به صورت رمزنگاری این واقعیت را تأیید می‌کند.

نتیجه واقعاً دو سو کور است: ارزیاب خارجی نمی‌تواند وزن‌های مدل Gemini را ببیند، و Google نمی‌تواند درخواست‌های آزمایش ارزیاب را ببیند. هیچ یک از طرفین نباید به وعده های طرف مقابل اعتماد کند، زیرا خود معماری در اصل نشت را غیرممکن می کند. به طور حیاتی، این راه‌اندازی همچنین از استفاده بعدی از داده‌های ارزیابی برای بهینه‌سازی عملکرد مدل قبل از آزمایش‌های آتی جلوگیری می‌کند - حلقه‌ای را که معمولاً از طریق آن آلودگی دوباره وارد می‌شود، بسته می‌شود.

چرا برای نظارت بر هوش مصنوعی مهم است

اهمیت گسترده تر فراتر از یک مدل Gemini است. سازمان‌های مستقل - موسسات ایمنی هوش مصنوعی، آزمایشگاه‌های دانشگاهی، تنظیم‌کننده‌ها - سال‌ها برای ارزیابی دقیق مدل‌های مرز بسته تلاش کرده‌اند، دقیقاً به این دلیل که ارائه‌دهندگان نمی‌توانند وزن‌ها را تحویل دهند و ارزیاب‌ها معیارها را تحویل نمی‌دهند. هر مؤسسه بزرگ ایمنی هوش مصنوعی هنگام امضای قراردادهای ارزیابی با آزمایشگاه‌های مرزی با نسخه‌هایی از این مشکل دست و پنجه نرم کرده است.

اگر خلبان مقاومت کند، الگویی ارائه می‌کند که تحت آن، حق حاکمیت داده‌ها و مالکیت معنوی در تماس با بررسی مستقل باقی می‌ماند. DeepMind می گوید امیدوار است این آزمایشی "مرز جدیدی برای نظارت بر مدل ایجاد کند و به صنعت گسترده تر کمک کند تا سیستم های هوش مصنوعی ایمن تر، قابل اعتمادتر و قابل اعتمادتر بسازد."

لیست شرکا به خودی خود قابل توجه است. موسسه ایمنی هوش مصنوعی سنگاپور یکی از فعال ترین نهادهای ارزیابی ملی است. OpenMined ابزار محاسباتی حفظ حریم خصوصی را ایجاد می کند. MLCommons معیارهای صنعت را استاندارد می کند. AVERI کنسرسیومی را گردآوری می‌کند که شامل دولت، دانشگاه‌ها و نهادهای استاندارد صنعت می‌شود - حوزه‌هایی که برای تبدیل شدن به یک هنجار به جای نمایش، نیاز به ارزیابی دوسوکور دارند.

مسابقه تسلیحاتی بر سر یکپارچگی ارزیابی

این اعلامیه در بحبوحه بررسی های فزاینده درباره نحوه رتبه بندی شرکت های هوش مصنوعی منتشر می شود. آزمایشگاه‌ها با اتهامات فزاینده‌ای مبنی بر انتخاب معیارهای مطلوب روبرو هستند و تابلوهای امتیازات مستقل دقیقاً به این دلیل تأثیرگذار شده‌اند که خارج از کنترل فروشندگان قرار دارند. ارزیابی دوسوکور این حرکت مستقل را در زیرساخت خود فروشنده گسترش می‌دهد - یک تغییر قابل توجه برای شرکت‌هایی که از لحاظ تاریخی اصرار داشته‌اند تا تمام جزئیات نحوه آزمایش مدل‌های خود را کنترل کنند.

در حال حاضر، پایلوت یک مدل و مجموعه‌ای از معیارهای محرمانه را پوشش می‌دهد. اما اگر از نظر رمزنگاری تأیید شود، ارزیابی بدون آلودگی از نظر فنی عادی شود، می‌تواند انتظارات شرکت‌ها و تنظیم‌کننده‌ها از هر آزمایشگاه مرزی را تغییر دهد - و فروش «اعتماد به امتیاز ما» را در بازاری که به طور فزاینده‌ای بر اساس ادعاهای قابل تأیید ساخته شده است، دشوارتر کند.

---

از هوش مصنوعی جلوتر بمانید

آخرین اخبار، تحلیل ها و پیشرفت های هوش مصنوعی را دریافت کنید - همه در یک مکان.

بیشتر بخوانید اخبار هوش مصنوعی →