Anthropic تحقیقاتی را منتشر کرده است که نشان میدهد سیستمهای هوش مصنوعی خودکار میتوانند به طور قابل اعتمادی خرابیهای تراز یک مدل را تعمیر کنند، نتیجهای که میتواند نحوه انجام کار ایمنی در مرکز صنعت هوش مصنوعی را تغییر دهد. این مقاله با عنوان «محققان خودکار میتوانند بهطور قابل اعتمادی شکستهای همسویی را کاهش دهند» روز جمعه منتشر شد و توسط TechCrunch جزئیات آن منتشر شد.
این تحقیق از برنامه همکاران Anthropic خارج شده و توسط Chen Yueh-Han رهبری می شود. ادعای اصلی آن قابل توجه است: زمانی که سیستمهای تحقیقاتی خودکار شرکت به ده معیار سنجش رفتارهای ناهماهنگ خاص اشاره کردند، آنها عملکرد را در هر یک بهبود بخشیدند - بدون اینکه تواناییهای کلی مدل را کاهش دهند. برای حوزه ای که تلاش کرده است کار ایمنی را با مقیاس مدل حفظ کند، این یک نتیجه قابل توجه است. For more context on this story, see our ongoing artificial intelligence updates.
این داستان در یک دوره شلوغ برای پوشش ایمنی هوش مصنوعی فرود آمد. تابستانی را دنبال میکند که در آن رفتار نادرست عوامل، از گزارش داخلی OpenAI در مورد عوامل هک پاداش گرفته تا درخواستها برای تحقیقات مستقل در مورد نقض Hagging Face، بر سرفصلها غالب شده است. مقاله جدید آنتروپیک از جهت مخالف به مشکل می پردازد: به جای این که بپرسد عوامل چگونه رفتار نادرست دارند، می پرسد که آیا می توان به عوامل دیگر برای رفع آنها اعتماد کرد یا خیر.
آنچه که مقاله در واقع گزارش می کند
سیستمی که در مقاله توضیح داده شده است، محقق تراز خودکار یا AAR نامیده می شود. به جای جایگزینی فرآیند تحقیق، AAR بیشتر آن را تکرار میکند: هر سیستم خودکار ادبیات موجود را جستجو میکند، روشی را پیشنهاد میکند و مدل را با استفاده از آن روش برای تقریباً 30 دقیقه آموزش میدهد. سپس این فرآیند در چندین تکرار تکرار می شود.
مکانیسم انتخاب ساده است. روش هایی که معیار را حرکت می دهند حفظ می شوند. روش هایی که اینطور نیست کنار گذاشته می شوند. این حلقه به سیستم اجازه می دهد تا به سرعت و در مقیاسی عمل کند که هیچ تیم انسانی نمی تواند با آن مطابقت کند، بسیاری از جهت های تحقیقاتی را به صورت موازی آزمایش می کند و فقط آنچه را که کار می کند نگه می دارد.
با توجه به این مقاله، نتایج در سراسر هیئت مدیره یکسان بود. در هر ده معیاری که رفتارهای ناهماهنگ خاص را پوشش میدهند، سیستمهای خودکار بدون آسیب رساندن به عملکرد کلی مدل، پیشرفتهای قابلاندازهگیری را ایجاد کردند - معاوضه معمولی که کار همسویی را دشوار میکند.
در این مقاله آمده است: "به طور کلی، این نتایج شواهد اولیه ای را ارائه می دهد که نشان می دهد تراز خودکار پس از آموزش می تواند در کوتاه مدت عملی شود."
ضرب و شتم انسان ها، در 1/37 هزینه
بیشترین نقل قول در این مقاله مواردی است که AAR را مستقیماً با همتایان انسانی خود مقایسه می کند. آنتروپیک از مقایسه محافظت نکرد.
در این مقاله آمده است: «بهترین روش AAR به طور متوسط در عرض شش ساعت، آنچه را که انسانهای با تجربه پیشنهاد میکنند شکست میدهد. این به طور مشخص اضافه می کند که "جهت های تحقیقاتی هدایت شده توسط انسان منجر به عملکرد قوی تر نمی شود."
اقتصاد هم به همین صراحت است. نویسندگان می نویسند: «یک AAR تقریباً 4 دلار در ساعت در استنتاج API در مقابل 150 دلار در ساعتی که به محققان انسانی خود پرداخت می کنیم، هزینه دارد. این تفاوت هزینه ای نزدیک به 40 برابر است و توضیح می دهد که چرا آزمایشگاه ها تحقیقات خودکار را بیش از یک کنجکاوی جدی می گیرند.
چرا شکاف هزینه مهم است
تحقیقات هم ترازی به گونه ای گران است که به راحتی می توان آن را دست کم گرفت. هر مداخله نامزدی باید اجرا شود، آموزش داده شود و بر اساس معیارها ارزیابی شود و اکثر نامزدها شکست می خورند. اگر یک سیستم بتواند آن حلقه جستجو را به طور مداوم برای قیمت تماس های API اجرا کند، هزینه نهایی امتحان یک ایده دیگر به صفر می رسد. محدودیت از تعداد کار به محاسبه تغییر می کند.
محدودیت های آنتروپیک خود پرچم گذاری شد
مقاله در مورد آنچه که نتیجه ثابت نمی کند صریح است. سیستم خودکار فقط تا جایی کار می کند که معیارها در واقع اهداف همسویی را که مهم هستند منعکس کنند - و ایجاد و حفظ معیارهایی که رفتار نادرست دنیای واقعی را نشان می دهد یک مشکل باز در این زمینه باقی می ماند.
همچنین یک وابستگی وجود دارد که به راحتی از دست میرود: محققان خودکار از ادبیات موجود روشها استفاده میکنند. حفظ و گسترش آن ادبیات، خود کار مهمی است، و سیستمی که فقط تکنیکهای شناختهشده را دوباره میآمیزد، ممکن است به سقفی برسد که خلاقیت انسان نمیتواند.
این اخطارها اهمیت دارند زیرا اهمیت دراز مدت تحقیق به آنها بستگی دارد. اگر معیارها موارد اشتباه را اندازه گیری کنند، AAR می تواند راه خود را به سمت اعداد قوی بهینه کند در حالی که خطرات اساسی دست نخورده باقی می مانند. چارچوب آنتروپیک - "شواهد اولیه"، نه یک راه حل - منعکس کننده این عدم اطمینان است.
گامی به سوی خود-بهبودی بازگشتی
این مقاله همچنین به بحث گستردهتری درباره خود-بهبودی بازگشتی میپردازد، این ایده که سیستمهای هوش مصنوعی میتوانند در نهایت فرآیندهای آموزشی را که آنها را تولید میکنند، بهبود بخشند. آموزش مدلهای هوش مصنوعی با سایر مدلهای هوش مصنوعی به یک هدف محبوب برای آزمایشگاههای مرزی تبدیل شده است، و نتیجه Anthropic یک نگاه اولیه و ملموس به آنچه در یک حوزه باریک به نظر میرسد است.
منطق سرراست است. اگر مدل ها بتوانند به طور قابل اعتمادی آموزش هم ترازی خود را بهبود بخشند، همان ماشین آلات می تواند به طور قابل قبولی به شیوه های آموزشی به طور گسترده تر اشاره کند - از جمله کار قابلیت. TechCrunch به این مفهوم اشاره می کند که محققان هوش مصنوعی انسانی ممکن است در نهایت در این فرآیند کمتر مرکزی شوند، امکانی که خود مقاله به جای اجتناب از آن درگیر است.
بعدی چه چیزی را تماشا کنیم
سه سوال تعیین می کند که آیا این نتیجه تعمیم دارد یا خیر. اول، این که آیا این رویکرد خارج از ده معیار آزمایش شده Anthropic، در حالت های خرابی که آشفته تر و کمتر تعریف شده هستند، باقی می ماند. دوم، اینکه آیا مشکل معیار-نگهداری را می توان به اندازه کافی سریع حل کرد تا تحقیقات خودکار را صادقانه نگه دارد. سوم، اینکه آیا آزمایشگاه های دیگر نتایج قابل مقایسه ای را منتشر می کنند، که یک مقاله واحد را به یک جهت صنعتی تبدیل می کند.
در حال حاضر، این یافته باریک اما واقعی است: در وظایف همسویی خاص که آنتروپیک آزمایش شده است، محققان خودکار بهتر از انسانهای با تجربه، سریعتر و بسیار ارزانتر عمل میکنند. جنبه ایمنی صنعت هوش مصنوعی ممکن است اولین جایی باشد که محققان هوش مصنوعی – نه انسانها – بیشتر کار را انجام میدهند.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
