آنتروپیک به تیمی از METR، سازمان غیرانتفاعی که مدل‌های هوش مصنوعی مرزی را ارزیابی می‌کند، «دسترسی کارمندان» به سیستم‌های داخلی خود - سخت‌افزار شرکت، فضای اداری و ابزارهایی که تقریباً همتراز با آنچه تیم‌های ارزیابی ریسک خود استفاده می‌کنند - شروع کرده است تا گروه خارجی بتواند به طور مستقل ریسک‌های مدل‌های مرزی Anthropic را ارزیابی کند و آنچه را که می‌یابد منتشر کند.

این ترتیب که روز چهارشنبه در وبلاگ آنتروپیک اعلام شد، فراتر از روابطی است که شرکت‌های هوش مصنوعی معمولاً آن را تحمل می‌کنند، و با شرطی برجسته است: METR نتایج ارزیابی‌های ریسک خود را منتشر خواهد کرد و آنتروپیک نمی‌تواند انتشار را وتو کند.

"دسترسی کارمند-مانند" در واقع به چه معناست

شش کارمند METR با سخت‌افزار، فضای اداری و دسترسی به ابزارها و سیستم‌های داخلی که Anthropic آن‌ها را تقریباً برابر با آنچه تیم‌های ارزیابی ریسک خود دریافت می‌کنند، استفاده کرده‌اند. خارج از تعداد کمی از دسته‌های کاملاً تعریف‌شده - داده‌های مربوط به مشتریان، اطلاعات ممتاز وکیل-مشکل، و اطلاعات مربوط به معماری‌های مدل - آنتروپیک می‌گوید کارکنانش تشویق می‌شوند تا اطلاعات را با تیم METR به اشتراک بگذارند، درست همانطور که با کارمند دیگری که روی ریسک همسویی کار می‌کند.

نامزدی عمداً محدود است. این تیم کوچکی را تحت پوشش قراردادهای قابل اجرا می‌گذارد و سایر کارمندان METR از کار آن تیم محروم می‌شوند - از جمله محققانی که با Anthropic در پروژه‌های دیگر همکاری می‌کنند. Anthropic اشاره می کند که راه اندازی به چند نفر از افراد واجد شرایط که تحت استانداردهای امنیتی آنتروپیک کار می کنند، یک دید نزدیک از نحوه عملکرد شرکت می دهد. این کانالی برای سازمان های دیگر برای به دست آوردن اطلاعات Anthropic یا مشتریان آن نیست.

حقوق انتشار، با حفاظ

بر اساس این قرارداد، METR تجزیه و تحلیل خود را از سطوح خطر، حوادث یا اقدامات Anthropic منتشر خواهد کرد. آنتروپیک نمی‌تواند انتشار را مسدود کند، اما زمانی که اطلاعات در دسته‌های از پیش تعریف‌شده‌ای که در بالا توضیح داده شد قرار می‌گیرد، می‌تواند نیاز به ویرایش داشته باشد - و خود آنتروپیک تصمیم می‌گیرد که چه چیزی در آن دسته‌ها قرار می‌گیرد یا نه. METR به نوبه خود این حق را برای خود محفوظ می دارد که اظهارات خاصی در مورد سطح دسترسی و اطلاعات دریافتی خود بیان کند، وزنه تعادلی که برای جلوگیری از تبدیل شدن قدرت ویرایش به دکمه بی صدا طراحی شده است.

چرا آنتروپیک در حال باز شدن است

این اقدام به دنبال تعهدی است که آنتروپیک ماه گذشته مبنی بر ارزیابی مستقل و قوی‌تر شخص ثالث از مدل‌ها و شیوه‌های ایمنی خود و امضای توافقنامه کاخ سفید در مورد اطلاعات فوق‌العاده انجام داد، که در آن شرکت‌های هوش مصنوعی متعهد شدند با حسابرسان یا ارزیاب‌های مستقل خارجی همکاری کنند. همچنین یک رابطه موجود را گسترش می دهد: در سال گذشته، Anthropic با METR بر روی چندین بررسی از گزارش های ریسک خود کار کرد.

METR تنها در این مجموعه نیست. Anthropic می گوید که با SecureBio و Accenture نیز به عنوان ارزیاب کار می کند - دانشکده Accenture به عنوان اولین ارزیاب تعبیه شده شرکت در ماه سپتامبر معرفی شد - و در حال مذاکره با چندین سازمان دیگر از جمله Hugging Face است. این مشارکت‌های اولیه با دسترسی محدودتر به اطلاعات و حقوق انتشار همراه هستند، در حالی که شرکت یاد می‌گیرد که چه نوع مشارکتی کار می‌کند.

قیاس بانک-نظارت

چارچوب خود آنتروپیک از امور مالی وام گرفته است. بانک‌ها بیشتر از سایرین در مورد موقعیت‌های ریسک خود می‌دانند، بنابراین رگولاتورها بازرسان مقیم را برای کار در بزرگترین بانک‌ها تعیین می‌کنند. اگر ریسک پذیری یک بانک می تواند مردم را تهدید کند، اشخاص ثالث سعی می کنند از قبل آن را ببینند. این شرکت ارزیابی تعبیه‌شده را به‌عنوان نسخه صنعت هوش مصنوعی از آن منطق قرار می‌دهد – گامی به سوی نظارت قوی ایمنی در زمینه‌ای که سازنده همیشه بیشتر از ناظر می‌داند.

زیربنای همه اینها یک هدف اعلام شده است: بستن شکاف بین آنچه ارزیابی‌کنندگان مستقل در مورد سیستم‌های یک شرکت هوش مصنوعی مرزی می‌دانند و آنچه خود شرکت می‌فهمد.

آنچه ارزیابان نیاز دارند

این اطلاعیه همچنین آنچه را که آنتروپیک فکر می‌کند ارزیابی معنادار نیاز دارد، بیان می‌کند: تخصص در ارزیابی قابلیت‌های مدل مرزی، از جمله درک اینکه ارزیابی‌ها چگونه می‌توانند از طریق پدیده‌هایی مانند جعل هم‌ترازی به خطا بروند. استقلال، به معنی عدم وابستگی یا وابستگی مالی یا عملیاتی به شرکت مورد ارزیابی؛ دسترسی کافی به ارزیابی معنادار خطرات، فراتر از آخرین مدل‌ها به نحوه آموزش آنها و نحوه عملکرد پادمان‌ها. و آزادی انتشار مشاهدات و ارزیابی های یک مدل یا یک فرآیند.

یک مورد آزمایشی برای کل صنعت

ترتیب با خروجی آن مورد قضاوت قرار خواهد گرفت. اولین ارزیابی منتشر شده METR تحت رژیم دسترسی جدید نشان خواهد داد که آیا دسترسی کارمند مانند یافته‌هایی با دندان‌های واقعی ایجاد می‌کند یا گزارش‌هایی که توسط دسته‌های ویرایشی که خود شرکت تعریف می‌کند کوتاه شده است. شکاکان متوجه خواهند شد که Anthropic مرزهای دسته را کنترل می کند و تیم خلبان کوچک است. حامیان متوجه خواهند شد که یک نشریه حق نشر که Anthropic نمی تواند وتو کند، واقعاً در میان آزمایشگاه های مرزی بدیع است.

در هر صورت، صنعت در حال تماشا است. اگر دسترسی تعبیه‌شده METR یافته‌های مواد را آشکار کند و آنها را بدون آسیب منتشر کند، این مدل به الگوی آشکار برای هر آزمایشگاهی تبدیل می‌شود که توافق کاخ سفید را امضا کرده است - و معیاری برای سیاست‌گذارانی است که بررسی می‌کنند آیا نظارت داوطلبانه می‌تواند جایگزین ممیزی‌های اجباری شود یا خیر. برای پوشش مداوم خط‌مشی ایمنی هوش مصنوعی و [اخبار صنعت AI] (https://aibuzzwire.news) که آن را شکل می‌دهد، AI Buzz Wire هر توسعه را در حین شکست دنبال می‌کند.

---

از هوش مصنوعی جلوتر بمانید

آخرین اخبار، تحلیل ها و پیشرفت های هوش مصنوعی را دریافت کنید - همه در یک مکان.

بیشتر بخوانید اخبار هوش مصنوعی →