Anthropic در یک پرونده تجدید نظر شده IPO S-1/A هشدار داده است که ممکن است "فوراً" با تعریف "پیشرفت شتاب‌انگیز قابل انتساب به هوش مصنوعی" در خط مشی مقیاس‌پذیری مسئول خود - آستانه‌ای که به طور گسترده به عنوان خود-بهبودی بازگشتی یا RSI از آن یاد می‌شود، یعنی نقطه‌ای که در آن سیستم‌های هوش مصنوعی به اندازه کافی خوب می‌شوند، عمل کند. TechCrunch روز دوشنبه این افشاگری را گزارش کرد و زبانی را که در عوامل خطر پرونده وجود دارد برجسته کرد که یکی از پیامدترین اظهاراتی است که هر آزمایشگاه هوش مصنوعی در مورد مسیر خود بیان کرده است.

به گفته خود آنتروپیک، در این پرونده آمده است: «برآوردهای داخلی و انتظارات ما در مورد مدل‌های آینده، به جای مدل‌های فعلی، نشان می‌دهد که ما ممکن است به‌زودی به تعریف «پیشرفت شتاب‌زده قابل انتساب به هوش مصنوعی» در سیاست مقیاس‌پذیری مسئولانه‌مان دست پیدا کنیم. ما هیچ یک از مدل‌های فعلی خود را فراتر از این آستانه تعیین نکرده‌ایم و به ارزیابی داده‌های اساسی ادامه می‌دهیم." For more context on this story, see our ongoing breaking AI news.

آنچه که پرونده در واقع می گوید

این هشدار در یک عامل خطر بزرگتر در مورد استفاده روزافزون آنتروپیک از سیستم های هوش مصنوعی برای تسریع تحقیق و توسعه خود قرار دارد. این شرکت فاش می‌کند که این دینامیک قبلاً جهش‌هایی را ایجاد کرده است که قادر به تشخیص آن در زمان واقعی نیست. در این پرونده آمده است: «در نتیجه، ما در گذشته شتاب قابل توجهی در سرعت توسعه خود تا زمانی که اتفاق نیفتاده شناسایی نکرده‌ایم و ممکن است در آینده نیز شناسایی نکنیم».

آنتروپیک دینامیک زیربنایی را هم به عنوان یک موتور و هم به عنوان یک خطر قاب می کند. در این پرونده آمده است: «استفاده از هوش مصنوعی برای کمک به ساخت هوش مصنوعی توانمندتر می‌تواند خطر ایمنی قابل توجهی را نیز به همراه داشته باشد، به ویژه اگر سرعت پیشرفت را به شدت تسریع کند». این یکی از حوزه‌هایی است که تحت پوشش خط‌مشی مقیاس‌پذیری مسئولانه ما قرار می‌گیرد، که برنامه‌های ما را برای نظارت و کاهش خطرات با نزدیک شدن به آنچه «خود-بهبودی بازگشتی» نامیده می‌شود، تعیین می‌کند.»

مخاطرات برای یک سند IPO غیرمعمول است. RSI مفهومی است که دیدگاه‌های خوش‌بینانه و بدبینانه هوش مصنوعی را به وضوح بیش از هر چیز دیگری از هم جدا می‌کند. برای محققان ایمنی هوش مصنوعی، خود-بهبودی بازگشتی سناریوی فراری است: سیستمی که در ساختن سیستم‌های بهتر بهتر می‌شود و از نقطه‌ای که نظارت انسانی معنادار باقی می‌ماند، شتاب می‌گیرد. برای طرفداران هوش مصنوعی، این نوید است: ابزاری که راه خود را به سمت اکتشافات علمی و دستاوردهای بهره‌وری می‌رساند که هیچ فرآیند هدایت‌شده توسط انسان نمی‌تواند مطابقت داشته باشد. پرونده Anthropic هر دو قرائت را تأیید می کند، در حالی که به طور مؤثر به سرمایه گذاران می گوید که شرکت معتقد است این پدیده به اندازه کافی نزدیک است که خط خود را در عوامل خطر تضمین کند.

Safeguards Anthropic امیدوارکننده است

در کنار این هشدار، آنتروپیک متعهد شد که انسان ها را در حلقه توسعه مدل مرزی برای آینده قابل پیش بینی نگه دارد. در این پرونده آمده است: «ما پیش‌بینی نمی‌کنیم که بتوانیم با خیال راحت از کلود برای طراحی و ساخت نسل‌های متوالی مدل‌های مرزی بدون نظارت یا درک معنادار انسانی، اگر و زمانی که از نظر فنی امکان‌پذیر شود، به‌طور کاملاً مستقل استفاده کنیم». این شرکت افزود که "در حال بررسی به‌روزرسانی‌های خط‌مشی مقیاس‌پذیری مسئولانه ما است تا انسان‌ها را در کنترل توسعه مدل‌های مرزی در Anthropic حفظ کند."

این شرکت در مورد زمان حال مراقب بود: هیچ مدل Anthropic فعلی به عنوان فراتر از آستانه RSI تعیین نشده است. اما عبارت "ممکن است به زودی ملاقات کند" - که برای مدل های آینده به جای مدل های ارسال شده به کار می رود - یک اعتراف قابل توجه در مورد اینکه چگونه آزمایشگاه تخمین های داخلی خود را می خواند و دوره های آموزشی در حال حاضر در حال انجام است.

افشا یا بازاریابی؟

شکاکان به سرعت متوجه شدند که یک S-1 به طور همزمان به دو مخاطب خدمات می دهد: این یک افشای قانونی و یک طرح است. این ادعا که یک شرکت در آستانه یک فناوری به اندازه کافی قدرتمند است که بتواند خودش را بسازد، می تواند به عنوان یک هشدار یا یک استدلال ارزش گذاری - یا هر دو تلقی شود. هیچ راه خارجی برای بررسی اینکه آیا برآوردهای داخلی آنتروپیک کلمه "فوراً" را توجیه می کند وجود ندارد، و این شرکت هیچ مدل فعلی را به عنوان عبور از خط تعیین نکرده است، که این ادعا را بر اساس اندازه گیری های خود آزمایشگاه از خط لوله تحقیقاتی خود می گذارد.

با این حال، روند اساسی که بایگانی توصیف می کند از بیرون قابل مشاهده است. توانایی های کلود در کدنویسی، ریاضیات و امنیت سایبری تا سال 2026 به شدت پیشرفت کرده است و آنتروپیک به تدریج در مورد استفاده از مدل های خود برای انجام تحقیقات، اجرای آزمایش های هم ترازی و کمک به کار توسعه عمومی تر شده است. آنچه در پرونده جدید است این است که شرکت در یک سند افشای الزام آور قانونی رسمیت می دهد که این حلقه بازخورد ممکن است به زودی در مقیاس رسمی خود برای شتاب خطرناک ثبت شود.

چرا فراتر از آنتروپیک مهم است

این افشاگری در زمانی است که مسئله سرعت توسعه هوش مصنوعی از پانل های کنفرانس به برنامه های سیاستی منتقل شده است. اگر آزمایشگاه پیشرو متمرکز بر ایمنی در پرونده SEC بگوید که ممکن است به سرعت از آستانه خود برای شتاب مبتنی بر هوش مصنوعی عبور کند - در حالی که به طور همزمان قبول کرده است که چنین شتاب‌هایی را تا قبل از وقوع آنها از دست داده است - تنظیم‌کننده‌ها، سرمایه‌گذاران و آزمایشگاه‌های رقیب اکنون سندی برای اشاره در هر دو طرف بحث دارند.

برای آنتروپیک، که در حال آماده‌سازی یکی از دقیق‌ترین عرضه‌های اولیه عمومی در این بخش است، این پرونده یک عمل متعادل کننده ظریف را انجام می‌دهد: هشدار کافی برای اثبات اینکه شرکت تعهدات ایمنی خود را جدی می‌گیرد و اعتماد کافی به کنترل‌هایش برای ادامه فروش صعودی. به‌روزرسانی‌های خط‌مشی مقیاس‌پذیری مسئولانه شرکت، در صورت تحقق، نشان می‌دهد که رویه‌های واقعی آزمایشگاه در کدام سمت تعادل قرار می‌گیرند.

پوشش تحقیقاتی مستمر هوش مصنوعی و گزارش ایمنی هوش مصنوعی را برای پیشرفت‌های مربوط به خودبهبودی بازگشتی و حاکمیت مدل مرزی دنبال کنید.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →