اصلاحیه ثبت IPO آنتروپیک در روز دوشنبه به سرفصل های مالی آن تبدیل شد - تقریباً 17 میلیارد دلار درآمد سه ماهه سوم در مقابل 895.4 میلیارد دلار تعهدات محاسباتی. اما در فاکتورهای خطر اصلاح شده S-1A افشاگری وجود دارد که ممکن است نتیجه بیشتری داشته باشد: این شرکت می گوید ممکن است در آستانه عبور از آستانه خود برای بهبود بازگشتی باشد، نقطه ای که سیستم های هوش مصنوعی قادر به تسریع توسعه خود می شوند.
TechCrunch گزارش داد که به نظر میرسد این بایگانی هشدار میدهد که Anthropic در آستانه ایجاد مدلی با قابلیت خود-بهبودی بازگشتی است، که معمولاً به عنوان RSI شناخته میشود - مرحلهای که در آن هوش مصنوعی در بهبود هوش مصنوعی آنقدر خوب میشود که دستاوردهای توانایی به طور چشمگیری ترکیب میشود. For more context on this story, see our ongoing AI news.
آنچه که پرونده در واقع می گوید
Anthropic در حال حاضر از هوش مصنوعی برای سرعت بخشیدن به تحقیق و توسعه خود استفاده می کند. در پرونده اصلاح شده، شرکت هشدار می دهد که این روش هر دو راه را کاهش می دهد: "استفاده از هوش مصنوعی برای کمک به ساخت هوش مصنوعی توانمندتر می تواند خطر ایمنی قابل توجهی را نیز به همراه داشته باشد، به خصوص اگر سرعت پیشرفت را به شدت تسریع کند. این یکی از حوزه هایی است که تحت پوشش خط مشی مقیاس پذیری ما قرار می گیرد، که برنامه های ما را برای نظارت و کاهش خطرات "خوداثبات کننده" تعیین می کند.
زبان عامل خطر جدید فراتر از آنتروپیک است که قبلاً در پرونده های عمومی خود بیان کرده بود. این شرکت فاش میکند که در گذشته نتوانسته است جهشهای قابلتوجهی را که اتفاق افتاده است تشخیص دهد: «ما در گذشته شتاب قابلتوجهی در نرخ توسعه خود را تا زمانی که اتفاق نیفتاد شناسایی نکردهایم و ممکن است در آینده نیز شناسایی نکنیم.»
سپس بیانیه ای می آید که توجه صنعت را به خود جلب می کند. بر اساس این پرونده: "برآوردهای داخلی ما و انتظارات ما در مورد مدلهای آینده، به جای مدلهای فعلی ما، نشان میدهد که ممکن است بهزودی به تعریف "پیشرفت شتابزده قابل انتساب به هوش مصنوعی" در خط مشی مقیاسپذیری مسئول خود دست پیدا کنیم.
آنتروپیک اضافه می کند که "هیچ یک از مدل های فعلی ما را فراتر از این آستانه تعیین نکرده است" و به ارزیابی داده های اساسی ادامه می دهد. به عبارت دیگر: هیچ مدل فعلی کلود واجد شرایط نیست، اما پیش بینی های داخلی شرکت نشان می دهد که نسل بعدی آن ممکن است.
نگه داشتن انسان در حلقه
در کنار این هشدار، آنتروپیک متعهد می شود که افراد را تحت کنترل توسعه مدل نگه دارد. در این پرونده آمده است: «ما پیشبینی نمیکنیم که بتوانیم با خیال راحت از کلود برای طراحی و ساخت نسلهای متوالی مدلهای مرزی بدون نظارت یا درک معنادار انسانی، اگر و زمانی که از نظر فنی امکانپذیر شود، بهطور کاملاً مستقل استفاده کنیم». بر این اساس، ما در حال بررسی بهروزرسانیهای خطمشی مقیاسپذیری مسئول خود هستیم تا انسانها را در کنترل توسعه مدل مرزی در Anthropic حفظ کنیم.
مقیاس نقش هوش مصنوعی در تحقیقات خود آنتروپیک به سرعت در حال رشد است. Business Insider گزارش داد که هوش مصنوعی در حال حاضر تقریباً یک چهارم از کارهای تحقیق و توسعه داخلی Anthropic را هدایت می کند، در مقایسه با 1 درصد در ماه مارس - نموداری که خودی های صنعت آن را یکی از مهم ترین نمودارها در هوش مصنوعی می نامند.
یک تغییر گفتمان: از Buzzword به ترازنامه
هنگامی که اصطلاح RSI در اوایل سال جاری رایج شد، بسیاری در صنعت آن را به عنوان یک کلمه کلیدی – یا در بهترین حالت، هدفی که برای دستیابی، اثبات یا تنظیم آن بسیار ضعیف تعریف شده بود، رد کردند. اکنون که این مفهوم با یک تعریف دقیق داخلی، در سندی ظاهر می شود، سخت تر است که یک شرکت قبل از فروش سهام به عموم، به کمیسیون SEC ارسال کند.
آنتروپیک همچنین در برخورد با بهبود خود به عنوان یک فرض برنامه ریزی کوتاه مدت تنها نیست. سرگئی برین، یکی از بنیانگذاران گوگل، این صنعت را بهسوی «تردمیل RSI» توصیف کرده است که در آن مدلها به ساخت جانشینان خود کمک میکنند، و جان شولمن، یکی از بنیانگذاران سابق OpenAI، گفته است که انتظار دارد طی سه تا چهار سال آینده خودسازی بازگشتی داشته باشد. آنچه افشای آنتروپیک را متمایز می کند رسمی بودن آن است: یک آستانه تعریف شده، یک فرآیند اندازه گیری داخلی، و یک بیانیه عمومی از زمانی که شرکت انتظار دارد از آن عبور کند.
چرا RSI ساعت Tripwire هر دو کمپ است
RSI بسته به اینکه چه کسی آن را توصیف می کند معانی مختلفی دارد. برای محققان ایمنی هوش مصنوعی، این نقطه بی بازگشت را نشان می دهد - سناریویی که در آن سیستم های هوش مصنوعی سریعتر از آنچه که انسان می تواند درک، تأیید یا مداخله کند، خود را بهبود می بخشد و به طور بالقوه از کنترل انسان خارج می شود. برای خوشبینان هوش مصنوعی، همان پویایی جایزه است: سیستم هایی که به طور قابل اعتماد خود را بهبود می بخشند، به بهره وری خارق العاده و کشف علمی تبدیل می شوند.
قاب بندی Anthropic هر دو احتمال را تایید می کند. این افشا در سندی قرار دارد که مخاطبان اصلی آن سرمایهگذاران هستند و شکها خاطرنشان میکنند که S-1 هم به عنوان افشا و هم به عنوان بازاریابی عمل میکند – این ادعا که این شرکت به ساختن یک هوش مصنوعی خود-بهبود نزدیک است، به همین راحتی میتواند به عنوان استدلالی برای ارزشگذاری آن خوانده شود.
با این حال، یک لنگر مشخص برای این ادعا وجود دارد. توانایی های کلود در کدنویسی، ریاضیات و امنیت سایبری تا سال 2026 به شدت پیشرفت کرده است، و سیاست مقیاس پذیری مسئولیت پذیر خود Anthropic استاندارد "پیشرفت شتابان قابل انتساب به هوش مصنوعی" را تعریف می کند که اکنون شرکت می گوید ممکن است به زودی به آن برسد.
تستی برای حکومت AI
این افشاگری در بحبوحه تشدید بحثهای سیاستی در مورد نظارت بر هوش مصنوعی مرزی، از چارچوب کاخ سفید برای بررسی مدلهای مرزی گرفته تا بحثهای بینالمللی درباره حکمرانی محاسباتی، انجام میشود. اگر یک آزمایشگاه پیشرو هوش مصنوعی به طور رسمی مدلی را بهمنظور برآورده کردن آستانه پیشرفت تسریعشده خود تعیین کند، این امر باعث ایجاد تعهدات تحت خطمشی مقیاسپذیری مسئولانه آنتروپیک میشود - و اولین آزمایش در دنیای واقعی خواهد بود که آیا چنین چارچوبهای صنعتی میتوانند در عمل رقابت توانایی را کاهش دهند یا شکل دهند.
در حال حاضر، آنتروپیک می گوید که هیچ مدلی از مرز عبور نکرده است. این پرونده نشان میدهد که شرکت انتظار دارد به زودی از این خط عبور کند - و از سرمایهگذاران میخواهد که از قبل بفهمند که قصد دارد در مورد آن چه کاری انجام دهد.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →