داریو آمودی، مدیر اجرایی Anthropic به قانون‌گذاران هشدار داده است که اگر مدل‌های قدرتمند بدون تدابیر دقیق منتشر شوند، روند رو به رشد به سمت هوش مصنوعی منبع باز می‌تواند جامعه را به مسیر خطرناکی سوق دهد و یکی از بحث‌انگیزترین بحث‌ها در سیاست‌های هوش مصنوعی را دوباره برانگیزد.

آمودی، که شرکت را در پشت مدل‌های خانواده کلود تأسیس کرده و رهبری می‌کند، استدلال می‌کند که ماهیت منحصربه‌فرد هوش مصنوعی منبع باز، که سیستم‌های پیشرفته را برای دانلود، اصلاح و استقرار آزادانه در دسترس هر کسی قرار می‌دهد، خطراتی را ایجاد می‌کند که نرم‌افزارهای متن‌باز معمولی هرگز ایجاد نمی‌کنند. اظهارات او که توسط تکدیا گزارش شده است، بر دشواری کنترل هوش مصنوعی پس از انتشار عمومی متمرکز است. برای زمینه بیشتر در مورد این داستان، [داستان های بیشتر هوش مصنوعی] (https://aibuzzwire.news) در حال انجام ما را ببینید.

برخلاف نرم‌افزارهای سنتی، سیستم‌های هوش مصنوعی پیشرفته می‌توانند متن قانع‌کننده تولید کنند، تصاویر واقعی تولید کنند، کدهای کامپیوتری بنویسند و به وظایف امنیت سایبری کمک کنند. آمودی ادعا می‌کند که در دستان نادرست از این قابلیت‌ها می‌توان برای خودکارسازی حملات سایبری، راه‌اندازی کمپین‌های پیچیده اطلاعات نادرست یا پیشبرد تحقیقات بیولوژیکی مضر استفاده کرد.

مشکل ماندگاری

یکی از ریسک‌های اصلی که Amodei بر آن تاکید کرد این است که به محض اینکه یک مدل قدرتمند به طور آشکار منتشر شود، یادآوری آن عملا غیرممکن می‌شود. سیستم‌های بسته‌ای که توسط شرکت‌ها اداره می‌شوند را می‌توان در صورت ظهور آسیب‌پذیری‌های جدید نظارت، اصلاح و محدود کرد. در مقابل، یک مدل منبع باز را می توان به طور نامحدود کپی کرد و در سراسر اینترنت توزیع کرد و توسعه دهندگان را بدون مکانیسمی برای محدود کردن استفاده از آن پس از انتشار باقی نمی گذارد.

Amodei هشدار داد که این ماندگاری به ویژه نگران کننده است زیرا مدل ها به عملکرد سطح انسانی در کارهای پیچیده تر نزدیک می شوند. او استدلال کرد که هوش مصنوعی پیشرفته قبل از اینکه به طور گسترده در دسترس باشد، باید تحت آزمایش های ایمنی قوی، استقرار کنترل شده و نظارت نظارتی مناسب قرار گیرد، نه اینکه مانند نرم افزارهای معمولی که می توانند به طور مشترک در فضای باز بهبود می یابند، رفتار شود.

موقعیت او نشان دهنده یک خط گسل رو به رشد در صنعت است. طرفداران هوش مصنوعی منبع باز استدلال می کنند که دسترسی عمومی باعث رقابت، دموکراتیزه کردن پیشرفت فناوری و جلوگیری از انحصار چند شرکت از هوش مصنوعی می شود. توسعه‌دهندگان در سراسر جهان می‌توانند معماری مدل، نقص‌های امنیتی سطحی را بررسی کنند و سیستم‌ها را به طور مشترک بهبود بخشند، در حالی که استارت‌آپ‌ها، محققان و مؤسسات آموزشی می‌توانند بدون وابستگی به پلت‌فرم‌های اختصاصی گران قیمت بسازند.

خطرات خاص روی میز

نگرانی های آمودی انتزاعی نیست. مدل‌هایی که به‌صورت آزاد منتشر شده‌اند قبلاً توسط محققان با استفاده از تکنیک‌های تنظیم دقیق ساده از نرده‌های محافظ خود برداشته شده‌اند، روشی که نشان می‌دهد پس از عمومی شدن وزنه‌های زیرین با چه سرعتی اقدامات حفاظتی را می‌توان حذف کرد. از آنجایی که مدل‌ها در کارهایی مانند شیمی، زیست‌شناسی و بهره‌برداری نرم‌افزاری توانمندتر می‌شوند، نگرانی این است که نسخه‌های باز می‌تواند قابلیت‌های قدرتمندی را به بازیگرانی بدهد که هرگز از غربالگری که آزمایشگاه‌های مسئول بر مشتریان خود تحمیل می‌کنند، عبور نمی‌کنند.

بعد اطلاعات نادرست نیز مورد بررسی قرار گرفته است. مدل هایی که می توانند متن، تصاویر و صوت واقعی را در مقیاس تولید کنند، می توانند به مداخله در انتخابات، تقلب مالی یا تولید انبوه تبلیغات تبدیل شوند. Amodei خاطرنشان کرد، از آنجایی که یک مدل باز کاملاً بر روی سخت افزار خود مهاجم کار می کند، هیچ API برای دریچه گاز، هیچ حساب کاربری برای تعلیق و هیچ ارائه دهنده ای وجود ندارد که پس از وارد شدن آسیب، پاسخگو باشد.

پس زمینه رقابتی

هشدارهای Amodei در بحبوحه موجی از مدل های باز توانمند از سوی توسعه دهندگان چینی می رسد. GLM-5.2 ژیپو، همراه با دیگر سیستم‌های چینی ارزان قیمت، توجه تازه‌ای را به این موضوع جلب کرده است که مدل‌های باز و در دسترس با چه سرعتی شکاف را با سیستم‌های اختصاصی مرزی Anthropic و OpenAI کاهش می‌دهند. این فشار رقابتی بحث سیاست گذاری را در مورد اینکه آیا محدودیت در عرضه های باز به نفع شرکت های مسلط است یا جوامع را در معرض سوء استفاده قرار می دهد تشدید کرده است.

منتقدان موضع آمودی معتقدند که محدود کردن هوش مصنوعی منبع باز می تواند به طور ناخواسته شرکت های بزرگ فناوری را با محدود کردن نوآوری های مستقل تثبیت کند. آنها همچنین خاطرنشان می کنند که شفافیت اغلب به محققان اجازه می دهد تا آسیب پذیری ها را سریعتر از توسعه بسته شناسایی کنند. با این حال، حتی بسیاری از حامیان توسعه باز اذعان دارند که سیستم‌های قدرتمندتر ممکن است به چارچوب‌های حکومتی قوی‌تری نسبت به نسل‌های قبلی نرم‌افزار نیاز داشته باشند.

طناب رگولاتوری

این بحث با توجه به قوانین جدید هوش مصنوعی توسط دولت‌های سراسر جهان فوریت پیدا کرده است. سیاست گذاران با تعادل دشواری روبرو هستند: محدودیت های بیش از حد می تواند رشد اقتصادی و کشف علمی را کاهش دهد، در حالی که نظارت ناکافی می تواند جوامع را در معرض خطراتی قرار دهد که پیش بینی آن دشوار است. آمودی پیشنهاد کرد که ایجاد این توازن نیازمند همکاری بین دولت ها، شرکت های فناوری، محققان دانشگاهی و جامعه مدنی است.

شهادت او بر یکی از بحث های تعیین کننده سیاست فناوری در این دهه تاکید می کند. همانطور که هوش مصنوعی توانمندتر می شود، جامعه باید تصمیم بگیرد که چگونه نوآوری را تشویق کند و در عین حال خطرات مرتبط با دسترسی گسترده به سیستم های دگرگون کننده را به حداقل برساند. چه از طریق مقررات، استانداردهای صنعتی یا همکاری بین‌المللی، انتخاب‌هایی که در ماه‌های آینده بر روی هوش مصنوعی متن‌باز انجام می‌شود، می‌تواند کنترل این فناوری و میزان ایمن بودن آن را برای سال‌های آینده تعیین کند.

برای آنتروپیک، این موضع با تاکید طولانی مدت شرکت بر ایمنی هوش مصنوعی و انتشارهای کنترل شده مطابقت دارد. اما با توجه به اینکه مدل‌های باز به سرعت در حال پیشرفت هستند و تنظیم‌کننده‌ها همچنان در تلاش برای رسیدن به عقب هستند، شکاف بین هشدارهای Amodei و سرعت جنبش منبع باز ممکن است سریع‌تر از سیاست‌گذاران کاهش یابد.

---

از هوش مصنوعی جلوتر بمانید

آخرین اخبار، تحلیل ها و پیشرفت های هوش مصنوعی را دریافت کنید - همه در یک مکان.

بیشتر بخوانید اخبار هوش مصنوعی →