OpenAI روز پنجشنبه اعلام کرد که به سیگنال مشترک در robots.txt احترام می گذارد، فایلی که وب سایت ها برای ارتباط با نحوه دسترسی به محتوای خود استفاده می کنند، به طوری که اپراتورهای سایت می توانند به جای حفظ قوانین جداگانه برای هر خزنده، یک اولویت آموزشی واحد هوش مصنوعی را به چندین ارائه دهنده به طور همزمان بیان کنند. بر اساس گزارش The Verge، گوگل و مایکروسافت نیز از این تلاش حمایت می کنند و میزگرد موتور جستجو اعلامیه های پذیرش هر دو شرکت را در همان روز مستند می کند.

این حرکت به یک نقطه درد طولانی مدت برای ناشران می پردازد. تا به حال، وب‌سایتی که می‌خواست محتوای خود را از خطوط لوله آموزشی هوش مصنوعی دور نگه دارد، باید هر خزنده هوش مصنوعی را به صورت جداگانه شناسایی می‌کرد و قوانین جداگانه‌ای برای هر ارائه‌دهنده می‌نوشت، سپس با ظاهر شدن خزنده‌های جدید، آن فهرست را به‌روز نگه می‌داشت. یک سیگنال مشترک، بار تعمیر و نگهداری را به یک خط هدف تبدیل می کند که شرکت های شرکت کننده موافقت می کنند به آن احترام بگذارند. For more context on this story, see our ongoing AI trends.

آنچه OpenAI به آن متعهد است

بر اساس گزارش Unite.AI از اعلامیه، OpenAI در اطلاعیه خود این تلاش را داوطلبانه توصیف کرد و گفت که قصد دارد سیگنال را در ماه‌های آینده پیاده‌سازی کند و جزئیات پیاده‌سازی در به‌روزرسانی بعدی دنبال شود. این شرکت گفت سیگنال جدید جایگزین کنترل‌هایی که قبلاً از طریق robots.txt ارائه کرده است، نخواهد شد، که همچنان اعمال می‌شود و مورد احترام قرار می‌گیرد.

OpenAI این کار را بر اساس تلاش‌های مستمر گروه کاری اولویت‌های هوش مصنوعی نیروی کار مهندسی اینترنت، تلاش بدنه استانداردی که برای تعریف اینکه چگونه وب‌سایت‌ها می‌توانند ترجیحات قابل خواندن توسط ماشین را در مورد نحوه استفاده از محتوایشان در سیستم‌های هوش مصنوعی بیان کنند، کار می‌کند. این شرکت گفت که به سایر شرکت‌کنندگان در گروه کاری در اعلام این خبر می‌پیوندد و سایر ارائه‌دهندگان هوش مصنوعی را نیز تشویق کرد که به این سیگنال احترام بگذارند.

Google و Microsoft Sign On

اهمیت این اعلامیه به شدت به این بستگی دارد که چه کسی استاندارد را قبول کند، و نشانه‌های اولیه نشان می‌دهد که بزرگترین بازیکنان در آن حضور دارند. میزگرد موتور جستجو در روز پنجشنبه گزارش داد که گوگل کنترل آموزشی جدید هوش مصنوعی را پذیرفته است و به طور جداگانه بینگ مایکروسافت را پوشش داد که کنترل‌های آموزشی هوش مصنوعی جدیدی را که به محصولات زمینی جستجوی هوش مصنوعی متصل است، پوشش می‌دهد. The Verge گزارش داد که OpenAI، گوگل و مایکروسافت از استاندارد جدید برای وب سایت ها پشتیبانی می کنند، که آن را به اولین کنوانسیون بین صنعتی در نوع خود تبدیل می کند که توسط شرکت هایی پشتیبانی می شود که خزنده های آنها بخش عمده ای از واکشی مرتبط با هوش مصنوعی را تشکیل می دهند.

اگر این سه شرکت از این کار پیروی کنند، یک اپراتور وب‌سایت می‌تواند یک انصراف آموزشی واحد را تنظیم کند که توسط خزنده‌های پشت ChatGPT، محصولات هوش مصنوعی گوگل و اکوسیستم Copilot مایکروسافت به طور همزمان قابل درک باشد. این یک دنیای مادی ساده‌تر از دنیای کنونی برای ناشران است، جایی که هر ارائه‌دهنده نام‌های خزنده و نشانه‌های ترجیحی خود را مستند می‌کند.

چرا ناشران این را می خواستند

فشار برای یک سیگنال یکپارچه سال‌ها است که ایجاد می‌شود، زیرا آموزش هوش مصنوعی به نقطه اشتعال بین صنعت فناوری و افرادی که سوابق مکتوبی را تولید می‌کنند که مدل‌ها از آن یاد می‌گیرند، تبدیل شده است. سازمان‌های خبری، به‌ویژه از این شکایت کرده‌اند که خزنده‌های هوش مصنوعی گزارش‌های خود را در مقیاس بزرگ می‌ریزند در حالی که مدل‌های کسب‌وکار با بودجه تبلیغاتی فرسوده می‌شوند، و چندین ناشر به دادگاه رفته‌اند یا قراردادهای مجوز امضا کرده‌اند تا اهرم‌های مالی را پس بگیرند.

راه حل های موقت زیاد شده است. Cloudflare که در مقابل بخش بزرگی از وب قرار دارد، تنظیمی را راه‌اندازی کرد که به سایت‌ها اجازه می‌دهد خزنده‌های آموزشی هوش مصنوعی را بدون از دست دادن قابلیت مشاهده جستجوی Google مسدود کنند، تمایزی که اهمیت دارد زیرا خزیدن هوش مصنوعی و فهرست‌سازی جستجو از نظر تاریخی توسط قوانین robots.txt یکسان اداره می‌شد. کار استانداردها در داخل گروه کاری اولویت های هوش مصنوعی IETF، با هدف رسمی کردن بیان ترجیحات در سطح پروتکل است.

یک سیگنال مشترک که توسط ارائه دهندگان اصلی هوش مصنوعی اتخاذ می شود، مهم ترین گام خواهد بود، زیرا از طریق مکانیسم robots.txt موجود کار می کند که اپراتورهای سایت قبلاً می دانند چگونه از آن استفاده کنند.

سوال اجرایی

استاندارد داوطلبانه است و آن کلمه وزن دارد. یک اولویت robots.txt به خودی خود هیچ نیروی قانونی ندارد. این فقط به شرکت‌هایی متعهد می‌شود که با رعایت آن موافقت می‌کنند و پیروی از نظر تاریخی به تشخیص و اجرای خود هر ارائه‌دهنده بستگی دارد. بیانیه OpenAI مبنی بر اینکه کنترل‌های robots.txt موجود آن همچنان رعایت خواهند شد، به جای یک رژیم جدید، تداوم را نشان می‌دهد و این شرکت هنوز جزئیات فنی را درباره نحوه اجرا یا ممیزی انطباق منتشر نکرده است.

همچنین سوالات باز وجود دارد که اعلامیه حل و فصل نمی شود. باید دید که آیا سیگنال فقط آموزش را پوشش می‌دهد یا به بازیابی و زمین‌گذاری، فرآیندهایی که سیستم‌های هوش مصنوعی محتوای زنده وب را برای پاسخ به سؤالات واکشی می‌کنند، گسترش می‌یابد. این تمایز برای ناشران اهمیت دارد زیرا محصولات مبتنی بر بازیابی می توانند ترافیک را به منابع برگردانند، در حالی که استفاده از آموزش اینطور نیست. نحوه برخورد تجارب هوش مصنوعی مدیریت شده توسط موتورهای جستجو با سیگنال در مقابل قوانین کلی خزیدن آنها، تعیین می کند که آیا ناشران پذیرش را یک پیروزی یا برگ انجیر می دانند.

چه چیزی را تماشا کنیم

نقاط عطف بعدی مشخص است: به‌روزرسانی پیاده‌سازی OpenAI، مشخصات فنی که شرکت‌های شرکت‌کننده منتشر می‌کنند، و اینکه آیا سایر ارائه‌دهندگان مهم هوش مصنوعی - از جمله آزمایشگاه‌های بزرگ چینی و شرکت‌های مستقل استنباط - پشتیبانی را اعلام می‌کنند یا خیر. ناشران و صاحبان حقوق با دقت بیشتری داستان ممیزی را دنبال خواهند کرد، یعنی اینکه آیا اپراتورها می توانند تأیید کنند که ترجیحات آنها واقعاً در مقیاس رعایت می شود یا خیر.

اگر این استاندارد پابرجا باشد، ممکن است اعلامیه روز پنج‌شنبه به‌عنوان لحظه‌ای به یاد بیاید که انصراف‌های آموزشی هوش مصنوعی به صورت تکه تکه‌ای برای هر شرکت متوقف شد و به یک کنوانسیون در سطح وب تبدیل شد. اگر متوقف شود، به صف طولانی استانداردهای داوطلبانه وب می پیوندد که صنعت آن را تحسین کرد و سپس بی سر و صدا نادیده گرفت.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →