חברת תשתיות האינטרנט Cloudflare הציגה בקרה חדשה המאפשרת לבעלי אתרים לחסום את השימוש בתוכן שלהם לאימון מודלים של AI תוך שמירה על זמינות מלאה בתוצאות החיפוש המסורתיות - ניתוק שהמערכת האקולוגית של הסורק מעולם לא תמכה בו בצורה נקייה בעבר.

התכונה, שהוכרזה בבלוג Cloudflare ב-15 בספטמבר, מגיעה לצד ייעוד חדש של "Accountable" למפעילי סורקים. לפי Cloudflare, אפל, גוגל ומיקרוסופט הן החברות הראשונות שהסורקים שלהן זכאים. כל מי שעוקב אחר חדשות בינה מלאכותית השנה יודע שהשאלה מי זוכה לגרד תוכן שפורסם הפכה לאחד ממאבקי המדיניות המעוררים ביותר באינטרנט.

בעיית הסורק בשימוש מעורב

סוגיית הליבה היא מה ש-Cloudflare מכנה סורקים בשימוש מעורב: בוטים בודדים, כמו Googlebot, Bingbot ו-Applebot, שמביאים דפים גם כדי לבנות אינדקסים לחיפוש וגם כדי לאסוף נתוני אימון עבור מודלים של AI. מבחינה היסטורית, לבעל אתר שרצה לבטל את הסכמתו לאימון בינה מלאכותית היה מכשיר קהה אחד - ה-robots.txt disallow - והשימוש בו הסתכן בהיעלמות מוחלטת מתוצאות החיפוש.

ההגדרה החדשה של Disallow AI Training של Cloudflare נקראת על שם ההנחיה שהיא מפרסמת בקובץ robots.txt של אתר. כאשר מופעלת, העדפת האתר ללא אימון מסונכרנת לתוך robots.txt, סורקים מעורבים בעלי אחריות נשארים מותרים למטרות חיפוש, וכל סורק הדרכה אחר נחסם. Cloudflare מציינת שחסימת סורקי אימון בלבד - היא שמה לסורקי האימון המופעלים על ידי אמזון, Anthropic, Meta ו-OpenAI - מעולם לא השפיעה על החיפוש מלכתחילה.

מה הופך סורק 'לאחראי'

כדי לזכות בתואר Accountable, מפעיל בוט חייב לעמוד או להתחייב לעמוד בסט של דרישות המפורטות בפוסט בבלוג:

  • מנגנון לבעלי אתרים לבטל הסכמה לאימון AI, באמצעות robots.txt או תקן דומה
  • מנגנון לביטול הסכמה לסיכומי בינה מלאכותית, המוגדרים ישירות מול המפעיל ובשנה הבאה באמצעות Cloudflare
  • חשיפה ברמת כתובות האתרים שבהן הדפים הפכו זמינים להדרכה, בתוספת מדדים המראים כיצד התוכן הופיע בחיפוש
  • הבטחה שביטול ההצטרפות לאימון AI לא תשפיע על דירוג החיפוש המסורתי

Cloudflare אומרת שאפל, גוגל ומיקרוסופט מוכיחות כיום שהן עומדות בדרישות, תוך שילוב של יכולות הזמינות היום עם התחייבויות מוגבלות בזמן לתכונות שעדיין בפיתוח.

הגדרות חדשות, כלים שהוצאו משימוש

השינוי מעבד מחדש את בקרות ניהול הבוטים של Cloudflare, אשר מסווגות כעת את תעבורת הסורקים לשלוש התנהגויות: חיפוש, הדרכה וסוכן. עם הוספת אי אפשר אימון בינה מלאכותית, ההגדרות הזמינות הן אפשר, אי אפשר אימון בינה מלאכותית, חסום בדפים עם מודעות וחסום.

שני כלים ותיקים מוציאים משימוש. האפשרות הרחבה "חסום בוטים של בינה מלאכותית" מפנה את מקומה לבקרי החיפוש, ההדרכה והסוכן המפורטים יותר, ו-Managed Robots.txt מוחלף במערכת בשם Bot Preference Sync, כאשר לקוחות קיימים עוברים אוטומטית. Disallow AI Training יהפוך גם לחלק מהתצורה המומלצת של Cloudflare עבור דומיינים חדשים מסוימים.

המתג המשמעותי ביותר נוגע להגדרת החסימה עצמה. בעבר, חסימה ו"חסום בדפים עם מודעות" לא חלו על סורקים מעורבים, מכיוון שחסימתם עלולה לפגוע בגילוי החיפוש. החל מה-15 בספטמבר, הגדרות אלו חלות כעת על כל סורקי ההדרכה, כולל Applebot, Bingbot ו-Googlebot - כלומר אתר שבוחר ב-Block מקבל כעת את ההשלכות של דירוג החיפוש של בחירה זו.

אין 'אסור' לסוכנים - עדיין

נותר פער אחד. קטגוריית הסוכן של Cloudflare מכסה סוכנים מכווני משתמש, כגון סוכנים לשימוש בדפדפן ובוטים לאחזור צ'אט, המבקרים בדף מטעם אדם. החברה כותבת שסוכנים אינם יוצרים את אותו הפשרה לגילוי חיפוש כמו סורקים בשימוש מעורב, וכי האינטרנט חסרה הנחיה מבוססת היטב להבעת העדפות אסורות לסוכנים. לעת עתה אין הגדרה של Disallow עבור סוכנים, אם כי Cloudflare אומרת שהיא תבדוק מחדש את הגישה כסטנדרטים כגון ai-prefs בשל.

למה זה חשוב לבעלי אתרים

עבור ארגוני חדשות ואתרי תוכן, ההכרזה היא הדבר הקרוב ביותר עד כה לנתיב ביניים בר-ביצוע בעימות בין תעשיית ההוצאה לאור למפתחי בינה מלאכותית. מפרסמים טענו כי הכשרה על עבודתם ללא תשלום או רשות היא מיצוי; חברות בינה מלאכותית טענו שזחילה היא פרקטיקה רגילה וש-robots.txt מעולם לא תוכנן להבחנות מתקופת הבינה המלאכותית.

על ידי יצירת ייעוד לסורקים המפרידים בין אינדקס חיפוש לבין שימוש באימון - ועל ידי אכיפתו באמצעות בקרות ברירת מחדל - Cloudflare מבקשת למעשה ממעבדות AI ומחברות פלטפורמה להתחרות במונחים ידידותיים לבעלי אתרים. שלושת המפעילים המייסדים של Accountable הם במקרה חברות שעסקי הליבה שלהן תלויים במערכות חיפוש והפעלה, ולא בהכשרת מודלים, מה שסביר שלא יהיה צירוף מקרים.

השאלה הפתוחה היא אכיפה וכלכלה. Cloudflare יכול לסווג התנהגות וסנכרון העדפות, אבל התנאים הפיננסיים של רישיונות הדרכה נשארים עניין של שוק פרטי בין מפרסמים וחברות בינה מלאכותית. מה שמשתנה השבוע הוא ארצי ומשמעותי יותר: אתר שאומר לא לאימון בינה מלאכותית יכול כעת לעשות זאת מבלי לוותר על מקומו בתוצאות החיפוש. עבור תעשייה שצופה בתנועת הפניות וסכסוכי הכשרה מתפתחים בו זמנית, ההפרדה הזו כבר מזמן.

---

הישאר לפני AI

קבל את החדשות, הניתוחים ופריצות הדרך האחרונות של AI - הכל במקום אחד.

קרא עוד חדשות AI →