Η εταιρεία υποδομής Ιστού Cloudflare εισήγαγε ένα νέο έλεγχο που επιτρέπει στους εκδότες ιστότοπων να αποκλείουν τη χρήση του περιεχομένου τους για εκπαίδευση μοντέλων τεχνητής νοημοσύνης, διατηρώντας το πλήρως διαθέσιμο στα παραδοσιακά αποτελέσματα αναζήτησης - μια αποσύνδεση που το οικοσύστημα ανιχνευτή δεν έχει υποστηρίξει ποτέ πριν.

Η δυνατότητα, που ανακοινώθηκε στο ιστολόγιο Cloudflare στις 15 Σεπτεμβρίου, έρχεται μαζί με μια νέα ονομασία "Υπεύθυνος" για τους χειριστές ανιχνευτών. Σύμφωνα με το Cloudflare, η Apple, η Google και η Microsoft είναι οι πρώτες εταιρείες των οποίων οι ανιχνευτές πληρούν τις προϋποθέσεις. Οποιοσδήποτε παρακολουθεί ενημερωτικές ειδήσεις AI φέτος γνωρίζει ότι το ερώτημα ποιος μπορεί να διαγράψει δημοσιευμένο περιεχόμενο έχει γίνει ένας από τους πιο αμφισβητούμενους αγώνες πολιτικής του Διαδικτύου.

Το πρόβλημα του ανιχνευτή μικτής χρήσης

Το βασικό ζήτημα είναι αυτό που αποκαλεί το Cloudflare ανιχνευτές μικτής χρήσης: μεμονωμένα ρομπότ, όπως το Googlebot, το Bingbot και το Applebot, που ανακτούν σελίδες τόσο για τη δημιουργία ευρετηρίων αναζήτησης όσο και για τη συλλογή δεδομένων εκπαίδευσης για μοντέλα τεχνητής νοημοσύνης. Ιστορικά, ένας ιδιοκτήτης ιστότοπου που ήθελε να εξαιρεθεί από την εκπαίδευση τεχνητής νοημοσύνης είχε ένα αμβλύ όργανο - το robots.txt απαγόρευσε - και η χρήση του κινδύνευε να εξαφανιστεί εντελώς από τα αποτελέσματα αναζήτησης.

Η νέα ρύθμιση Disallow AI Training του Cloudflare πήρε το όνομά της από την οδηγία που δημοσιεύει στο αρχείο robots.txt ενός ιστότοπου. Όταν είναι ενεργοποιημένη, η προτίμηση μη εκπαίδευσης του ιστότοπου συγχρονίζεται με το robots.txt, οι ανιχνευτές μικτής χρήσης Λογιστή παραμένουν επιτρεπόμενες για σκοπούς αναζήτησης και κάθε άλλο πρόγραμμα ανίχνευσης εκπαίδευσης αποκλείεται. Το Cloudflare σημειώνει ότι ο αποκλεισμός προγραμμάτων ανίχνευσης μόνο για εκπαίδευση - ονομάζει τους ανιχνευτές εκπαίδευσης που διαχειρίζονται οι Amazon, Anthropic, Meta και OpenAI - δεν επηρέασε ποτέ την αναζήτηση εξαρχής.

Τι κάνει έναν ανιχνευτή "υπεύθυνο"

Για να κερδίσει την ονομασία Accountable, ένας χειριστής bot πρέπει να πληροί ή να δεσμευτεί να πληροί ένα σύνολο απαιτήσεων που ορίζονται στην ανάρτηση ιστολογίου:

  • Ένας μηχανισμός για τους ιδιοκτήτες ιστοτόπων να εξαιρεθούν από την εκπαίδευση τεχνητής νοημοσύνης, μέσω robots.txt ή παρόμοιου προτύπου
  • Ένας μηχανισμός εξαίρεσης από τις περιλήψεις τεχνητής νοημοσύνης, που ορίζεται απευθείας με τον χειριστή και, το επόμενο έτος, μέσω του Cloudflare
  • Ορατότητα σε επίπεδο URL στις οποίες οι σελίδες ήταν διαθέσιμες για εκπαίδευση, καθώς και μετρήσεις που δείχνουν πώς εμφανίστηκε το περιεχόμενο στην αναζήτηση
  • Διαβεβαίωση ότι η εξαίρεση από την εκπαίδευση τεχνητής νοημοσύνης δεν θα επηρεάσει τις παραδοσιακές ταξινομήσεις αναζήτησης

Η Cloudflare λέει ότι η Apple, η Google και η Microsoft αποδεικνύουν επί του παρόντος ότι πληρούν τα προσόντα, συνδυάζοντας τις δυνατότητες που είναι διαθέσιμες σήμερα με χρονικά δεσμεύσεις για λειτουργίες που βρίσκονται ακόμη υπό ανάπτυξη.

Νέες ρυθμίσεις, καταργημένα εργαλεία

Η αλλαγή επεξεργάζεται εκ νέου τα στοιχεία ελέγχου διαχείρισης ρομπότ του Cloudflare, τα οποία πλέον ταξινομούν την κυκλοφορία ανιχνευτών σε τρεις συμπεριφορές: Αναζήτηση, Εκπαίδευση και Πράκτορας. Με την προσθήκη του Disallow AI Training, οι διαθέσιμες ρυθμίσεις είναι Allow, Disallow AI Training, Block σε σελίδες με διαφημίσεις και Block.

Δύο μακροχρόνια εργαλεία καταργούνται. Η ευρεία επιλογή "Block AI Bots" δίνει τη θέση της στα πιο αναλυτικά στοιχεία ελέγχου Αναζήτησης, Εκπαίδευσης και Αντιπροσώπου και το Managed Robots.txt αντικαθίσταται από ένα σύστημα που ονομάζεται Συγχρονισμός προτιμήσεων ρομπότ, με τους υπάρχοντες πελάτες να μετεγκαθίστανται αυτόματα. Το Disallow AI Training θα γίνει επίσης μέρος της προτεινόμενης διαμόρφωσης του Cloudflare για ορισμένους νέους τομείς.

Ο πιο συνεπής διακόπτης αφορά την ίδια τη ρύθμιση Block. Προηγουμένως, ο αποκλεισμός και ο "Αποκλεισμός σε σελίδες με διαφημίσεις" δεν ίσχυαν για προγράμματα ανίχνευσης μικτής χρήσης, επειδή ο αποκλεισμός τους θα μπορούσε να βλάψει την ανιχνευσιμότητα της αναζήτησης. Από τις 15 Σεπτεμβρίου, αυτές οι ρυθμίσεις ισχύουν πλέον για όλα τα προγράμματα ανίχνευσης εκπαίδευσης, συμπεριλαμβανομένων των Applebot, Bingbot και Googlebot — που σημαίνει ότι ένας ιστότοπος που επιλέγει το Block δέχεται πλέον τις συνέπειες κατάταξης αναζήτησης αυτής της επιλογής.

Όχι «Απαγόρευση» για Αντιπροσώπους — ακόμα

Ένα κενό παραμένει. Η κατηγορία Agent του Cloudflare καλύπτει πράκτορες που κατευθύνονται από τον χρήστη, όπως πράκτορες χρήσης του προγράμματος περιήγησης και ρομπότ ανάκτησης συνομιλίας, που επισκέπτονται μια σελίδα για λογαριασμό ενός ατόμου. Η εταιρεία γράφει ότι οι πράκτορες δεν δημιουργούν τον ίδιο συμβιβασμό αναζήτησης-ανακάλυψης με τους ανιχνευτές μικτής χρήσης και ότι το Διαδίκτυο δεν διαθέτει μια καθιερωμένη οδηγία για την έκφραση των προτιμήσεων απαγόρευσης των πρακτόρων. Προς το παρόν δεν υπάρχει ρύθμιση Disallow για Agents, αν και η Cloudflare λέει ότι θα επανεξετάσει την προσέγγιση καθώς ωριμάζουν πρότυπα όπως το ai-prefs.

Γιατί έχει σημασία για τους εκδότες

Για τους ειδησεογραφικούς οργανισμούς και τους ιστότοπους περιεχομένου, η ανακοίνωση είναι ό,τι πιο κοντινό μέχρι τώρα σε μια εφαρμόσιμη μέση διαδρομή στην αντιπαράθεση μεταξύ του εκδοτικού κλάδου και των προγραμματιστών τεχνητής νοημοσύνης. Οι εκδότες έχουν υποστηρίξει ότι η εκπαίδευση για την εργασία τους χωρίς πληρωμή ή άδεια είναι εξαγωγή. Οι εταιρείες τεχνητής νοημοσύνης υποστήριξαν ότι η ανίχνευση είναι καθιερωμένη πρακτική και ότι το robots.txt δεν σχεδιάστηκε ποτέ για διακρίσεις της εποχής AI.

Επισημοποιώντας μια ονομασία για προγράμματα ανίχνευσης που διαχωρίζουν την ευρετηρίαση αναζήτησης από τη χρήση εκπαίδευσης — και επιβάλλοντάς την μέσω προεπιλεγμένων ελέγχων — το Cloudflare ζητά ουσιαστικά από τα εργαστήρια τεχνητής νοημοσύνης και τις εταιρείες πλατφορμών να ανταγωνίζονται με όρους φιλικούς προς τους εκδότες. Οι τρεις ιδρυτικοί Υπεύθυνοι χειριστές τυγχάνει να είναι εταιρείες των οποίων οι βασικές επιχειρήσεις εξαρτώνται από τα συστήματα αναζήτησης και τα λειτουργικά συστήματα και όχι από την εκπαίδευση μοντέλων, κάτι που είναι απίθανο να είναι σύμπτωση.

Το ανοιχτό ερώτημα είναι η επιβολή και τα οικονομικά. Το Cloudflare μπορεί να ταξινομήσει τις προτιμήσεις συμπεριφοράς και συγχρονισμού, αλλά οι οικονομικοί όροι των αδειών εκπαίδευσης παραμένουν ζήτημα ιδιωτικής αγοράς μεταξύ των εκδοτών και των εταιρειών τεχνητής νοημοσύνης. Αυτό που αλλάζει αυτή την εβδομάδα είναι πιο συνηθισμένο και πιο ουσιαστικό: ένας ιστότοπος που λέει όχι στην εκπαίδευση τεχνητής νοημοσύνης μπορεί πλέον να το κάνει χωρίς να θυσιάζει τη θέση του στα αποτελέσματα αναζήτησης. Για μια βιομηχανία που παρακολουθεί τις διαμάχες για την κυκλοφορία παραπομπών και την εκπαίδευση να ξετυλίγονται ταυτόχρονα, αυτός ο χωρισμός έχει έρθει εδώ και πολύ καιρό.

---

Μείνετε μπροστά από την τεχνητή νοημοσύνη

Λάβετε τα πιο πρόσφατα νέα, αναλύσεις και ανακαλύψεις για την τεχνητή νοημοσύνη — όλα σε ένα μέρος.

Διαβάστε περισσότερα νέα AI →