Perusahaan infrastruktur web Cloudflare telah memperkenalkan kontrol baru yang memungkinkan penerbit situs web memblokir konten mereka agar tidak digunakan untuk pelatihan model AI sambil tetap menyediakannya sepenuhnya dalam hasil pencarian tradisional — sebuah pemisahan yang belum pernah didukung sepenuhnya oleh ekosistem crawler sebelumnya.

Fitur tersebut, yang diumumkan di blog Cloudflare pada tanggal 15 September, hadir bersamaan dengan sebutan baru "Akuntansi" untuk operator perayap. Menurut Cloudflare, Apple, Google, dan Microsoft adalah perusahaan pertama yang crawlernya memenuhi syarat. Siapa pun yang melacak berita AI terkini tahun ini mengetahui bahwa pertanyaan tentang siapa yang dapat menghapus konten yang dipublikasikan telah menjadi salah satu pertarungan kebijakan yang paling diperdebatkan di internet.

Masalah Perayap Penggunaan Campuran

Masalah intinya adalah apa yang Cloudflare sebut sebagai crawler serba guna: bot tunggal, seperti Googlebot, Bingbot, dan Applebot, yang mengambil halaman untuk membangun indeks pencarian dan mengumpulkan data pelatihan untuk model AI. Secara historis, pemilik situs yang ingin tidak mengikuti pelatihan AI memiliki satu instrumen yang tumpul — larangan robots.txt — dan penggunaannya berisiko hilang seluruhnya dari hasil penelusuran.

Nama pengaturan Disallow AI Training yang baru di Cloudflare diambil dari arahan yang diterbitkannya di file robots.txt situs. Jika diaktifkan, preferensi tanpa pelatihan di situs akan disinkronkan ke robots.txt, crawler serba guna yang akuntabel tetap diizinkan untuk tujuan penelusuran, dan setiap crawler pelatihan lainnya diblokir. Cloudflare mencatat bahwa memblokir crawler khusus pelatihan — yang disebut crawler pelatihan yang dijalankan oleh Amazon, Anthropic, Meta, dan OpenAI — tidak pernah memengaruhi penelusuran sejak awal.

Apa yang Membuat Crawler 'Bertanggung Jawab'

Untuk mendapatkan penunjukan Akuntabel, operator bot harus memenuhi atau berkomitmen untuk memenuhi serangkaian persyaratan yang tercantum dalam postingan blog:

  • Mekanisme bagi pemilik situs untuk tidak mengikuti pelatihan AI, melalui robots.txt atau standar serupa
  • Mekanisme untuk tidak ikut serta dalam ringkasan AI, diatur langsung dengan operator dan, tahun depan, melalui Cloudflare
  • Visibilitas tingkat URL ke halaman mana yang disediakan untuk pelatihan, ditambah metrik yang menunjukkan bagaimana konten muncul dalam penelusuran
  • Jaminan bahwa tidak mengikuti pelatihan AI tidak akan memengaruhi peringkat penelusuran tradisional

Cloudflare mengatakan Apple, Google, dan Microsoft saat ini menunjukkan bahwa mereka memenuhi kualifikasi, menggabungkan kemampuan yang tersedia saat ini dengan komitmen terikat waktu untuk fitur-fitur yang masih dalam pengembangan.

Setelan Baru, Alat yang Tidak Digunakan Lagi

Perubahan ini mengubah kontrol pengelolaan bot Cloudflare, yang kini mengklasifikasikan lalu lintas perayap menjadi tiga perilaku: Penelusuran, Pelatihan, dan Agen. Dengan ditambahkannya Larang Pelatihan AI, pengaturan yang tersedia adalah Izinkan, Larang Pelatihan AI, Blokir pada halaman dengan iklan, dan Blokir.

Dua alat yang sudah lama tidak digunakan lagi. Opsi "Blokir Bot AI" yang luas memberi jalan bagi kontrol Penelusuran, Pelatihan, dan Agen yang lebih terperinci, dan Robots.txt Terkelola digantikan oleh sistem yang disebut Sinkronisasi Preferensi Bot, dengan pelanggan yang sudah ada dimigrasikan secara otomatis. Larang Pelatihan AI juga akan menjadi bagian dari konfigurasi yang direkomendasikan Cloudflare untuk domain baru tertentu.

Peralihan yang paling penting berkaitan dengan pengaturan Blokir itu sendiri. Sebelumnya, Blokir dan "Blokir pada laman yang berisi iklan" tidak berlaku untuk perayap serba guna, karena memblokirnya dapat merusak kemampuan penelusuran untuk ditemukan. Mulai tanggal 15 September, setelan tersebut kini berlaku untuk semua perayap pelatihan, termasuk Applebot, Bingbot, dan Googlebot — artinya situs yang memilih Blokir kini menerima konsekuensi peringkat penelusuran dari pilihan tersebut.

Tidak Ada 'Larangan' untuk Agen — Belum

Masih ada satu kesenjangan. Kategori Agen Cloudflare mencakup agen yang diarahkan pengguna, seperti agen penggunaan browser dan bot pengambilan obrolan, yang mengunjungi halaman atas nama seseorang. Perusahaan tersebut menulis bahwa agen tidak menciptakan tradeoff pencarian-penemuan yang sama seperti perayap serba guna, dan bahwa internet tidak memiliki arahan yang jelas untuk menyatakan preferensi pelarangan kepada agen. Untuk saat ini tidak ada pengaturan Larang untuk Agen, meskipun Cloudflare mengatakan akan meninjau kembali pendekatan tersebut seiring dengan semakin matangnya standar seperti ai-prefs.

Mengapa Penting bagi Penerbit

Bagi organisasi berita dan situs konten, pengumuman ini adalah hal yang paling mendekati jalan tengah dalam perselisihan antara industri penerbitan dan pengembang AI. Penerbit berpendapat bahwa pelatihan tentang karya mereka tanpa bayaran atau izin adalah ekstraksi; Perusahaan AI berpendapat bahwa perayapan adalah praktik standar dan robots.txt tidak pernah dirancang untuk perbedaan era AI.

Dengan memformalkan penunjukan untuk crawler yang memisahkan pengindeksan pencarian dari penggunaan pelatihan — dan dengan menerapkannya melalui kontrol default — Cloudflare secara efektif meminta laboratorium AI dan perusahaan platform untuk bersaing dalam persyaratan yang ramah penerbit. Tiga pendiri Accountable Operator adalah perusahaan yang bisnis intinya bergantung pada sistem pencarian dan operasi, bukan pelatihan model, dan hal ini bukanlah suatu kebetulan.

Pertanyaan terbukanya adalah penegakan hukum dan ekonomi. Cloudflare dapat mengklasifikasikan perilaku dan menyinkronkan preferensi, namun ketentuan keuangan lisensi pelatihan tetap menjadi masalah pasar pribadi antara penerbit dan perusahaan AI. Perubahan yang terjadi minggu ini lebih bersifat biasa dan bermakna: situs yang menolak pelatihan AI kini dapat melakukannya tanpa mengorbankan tempatnya di hasil penelusuran. Bagi industri yang menyaksikan lalu lintas rujukan dan perselisihan pelatihan terjadi pada saat yang sama, pemisahan tersebut sudah lama terjadi.

---

Tetap Terdepan dalam AI

Dapatkan berita, analisis, dan terobosan AI terkini — semuanya di satu tempat.

Baca berita AI selengkapnya →