Syarikat infrastruktur web Cloudflare telah memperkenalkan kawalan baharu yang membolehkan penerbit tapak web menyekat kandungan mereka daripada digunakan untuk latihan model AI sambil memastikannya tersedia sepenuhnya dalam hasil carian tradisional — penyahgandingan yang tidak pernah disokong oleh ekosistem perangkak sebelum ini.

Ciri itu, yang diumumkan pada blog Cloudflare pada 15 September, tiba bersama sebutan "Bertanggungjawab" baharu untuk pengendali perangkak. Menurut Cloudflare, Apple, Google dan Microsoft adalah syarikat pertama yang crawlernya layak. Sesiapa sahaja yang menjejaki berita terbaharu AI tahun ini mengetahui persoalan siapa yang boleh mengikis kandungan yang diterbitkan telah menjadi salah satu pergaduhan dasar yang paling dipertikaikan di internet.

Masalah Crawler Penggunaan Campuran

Isu teras ialah apa yang Cloudflare panggil perangkak guna campuran: bot tunggal, seperti Googlebot, Bingbot dan Applebot, yang mengambil halaman untuk membina indeks carian dan untuk mengumpul data latihan untuk model AI. Dari segi sejarah, pemilik tapak yang ingin menarik diri daripada latihan AI mempunyai satu instrumen tumpul — robots.txt tidak dibenarkan — dan menggunakannya berisiko hilang daripada hasil carian sepenuhnya.

Tetapan Disallow AI Training baharu Cloudflare dinamakan untuk arahan yang diterbitkan dalam fail robots.txt tapak. Apabila didayakan, pilihan tanpa latihan tapak disegerakkan ke robots.txt, perangkak guna campuran yang bertanggungjawab kekal dibenarkan untuk tujuan carian dan setiap perangkak latihan lain disekat. Cloudflare menyatakan bahawa menyekat perangkak latihan sahaja — ia menamakan perangkak latihan yang dijalankan oleh Amazon, Anthropic, Meta dan OpenAI — tidak pernah menjejaskan carian pada mulanya.

Perkara yang Menjadikan Crawler 'Bertanggungjawab'

Untuk memperoleh jawatan Bertanggungjawab, pengendali bot mesti memenuhi atau komited untuk memenuhi satu set keperluan yang dibentangkan dalam catatan blog:

  • Mekanisme untuk pemilik tapak untuk menarik diri daripada latihan AI, melalui robots.txt atau standard yang serupa
  • Mekanisme untuk menarik diri daripada ringkasan AI, ditetapkan terus dengan pengendali dan, tahun depan, melalui Cloudflare
  • Keterlihatan peringkat URL ke halaman yang disediakan untuk latihan, serta metrik yang menunjukkan cara kandungan muncul dalam carian
  • Jaminan bahawa menarik diri daripada latihan AI tidak akan menjejaskan kedudukan carian tradisional

Cloudflare berkata Apple, Google dan Microsoft pada masa ini menunjukkan mereka memenuhi kelayakan, menggabungkan keupayaan yang ada hari ini dengan komitmen terikat masa untuk ciri yang masih dalam pembangunan.

Tetapan Baharu, Alat Ditamatkan

Perubahan itu mengolah semula kawalan pengurusan bot Cloudflare, yang kini mengklasifikasikan trafik perangkak kepada tiga gelagat: Carian, Latihan dan Ejen. Dengan Disallow AI Training ditambahkan, tetapan yang tersedia ialah Benarkan, Tidak Benarkan Latihan AI, Sekat pada halaman dengan iklan dan Sekat.

Dua alat yang sudah lama tidak digunakan. Pilihan "Block AI Bots" yang luas memberi laluan kepada kawalan Carian, Latihan dan Ejen yang lebih terperinci, dan Robots.txt Terurus digantikan dengan sistem yang dipanggil Penyegerakan Pilihan Bot, dengan pelanggan sedia ada berhijrah secara automatik. Disallow AI Training juga akan menjadi sebahagian daripada konfigurasi yang disyorkan Cloudflare untuk domain baharu tertentu.

Suis yang paling berbangkit berkenaan tetapan Blok itu sendiri. Sebelum ini, Sekat dan "Sekat pada halaman dengan iklan" tidak digunakan pada perangkak guna campuran, kerana menyekatnya boleh merosakkan kebolehtemuan carian. Mulai 15 September, tetapan tersebut kini digunakan untuk semua perangkak latihan, termasuk Applebot, Bingbot dan Googlebot — bermakna tapak yang memilih Sekat kini menerima akibat kedudukan carian daripada pilihan itu.

Tiada 'Larang' untuk Ejen — Lagi

Satu jurang kekal. Kategori Ejen Cloudflare meliputi ejen terarah pengguna, seperti ejen penggunaan penyemak imbas dan bot pengambilan sembang, melawat halaman bagi pihak seseorang. Syarikat itu menulis bahawa ejen tidak membuat pertukaran kebolehtemuan carian yang sama seperti perangkak guna campuran, dan bahawa internet tidak mempunyai arahan yang mantap untuk menyatakan pilihan yang tidak membenarkan ejen. Buat masa ini tiada tetapan Disallow untuk Ejen, walaupun Cloudflare berkata ia akan menyemak semula pendekatan itu apabila piawaian seperti ai-prefs matang.

Mengapa Ia Penting untuk Penerbit

Bagi organisasi berita dan tapak kandungan, pengumuman itu adalah perkara yang paling hampir dengan jalan tengah yang boleh dilaksanakan dalam kebuntuan antara industri penerbitan dan pembangun AI. Penerbit telah berhujah bahawa latihan mengenai kerja mereka tanpa bayaran atau kebenaran adalah pengekstrakan; Syarikat AI telah berhujah bahawa merangkak adalah amalan standard dan robots.txt tidak pernah direka untuk perbezaan era AI.

Dengan memformalkan penetapan untuk perangkak yang memisahkan pengindeksan carian daripada penggunaan latihan — dan dengan menguatkuasakannya melalui kawalan lalai — Cloudflare secara berkesan meminta makmal AI dan syarikat platform untuk bersaing mengikut syarat mesra penerbit. Tiga pengendali Akauntabiliti pengasas adalah syarikat yang perniagaan terasnya bergantung pada carian dan sistem pengendalian, bukan latihan model, yang tidak mungkin menjadi kebetulan.

Persoalan terbuka ialah penguatkuasaan dan ekonomi. Cloudflare boleh mengklasifikasikan tingkah laku dan pilihan penyegerakan, tetapi syarat kewangan lesen latihan kekal sebagai perkara pasaran persendirian antara penerbit dan syarikat AI. Perkara yang berubah pada minggu ini adalah lebih biasa dan lebih bermakna: tapak yang mengatakan tidak kepada latihan AI kini boleh berbuat demikian tanpa mengorbankan tempatnya dalam hasil carian. Bagi industri yang memerhati trafik rujukan dan pertikaian latihan berlaku pada masa yang sama, perpisahan itu telah lama berlaku.

---

Kekal Mendahului AI

Dapatkan berita, analisis dan penemuan terkini AI — semuanya di satu tempat.

Baca lebih banyak berita AI →