Perusahaan infrastruktur web Cloudflare wis ngenalake kontrol anyar sing ngidini penerbit situs web ngalangi konten supaya ora digunakake kanggo latihan model AI nalika tetep kasedhiya ing asil panelusuran tradisional - decoupling sing ekosistem crawler durung nate didhukung kanthi resik sadurunge.

Fitur kasebut, sing diumumake ing blog Cloudflare tanggal 15 September, teka bebarengan karo sebutan "Akuntabel" anyar kanggo operator crawler. Miturut Cloudflare, Apple, Google lan Microsoft minangka perusahaan pisanan sing crawler nduweni kualifikasi. Sapa wae sing nglacak breaking AI news ing taun iki ngerti pitakonan sapa sing bisa ngeruk konten sing diterbitake wis dadi salah sawijining gelut kebijakan sing paling ditandingi ing internet.

Masalah Crawler Campuran Gunakake

Masalah inti yaiku apa sing diarani Cloudflare crawler campuran: bot tunggal, kaya Googlebot, Bingbot lan Applebot, sing njupuk kaca kanggo mbangun indeks telusuran lan ngumpulake data latihan kanggo model AI. Sacara historis, pamilik situs sing pengin metu saka latihan AI duwe instrumen sing tumpul - robots.txt ora ngidini - lan nggunakake kanthi resiko ilang saka asil panelusuran.

Setelan Disallow AI Training anyar Cloudflare dijenengi kanggo arahan sing diterbitake ing file robots.txt situs. Yen diaktifake, preferensi ora-training situs disinkronake menyang robots.txt, crawler panggunaan campuran sing tanggung jawab tetep diidini kanggo tujuan panelusuran, lan saben crawler latihan liyane diblokir. Cloudflare nyathet yen mblokir crawler mung latihan - jenenge crawler latihan sing dikelola dening Amazon, Anthropic, Meta lan OpenAI - ora tau kena pengaruh panelusuran ing wiwitan.

Apa sing Nggawe Crawler 'Tanggung Jawab'

Kanggo entuk sebutan Akuntabel, operator bot kudu ketemu utawa komitmen kanggo nyukupi seperangkat syarat sing dilebokake ing postingan blog:

  • Mekanisme kanggo pamilik situs kanggo milih metu saka latihan AI, liwat robots.txt utawa standar sing padha
  • Mekanisme kanggo milih metu saka ringkesan AI, disetel langsung karo operator lan, taun ngarep, liwat Cloudflare
  • Visibilitas tingkat URL menyang kaca sing kasedhiya kanggo latihan, plus metrik sing nuduhake carane isi katon ing panelusuran
  • Jaminan yen milih metu saka latihan AI ora bakal mengaruhi peringkat telusuran tradisional

Cloudflare ngandika Apple, Google lan Microsoft saiki nduduhake padha ketemu kualifikasi, nggabungke kapabilitas kasedhiya saiki karo komitmen wektu kanggo fitur isih ing pembangunan.

Setelan Anyar, Piranti Ora Digunakake

Owah-owahan kasebut nggarap kontrol manajemen bot Cloudflare, sing saiki ngelas lalu lintas crawler dadi telung prilaku: Panelusuran, Latihan lan Agen. Kanthi Disallow AI Training ditambahake, setelan sing kasedhiya yaiku Allow, Disallow AI Training, Block ing kaca kanthi iklan, lan Block.

Loro alat sing wis suwe ora digunakake. Opsi "Blok AI Bots" sing wiyar menehi cara kanggo kontrol Panelusuran, Latihan lan Agen sing luwih rinci, lan Managed Robots.txt diganti karo sistem sing diarani Bot Preference Sync, kanthi pelanggan sing wis ana migrasi kanthi otomatis. Disallow AI Training uga bakal dadi bagean saka konfigurasi Cloudflare sing disaranake kanggo domain anyar tartamtu.

Ngalih sing paling penting yaiku setelan Blok dhewe. Sadurunge, Blok lan "Blokir ing kaca kanthi iklan" ora ditrapake kanggo crawler campuran, amarga pamblokiran kasebut bisa ngrusak kemampuan telusuran. Ing tanggal 15 September, setelan kasebut saiki ditrapake kanggo kabeh crawler latihan, kalebu Applebot, Bingbot lan Googlebot - tegese situs sing milih Blok saiki nampa konsekuensi peringkat telusuran saka pilihan kasebut.

Ora Ana 'Disallow' kanggo Agen - Nanging

Siji longkangan tetep. Kategori Agen Cloudflare nyakup agen sing diarahake pangguna, kayata agen nggunakake browser lan bot njupuk chatting, ngunjungi kaca kanggo jenenge wong. Perusahaan kasebut nulis manawa agen ora nggawe tradeoff sing bisa ditemokake ing panelusuran sing padha karo crawler campuran, lan internet ora duwe arahan sing mapan kanggo nyatakake preferensi sing ora ngidini agen. Saiki ora ana setelan Disallow kanggo Agen, sanajan Cloudflare ujar manawa bakal mriksa maneh pendekatan kasebut minangka standar kayata ai-prefs diwasa.

Apa Iku Penting kanggo Penerbit

Kanggo organisasi warta lan situs konten, woro-woro kasebut minangka sing paling cedhak karo jalur tengah sing bisa ditindakake ing antarane industri penerbitan lan pangembang AI. Penerbit wis ndhukung sing latihan ing karya tanpa bayaran utawa ijin extraction; Perusahaan AI wis mbantah manawa crawling minangka praktik standar lan robots.txt ora tau dirancang kanggo mbedakake jaman AI.

Kanthi formalisasi sebutan kanggo crawler sing misahake indeksasi telusuran saka panggunaan latihan - lan kanthi ngetrapake liwat kontrol standar - Cloudflare kanthi efektif njaluk lab AI lan perusahaan platform supaya bisa bersaing ing syarat-syarat sing cocog karo penerbit. Telu operator Akuntabel sing dadi perusahaan sing bisnis inti gumantung ing sistem telusuran lan operasi, dudu latihan model, sing ora mungkin kebetulan.

Pitakonan mbukak yaiku penegakan lan ekonomi. Cloudflare bisa nggolongake preferensi prilaku lan sinkronisasi, nanging syarat finansial lisensi latihan tetep dadi masalah pasar pribadi antarane penerbit lan perusahaan AI. Apa owah-owahan ing minggu iki luwih biasa lan luwih migunani: situs sing ora ngomong babagan latihan AI saiki bisa ditindakake tanpa ngorbanake papan ing asil panelusuran. Kanggo industri sing nonton perselisihan lalu lintas rujukan lan latihan ing wektu sing padha, pemisahan kasebut wis suwe banget.

---

Tetep Ahead of AI

Entuk warta, analisis, lan terobosan AI paling anyar - kabeh ing sak panggonan.

Waca liyane AI warta →