บริษัทโครงสร้างพื้นฐานเว็บ Cloudflare ได้เปิดตัวการควบคุมใหม่ที่ช่วยให้ผู้เผยแพร่เว็บไซต์บล็อกเนื้อหาของตนไม่ให้ใช้สำหรับการฝึกอบรมโมเดล AI ในขณะที่ยังคงใช้งานได้อย่างเต็มที่ในผลการค้นหาแบบเดิม ซึ่งเป็นการแยกส่วนที่ระบบนิเวศของโปรแกรมรวบรวมข้อมูลไม่เคยได้รับการสนับสนุนอย่างสมบูรณ์มาก่อน

ฟีเจอร์นี้ซึ่งประกาศในบล็อก Cloudflare เมื่อวันที่ 15 กันยายน มาพร้อมกับการกำหนด "Accountable" ใหม่สำหรับผู้ดำเนินการรวบรวมข้อมูล จากข้อมูลของ Cloudflare นั้น Apple, Google และ Microsoft เป็นบริษัทแรกๆ ที่โปรแกรมรวบรวมข้อมูลมีคุณสมบัติเหมาะสม ใครก็ตามที่ติดตาม ข่าวด่วน AI ในปีนี้ รู้ดีว่าคำถามที่ว่าใครบ้างที่สามารถคัดลอกเนื้อหาที่เผยแพร่ได้กลายเป็นหนึ่งในการต่อสู้ทางนโยบายที่มีการโต้แย้งกันมากที่สุดในอินเทอร์เน็ต

ปัญหาโปรแกรมรวบรวมข้อมูลแบบใช้ผสม

ปัญหาหลักคือสิ่งที่ Cloudflare เรียกว่าโปรแกรมรวบรวมข้อมูลแบบผสมผสาน: บอทเดี่ยว เช่น Googlebot, Bingbot และ Applebot ที่ดึงข้อมูลเพจทั้งเพื่อสร้างดัชนีการค้นหาและรวบรวมข้อมูลการฝึกอบรมสำหรับโมเดล AI ในอดีต เจ้าของเว็บไซต์ที่ต้องการยกเลิกการฝึกอบรม AI มีเครื่องมือทื่อๆ อย่างหนึ่ง นั่นคือ robots.txt ไม่อนุญาต และการใช้มันเสี่ยงที่จะหายไปจากผลการค้นหาโดยสิ้นเชิง

การตั้งค่า Disallow AI Training ใหม่ของ Cloudflare ได้รับการตั้งชื่อตามคำสั่งที่เผยแพร่ในไฟล์ robots.txt ของเว็บไซต์ เมื่อเปิดใช้งาน การตั้งค่าที่ไม่มีการฝึกอบรมของไซต์จะซิงค์กับ robots.txt โปรแกรมรวบรวมข้อมูลการใช้งานแบบผสมที่รับผิดชอบยังคงได้รับอนุญาตสำหรับวัตถุประสงค์ในการค้นหา และโปรแกรมรวบรวมข้อมูลการฝึกอบรมอื่นๆ ทั้งหมดจะถูกบล็อก Cloudflare ตั้งข้อสังเกตว่าการบล็อกโปรแกรมรวบรวมข้อมูลการฝึกอบรมเท่านั้น — โดยตั้งชื่อโปรแกรมรวบรวมข้อมูลการฝึกอบรมที่ดำเนินการโดย Amazon, Anthropic, Meta และ OpenAI — ไม่เคยส่งผลกระทบต่อการค้นหาตั้งแต่แรก

อะไรทำให้โปรแกรมรวบรวมข้อมูล 'มีความรับผิดชอบ'

หากต้องการรับตำแหน่ง Accountable ผู้ดำเนินการบอทจะต้องปฏิบัติตามหรือมุ่งมั่นที่จะปฏิบัติตามข้อกำหนดที่กำหนดไว้ในโพสต์บล็อก:

  • กลไกสำหรับเจ้าของไซต์ในการเลือกไม่รับการฝึกอบรม AI ผ่าน robots.txt หรือมาตรฐานที่คล้ายกัน
  • กลไกในการยกเลิกสรุป AI ซึ่งตั้งค่าโดยตรงกับผู้ปฏิบัติงาน และในปีหน้าจะตั้งค่าผ่าน Cloudflare
  • การเปิดเผยระดับ URL ว่าเพจใดบ้างที่พร้อมสำหรับการฝึกอบรม รวมถึงตัวชี้วัดที่แสดงว่าเนื้อหาปรากฏในการค้นหาอย่างไร
  • รับประกันว่าการเลือกไม่รับการฝึกอบรม AI จะไม่ส่งผลกระทบต่อการจัดอันดับการค้นหาแบบเดิม

Cloudflare กล่าวว่าปัจจุบัน Apple, Google และ Microsoft แสดงให้เห็นว่าพวกเขามีคุณสมบัติครบถ้วน โดยผสมผสานความสามารถที่มีอยู่ในปัจจุบันเข้ากับข้อผูกพันด้านเวลาสำหรับฟีเจอร์ที่ยังคงอยู่ในการพัฒนา

การตั้งค่าใหม่ เครื่องมือที่เลิกใช้แล้ว

การเปลี่ยนแปลงนี้ปรับปรุงการควบคุมการจัดการบอทของ Cloudflare ซึ่งขณะนี้จัดประเภทการรับส่งข้อมูลของโปรแกรมรวบรวมข้อมูลออกเป็นสามลักษณะการทำงาน: การค้นหา การฝึกอบรม และตัวแทน เมื่อเพิ่ม Disallow AI Training แล้ว การตั้งค่าที่ใช้ได้คือ อนุญาต ไม่อนุญาตการฝึกอบรม AI บล็อกบนเพจที่มีโฆษณา และบล็อก

เครื่องมือสองอันที่มีมายาวนานกำลังจะเลิกใช้งาน ตัวเลือก "บล็อก AI บอท" แบบกว้างๆ ช่วยให้เข้าถึงการควบคุมการค้นหา การฝึกอบรม และตัวแทนได้ละเอียดยิ่งขึ้น และ Robots.txt ที่มีการจัดการจะถูกแทนที่ด้วยระบบที่เรียกว่า Bot Preference Sync โดยที่ลูกค้าปัจจุบันจะถูกย้ายโดยอัตโนมัติ การไม่อนุญาตการฝึกอบรม AI จะเป็นส่วนหนึ่งของการกำหนดค่าที่แนะนำของ Cloudflare สำหรับโดเมนใหม่บางโดเมน

สวิตช์ที่เป็นผลสืบเนื่องที่สุดเกี่ยวข้องกับการตั้งค่าบล็อกเอง ก่อนหน้านี้ การบล็อกและ "การบล็อกหน้าเว็บที่มีโฆษณา" ไม่ได้ใช้กับโปรแกรมรวบรวมข้อมูลแบบผสมผสาน เนื่องจากการบล็อกอาจสร้างความเสียหายต่อการค้นพบของการค้นหา ณ วันที่ 15 กันยายน การตั้งค่าเหล่านั้นมีผลกับโปรแกรมรวบรวมข้อมูลการฝึกอบรมทั้งหมด รวมถึง Applebot, Bingbot และ Googlebot ซึ่งหมายความว่าไซต์ที่เลือก Block จะยอมรับผลการจัดอันดับการค้นหาของตัวเลือกนั้น

ยังไม่มี 'ไม่อนุญาต' สำหรับตัวแทน — เลย

เหลืออีกหนึ่งช่องว่าง หมวดหมู่ตัวแทนของ Cloudflare ครอบคลุมถึงตัวแทนที่ผู้ใช้กำหนดทิศทางเอง เช่น ตัวแทนการใช้งานเบราว์เซอร์และบอทดึงแชท การเยี่ยมชมเพจในนามของบุคคล บริษัทเขียนว่าตัวแทนไม่ได้สร้างการแลกเปลี่ยนระหว่างการค้นหาและการค้นพบเช่นเดียวกับซอฟต์แวร์รวบรวมข้อมูลแบบผสมผสาน และอินเทอร์เน็ตขาดคำสั่งที่เป็นที่ยอมรับในการแสดงการตั้งค่าที่ไม่อนุญาตต่อตัวแทน ในตอนนี้ ยังไม่มีการตั้งค่า Disallow สำหรับ Agents แม้ว่า Cloudflare บอกว่าจะทบทวนแนวทางนี้อีกครั้งตามมาตรฐาน เช่น ai-prefs ที่สมบูรณ์แล้ว

เหตุใดจึงสำคัญสำหรับผู้จัดพิมพ์

สำหรับองค์กรข่าวและไซต์เนื้อหา การประกาศดังกล่าวเป็นสิ่งที่ใกล้เคียงที่สุดกับเส้นทางสายกลางที่ใช้การได้ในการเผชิญหน้าระหว่างอุตสาหกรรมสิ่งพิมพ์และนักพัฒนา AI ผู้จัดพิมพ์แย้งว่าการฝึกอบรมเกี่ยวกับงานของตนโดยไม่ได้รับค่าตอบแทนหรือได้รับอนุญาตถือเป็นการสกัดกั้น บริษัท AI แย้งว่าการรวบรวมข้อมูลเป็นแนวทางปฏิบัติมาตรฐาน และ robots.txt ไม่เคยได้รับการออกแบบมาเพื่อความแตกต่างในยุค AI

ด้วยการกำหนดอย่างเป็นทางการสำหรับโปรแกรมรวบรวมข้อมูลที่แยกการจัดทำดัชนีการค้นหาออกจากการใช้งานการฝึกอบรม — และโดยการบังคับใช้ผ่านการควบคุมเริ่มต้น — Cloudflare กำลังขอให้ห้องปฏิบัติการ AI และบริษัทแพลตฟอร์มแข่งขันกันโดยใช้เงื่อนไขที่เป็นมิตรกับผู้เผยแพร่ ผู้ดำเนินการที่รับผิดชอบผู้ก่อตั้งทั้งสามรายนั้นเป็นบริษัทที่ธุรกิจหลักขึ้นอยู่กับการค้นหาและระบบปฏิบัติการ ไม่ใช่การฝึกอบรมแบบจำลอง ซึ่งไม่น่าจะไม่ใช่เรื่องบังเอิญ

คำถามเปิดคือการบังคับใช้และเศรษฐศาสตร์ Cloudflare สามารถจัดประเภทพฤติกรรมและการตั้งค่าการซิงค์ได้ แต่เงื่อนไขทางการเงินของใบอนุญาตการฝึกอบรมยังคงเป็นเรื่องของตลาดส่วนตัวระหว่างผู้เผยแพร่และบริษัท AI การเปลี่ยนแปลงในสัปดาห์นี้เป็นเรื่องธรรมดาและมีความหมายมากขึ้น: ไซต์ที่ปฏิเสธการฝึกอบรม AI สามารถทำได้โดยไม่ต้องเสียสละตำแหน่งในผลการค้นหา สำหรับอุตสาหกรรมที่ต้องจับตาดูข้อขัดแย้งเกี่ยวกับการรับส่งข้อมูลและการฝึกอบรมในเวลาเดียวกัน การแยกกันนั้นเกิดขึ้นมานานแล้ว

---

ก้าวนำหน้า AI

รับข่าวสาร AI การวิเคราะห์ และความก้าวหน้าล่าสุด ทั้งหมดในที่เดียว

อ่านข่าว AI เพิ่มเติม →