Công ty cơ sở hạ tầng web Cloudflare đã giới thiệu một biện pháp kiểm soát mới cho phép các nhà xuất bản trang web chặn nội dung của họ được sử dụng để đào tạo mô hình AI trong khi vẫn giữ nội dung đó có sẵn đầy đủ trong kết quả tìm kiếm truyền thống - một sự tách biệt mà hệ sinh thái trình thu thập thông tin chưa bao giờ hỗ trợ rõ ràng trước đây.
Tính năng này, được công bố trên blog Cloudflare vào ngày 15 tháng 9, đi kèm với chỉ định "Có trách nhiệm" mới dành cho người vận hành trình thu thập thông tin. Theo Cloudflare, Apple, Google và Microsoft là những công ty đầu tiên có trình thu thập thông tin đủ điều kiện. Bất kỳ ai theo dõi tin nóng về AI năm nay đều biết câu hỏi ai có quyền thu thập nội dung đã xuất bản đã trở thành một trong những cuộc đấu tranh chính sách gây tranh cãi nhất trên Internet.
Vấn đề về trình thu thập thông tin sử dụng hỗn hợp
Vấn đề cốt lõi là cái mà Cloudflare gọi là trình thu thập thông tin sử dụng hỗn hợp: các bot đơn lẻ, như Googlebot, Bingbot và Applebot, tìm nạp các trang để xây dựng chỉ mục tìm kiếm và thu thập dữ liệu đào tạo cho các mô hình AI. Trong lịch sử, chủ sở hữu trang web muốn từ chối đào tạo AI đã có một công cụ cùn - không cho phép robots.txt - và việc sử dụng nó có nguy cơ biến mất hoàn toàn khỏi kết quả tìm kiếm.
Cài đặt Disallow AI Training mới của Cloudflare được đặt tên theo lệnh mà nó xuất bản trong tệp robots.txt của trang web. Khi được bật, tùy chọn không cần đào tạo của trang web sẽ được đồng bộ hóa vào robots.txt, các trình thu thập thông tin sử dụng hỗn hợp có trách nhiệm vẫn được phép cho mục đích tìm kiếm và mọi trình thu thập thông tin đào tạo khác đều bị chặn. Cloudflare lưu ý rằng việc chặn các trình thu thập thông tin chỉ dành cho đào tạo – nó đặt tên cho các trình thu thập thông tin đào tạo do Amazon, Anthropic, Meta và OpenAI điều hành – không bao giờ ảnh hưởng đến tìm kiếm ngay từ đầu.
Điều gì khiến trình thu thập thông tin 'có trách nhiệm'
Để được chỉ định Chịu trách nhiệm, người điều hành bot phải đáp ứng hoặc cam kết đáp ứng một loạt yêu cầu được nêu trong bài đăng trên blog:
- Cơ chế để chủ sở hữu trang web từ chối đào tạo AI, thông qua robots.txt hoặc một tiêu chuẩn tương tự
- Cơ chế chọn không tham gia các bản tóm tắt AI, được đặt trực tiếp với nhà điều hành và vào năm tới, thông qua Cloudflare
- Khả năng hiển thị ở cấp độ URL về các trang được cung cấp cho đào tạo, cùng với các số liệu hiển thị cách nội dung xuất hiện trong tìm kiếm
- Đảm bảo việc từ chối đào tạo AI sẽ không ảnh hưởng đến thứ hạng tìm kiếm truyền thống
Cloudflare cho biết Apple, Google và Microsoft hiện đang chứng minh rằng họ đáp ứng các tiêu chuẩn bằng cách kết hợp các khả năng hiện có với các cam kết có thời hạn đối với các tính năng vẫn đang được phát triển.
Cài đặt mới, Công cụ không được dùng nữa
Thay đổi này làm lại các biện pháp kiểm soát quản lý bot của Cloudflare, hiện phân loại lưu lượng truy cập của trình thu thập thông tin thành ba hành vi: Tìm kiếm, Đào tạo và Đại lý. Khi không cho phép đào tạo AI được thêm vào, các cài đặt có sẵn là Cho phép, Không cho phép đào tạo AI, Chặn trên các trang có quảng cáo và Chặn.
Hai công cụ lâu đời đang không được dùng nữa. Tùy chọn "Chặn Bot AI" rộng rãi nhường chỗ cho các biện pháp kiểm soát Tìm kiếm, Đào tạo và Tác nhân chi tiết hơn, đồng thời Managed Robots.txt được thay thế bằng một hệ thống có tên là Bot Preference Sync, trong đó các khách hàng hiện tại sẽ được di chuyển tự động. Không cho phép đào tạo AI cũng sẽ trở thành một phần trong cấu hình được đề xuất của Cloudflare cho một số miền mới.
Việc chuyển đổi quan trọng nhất liên quan đến chính cài đặt Chặn. Trước đây, Chặn và "Chặn trên các trang có quảng cáo" không áp dụng cho các trình thu thập thông tin có mục đích sử dụng hỗn hợp vì việc chặn chúng có thể làm hỏng khả năng phát hiện của tìm kiếm. Kể từ ngày 15 tháng 9, những cài đặt đó hiện áp dụng cho tất cả các trình thu thập thông tin đào tạo, bao gồm Applebot, Bingbot và Googlebot - nghĩa là trang web chọn Chặn hiện chấp nhận kết quả xếp hạng tìm kiếm của lựa chọn đó.
Không 'Không cho phép' đối với Đại lý — Chưa
Vẫn còn một khoảng trống. Danh mục Tác nhân của Cloudflare bao gồm các tác nhân do người dùng định hướng, chẳng hạn như tác nhân sử dụng trình duyệt và bot tìm nạp trò chuyện, thay mặt một người truy cập một trang. Công ty viết rằng các tác nhân không tạo ra sự cân bằng giữa khả năng khám phá tìm kiếm giống như các trình thu thập thông tin sử dụng hỗn hợp và Internet thiếu chỉ thị được thiết lập rõ ràng để thể hiện các ưu tiên không được phép đối với các tác nhân. Hiện tại không có cài đặt Không cho phép đối với Đại lý, mặc dù Cloudflare cho biết họ sẽ xem xét lại cách tiếp cận này khi các tiêu chuẩn như ai-prefs đã hoàn thiện.
Tại sao nó lại quan trọng đối với nhà xuất bản
Đối với các tổ chức tin tức và trang nội dung, thông báo này là điều gần gũi nhất với con đường trung gian khả thi trong tình trạng bế tắc giữa ngành xuất bản và các nhà phát triển AI. Các nhà xuất bản lập luận rằng việc đào tạo tác phẩm của họ mà không được trả tiền hoặc không được phép là hành vi bóc lột; Các công ty AI đã lập luận rằng việc thu thập thông tin là thông lệ tiêu chuẩn và robots.txt chưa bao giờ được thiết kế để phân biệt thời đại AI.
Bằng cách chính thức hóa chỉ định cho các trình thu thập thông tin tách biệt việc lập chỉ mục tìm kiếm khỏi mục đích đào tạo - và bằng cách thực thi nó thông qua các biện pháp kiểm soát mặc định - Cloudflare đang yêu cầu các phòng thí nghiệm AI và các công ty nền tảng cạnh tranh một cách hiệu quả theo các điều khoản thân thiện với nhà xuất bản. Ba nhà khai thác có trách nhiệm sáng lập tình cờ là những công ty có hoạt động kinh doanh cốt lõi phụ thuộc vào hệ thống tìm kiếm và vận hành chứ không phải đào tạo mô hình, điều này khó có thể là sự trùng hợp ngẫu nhiên.
Câu hỏi mở là việc thực thi và kinh tế. Cloudflare có thể phân loại hành vi và đồng bộ hóa tùy chọn, nhưng điều khoản tài chính của giấy phép đào tạo vẫn là vấn đề riêng giữa nhà xuất bản và công ty AI. Những thay đổi trong tuần này trở nên trần tục hơn và có ý nghĩa hơn: một trang web nói không với đào tạo AI giờ đây có thể làm như vậy mà không phải hy sinh vị trí của mình trong kết quả tìm kiếm. Đối với một ngành đang chứng kiến các tranh chấp về lưu lượng giới thiệu và đào tạo diễn ra cùng lúc, thì sự tách biệt đó đã xảy ra từ lâu.
---
Đi trước AINhận tin tức, phân tích và đột phá mới nhất về AI — tất cả ở cùng một nơi.
Đọc thêm tin tức về AI →
