Web altyapısı şirketi Cloudflare, web sitesi yayıncılarının içeriklerinin yapay zeka modeli eğitimi için kullanılmasını engellemesine olanak tanıyan ve aynı zamanda geleneksel arama sonuçlarında tamamen kullanılabilir kalmasını sağlayan yeni bir kontrol tanıttı; bu, tarayıcı ekosisteminin daha önce hiç temiz bir şekilde desteklemediği bir ayrıştırma.

15 Eylül'de Cloudflare blogunda duyurulan özellik, tarayıcı operatörleri için yeni bir "Sorumlu" tanımıyla birlikte geliyor. Cloudflare'e göre tarayıcıları uygun görülen ilk şirketler Apple, Google ve Microsoft'tur. Bu yıl son dakika yapay zeka haberlerini takip eden herkes, yayınlanan içeriği kimin sileceği sorusunun internetin en tartışmalı politika kavgalarından biri haline geldiğini biliyor.

Karma Kullanımlı Tarayıcı Sorunu

Temel sorun, Cloudflare'in karma kullanımlı tarayıcılar olarak adlandırdığı şeydir: Googlebot, Bingbot ve Applebot gibi, hem arama dizinleri oluşturmak hem de AI modelleri için eğitim verileri toplamak için sayfaları getiren tekli botlar. Geçmişte, yapay zeka eğitiminden vazgeçmek isteyen bir site sahibinin tek bir kesin aracı vardı: robots.txt'nin izin vermemesi ve bunu kullanmak, arama sonuçlarından tamamen kaybolma tehlikesiyle karşı karşıyaydı.

Cloudflare'in yeni Disallow AI Training ayarı, adını bir sitenin robots.txt dosyasında yayınladığı yönergeden almaktadır. Etkinleştirildiğinde, sitenin eğitimsizlik tercihi robots.txt ile senkronize edilir, Sorumlu karma kullanımlı tarayıcılara arama amacıyla izin verilir ve diğer tüm eğitim tarayıcıları engellenir. Cloudflare, yalnızca eğitim amaçlı tarayıcıların engellenmesinin (Amazon, Anthropic, Meta ve OpenAI tarafından çalıştırılan eğitim tarayıcılarını adlandırıyor) aramayı hiçbir zaman etkilemediğini belirtiyor.

Bir Tarayıcıyı 'Sorumlu' Yapan Nedir?

Sorumlu unvanını kazanmak için bir bot operatörünün blog yazısında belirtilen bir dizi gereksinimi karşılaması veya karşılamayı taahhüt etmesi gerekir:

  • Site sahiplerinin robots.txt veya benzer bir standart aracılığıyla yapay zeka eğitiminden vazgeçmelerine yönelik bir mekanizma
  • Doğrudan operatörle ve gelecek yıl Cloudflare aracılığıyla belirlenen AI özetlerinden vazgeçmeye yönelik bir mekanizma
  • Hangi sayfaların eğitim için kullanıma sunulduğuna dair URL düzeyinde görünürlük ve ayrıca içeriğin aramada nasıl göründüğünü gösteren ölçümler
  • Yapay zeka eğitiminden vazgeçmenin geleneksel arama sıralamalarını etkilemeyeceğine dair güvence

Cloudflare, Apple, Google ve Microsoft'un şu anda mevcut yetenekleri, halen geliştirilmekte olan özellikler için zamana bağlı taahhütlerle birleştirerek nitelikleri karşıladıklarını gösterdiğini söylüyor.

Yeni Ayarlar, Kullanımdan Kaldırılan Araçlar

Değişiklik, Cloudflare'in bot yönetimi kontrollerini yeniden işliyor ve bu kontroller artık tarayıcı trafiğini üç davranışa ayırıyor: Arama, Eğitim ve Temsilci. AI Eğitimine İzin Verme eklendiğinde, mevcut ayarlar İzin Ver, AI Eğitimine İzin Verme, Reklam içeren sayfalarda Engelle ve Engelle şeklindedir.

Uzun süredir devam eden iki araç kullanımdan kaldırılıyor. Geniş "Yapay Zeka Botlarını Engelle" seçeneği yerini daha ayrıntılı Arama, Eğitim ve Temsilci kontrollerine bırakıyor ve Managed Robots.txt'nin yerini Bot Tercih Senkronizasyonu adı verilen bir sistem alıyor ve mevcut müşteriler otomatik olarak taşınıyor. Disallow AI Eğitimi ayrıca belirli yeni alanlar için Cloudflare'in önerilen yapılandırmasının bir parçası haline gelecektir.

En önemli değişiklik Blok ayarının kendisiyle ilgilidir. Daha önce, Engelleme ve "Reklam içeren sayfalarda engelleme" karma kullanımlı tarayıcılar için geçerli değildi çünkü bunların engellenmesi aramanın keşfedilebilirliğine zarar verebilirdi. 15 Eylül itibarıyla bu ayarlar artık Applebot, Bingbot ve Googlebot da dahil olmak üzere tüm eğitim tarayıcıları için geçerli; yani Engelle'yi seçen bir site artık bu seçimin arama sıralaması sonuçlarını da kabul ediyor.

Temsilciler için 'İzin Vermeme' Yok — Henüz

Bir boşluk kaldı. Cloudflare'in Temsilci kategorisi, bir kişi adına bir sayfayı ziyaret eden, tarayıcı kullanım aracıları ve sohbet getirme botları gibi kullanıcı tarafından yönlendirilen aracıları kapsar. Şirket, temsilcilerin karma kullanımlı tarayıcılarla aynı arama-keşfedilebilirlik ödünleşimini yaratmadığını ve internetin, temsilcilere izin vermeme tercihlerini ifade etmeye yönelik köklü bir yönergeden yoksun olduğunu yazıyor. Şimdilik Ajanlar için bir İzin Verme ayarı bulunmuyor ancak Cloudflare, ai-prefs gibi standartlar olgunlaştıkça yaklaşımı tekrar gözden geçireceğini söylüyor.

Yayıncılar İçin Neden Önemli?

Haber kuruluşları ve içerik siteleri için bu duyuru, yayıncılık sektörü ile yapay zeka geliştiricileri arasındaki çelişkide uygulanabilir bir orta yola henüz en yakın şey. Yayıncılar, çalışmaları hakkında ücretsiz veya izinsiz eğitim verilmesinin ekstraksiyon olduğunu ileri sürmüşlerdir; Yapay zeka şirketleri, taramanın standart bir uygulama olduğunu ve robots.txt dosyasının hiçbir zaman yapay zeka dönemi ayrımlarına göre tasarlanmadığını savundu.

Cloudflare, tarayıcılar için arama indekslemeyi eğitim kullanımından ayıran bir tanımı resmileştirerek ve bunu varsayılan kontroller yoluyla zorunlu kılarak, yapay zeka laboratuvarlarından ve platform şirketlerinden yayıncı dostu şartlarda rekabet etmelerini etkili bir şekilde istiyor. Üç kurucu Sorumlu operatör, ana faaliyetleri model eğitimine değil, arama ve işletim sistemlerine dayanan şirketlerdir ve bu da pek tesadüf değildir.

Açık soru, uygulama ve ekonomidir. Cloudflare, davranışları sınıflandırabilir ve tercihleri ​​senkronize edebilir, ancak eğitim lisanslarının mali şartları, yayıncılar ve yapay zeka şirketleri arasında özel bir pazar meselesi olmaya devam ediyor. Bu hafta değişen şey ise daha sıradan ve anlamlı: Yapay zeka eğitimine hayır diyen bir site, artık bunu arama sonuçlarındaki yerinden ödün vermeden yapabiliyor. Yönlendirme trafiğini ve eğitim anlaşmazlıklarını aynı anda izleyen bir sektör için bu ayrılığın gelmesi uzun zaman aldı.

---

Yapay Zekanın Önünde Olun

En son AI haberlerini, analizlerini ve buluşlarını tek bir yerden alın.

Daha fazla AI haberini okuyun →