வலை உள்கட்டமைப்பு நிறுவனமான கிளவுட்ஃப்ளேர் ஒரு புதிய கட்டுப்பாட்டை அறிமுகப்படுத்தியுள்ளது, இது வலைத்தள வெளியீட்டாளர்கள் தங்கள் உள்ளடக்கத்தை AI மாதிரி பயிற்சிக்காக பயன்படுத்துவதைத் தடுக்கிறது, அதே நேரத்தில் பாரம்பரிய தேடல் முடிவுகளில் முழுமையாகக் கிடைக்கும் - இது கிராலர் சுற்றுச்சூழல் அமைப்பு இதற்கு முன் சுத்தமாக ஆதரிக்கவில்லை.

செப்டம்பர் 15 அன்று Cloudflare வலைப்பதிவில் அறிவிக்கப்பட்ட இந்த அம்சம், crawler ஆபரேட்டர்களுக்கான புதிய "கணக்கிற்குரிய" பதவியுடன் வருகிறது. கிளவுட்ஃப்ளேரின் கூற்றுப்படி, ஆப்பிள், கூகிள் மற்றும் மைக்ரோசாப்ட் ஆகியவை கிராலர்கள் தகுதிபெறும் முதல் நிறுவனங்களாகும். இந்த ஆண்டு பிரேக்கிங் AI செய்தி கண்காணிக்கும் எவருக்கும் தெரியும், வெளியிடப்பட்ட உள்ளடக்கத்தை யார் அகற்றுவது என்ற கேள்வி இணையத்தின் மிகவும் போட்டியிட்ட கொள்கைச் சண்டைகளில் ஒன்றாக மாறியுள்ளது.

கலப்பு பயன்பாட்டு கிராலர் பிரச்சனை

முக்கிய பிரச்சினை என்னவென்றால், கிளவுட்ஃப்ளேர் கலப்பு-பயன்பாட்டு கிராலர்களை அழைக்கிறது: Googlebot, Bingbot மற்றும் Applebot போன்ற ஒற்றை போட்கள், தேடல் குறியீடுகளை உருவாக்குவதற்கும் AI மாதிரிகளுக்கான பயிற்சித் தரவைச் சேகரிப்பதற்கும் பக்கங்களைப் பெறுகின்றன. வரலாற்று ரீதியாக, AI பயிற்சியிலிருந்து விலக விரும்பிய ஒரு தள உரிமையாளரிடம் ஒரு மழுங்கிய கருவி இருந்தது - robots.txt அனுமதிக்காது - மேலும் அதைப் பயன்படுத்தினால் தேடல் முடிவுகளிலிருந்து முற்றிலும் மறைந்துவிடும்.

Cloudflare இன் புதிய Disallow AI பயிற்சி அமைப்பு, அது தளத்தின் robots.txt கோப்பில் வெளியிடும் கட்டளைக்கு பெயரிடப்பட்டது. இயக்கப்பட்டால், தளத்தின் பயிற்சி இல்லாத விருப்பம் robots.txt உடன் ஒத்திசைக்கப்படும், கணக்குப் பயன்படுத்தப்படும் கலப்பு பயன்பாட்டு கிராலர்கள் தேடல் நோக்கங்களுக்காக அனுமதிக்கப்படும், மேலும் மற்ற எல்லா பயிற்சி கிராலர்களும் தடுக்கப்படும். பயிற்சி-மட்டும் கிராலர்களைத் தடுப்பது - அமேசான், ஆந்த்ரோபிக், மெட்டா மற்றும் ஓபன்ஏஐ ஆகியவற்றால் நடத்தப்படும் பயிற்சி கிராலர்களுக்குப் பெயரிடுகிறது - முதலில் தேடலைப் பாதிக்கவில்லை என்று கிளவுட்ஃப்ளேர் குறிப்பிடுகிறது.

ஒரு கிராலரை 'கணக்கிற்குரியதாக' மாற்றுவது எது

பொறுப்பான பதவியைப் பெற, ஒரு போட் ஆபரேட்டர் வலைப்பதிவு இடுகையில் குறிப்பிடப்பட்டுள்ள தேவைகளின் தொகுப்பை பூர்த்தி செய்ய வேண்டும் அல்லது பூர்த்தி செய்ய வேண்டும்:

  • robots.txt அல்லது இதே போன்ற தரநிலை வழியாக AI பயிற்சியிலிருந்து தள உரிமையாளர்கள் விலகுவதற்கான வழிமுறை
  • AI சுருக்கங்களிலிருந்து விலகுவதற்கான ஒரு வழிமுறை, ஆபரேட்டருடன் நேரடியாக அமைக்கப்பட்டு, அடுத்த ஆண்டு, Cloudflare மூலம்
  • URL-நிலைத் தெரிவுநிலையில் எந்தப் பக்கங்கள் பயிற்சிக்காகக் கிடைக்கின்றன, மேலும் தேடலில் உள்ளடக்கம் எவ்வாறு தோன்றியது என்பதைக் காட்டும் அளவீடுகள்
  • AI பயிற்சியிலிருந்து விலகுவது பாரம்பரிய தேடல் தரவரிசைகளை பாதிக்காது என்று உறுதி

Cloudflare கூறுகிறது Apple, Google மற்றும் Microsoft ஆகியவை தற்போது அவர்கள் தகுதிகளை பூர்த்தி செய்வதை நிரூபித்துள்ளன, இன்று கிடைக்கும் திறன்களை இணைத்து, இன்னும் மேம்பாட்டில் உள்ள அம்சங்களுக்கான காலக்கெடுவை உறுதி செய்கின்றன.

புதிய அமைப்புகள், நிராகரிக்கப்பட்ட கருவிகள்

இந்த மாற்றம் Cloudflare இன் போட் மேலாண்மை கட்டுப்பாடுகளை மறுவேலை செய்கிறது, இது இப்போது கிராலர் போக்குவரத்தை மூன்று நடத்தைகளாக வகைப்படுத்துகிறது: தேடல், பயிற்சி மற்றும் முகவர். அனுமதிக்காத AI பயிற்சி சேர்க்கப்பட்டதுடன், அனுமதி, AI பயிற்சியை அனுமதிக்காதது, விளம்பரங்கள் உள்ள பக்கங்களில் பிளாக் செய்தல் மற்றும் பிளாக் ஆகிய அமைப்புகள் உள்ளன.

இரண்டு நீண்டகால கருவிகள் நிராகரிக்கப்படுகின்றன. பரந்த "பிளாக் AI போட்கள்" விருப்பமானது அதிக நுணுக்கமான தேடல், பயிற்சி மற்றும் முகவர் கட்டுப்பாடுகளுக்கு வழிவகுக்கிறது, மேலும் நிர்வகிக்கப்படும் Robots.txt ஆனது Bot Preference Sync என்ற அமைப்பால் மாற்றப்படுகிறது, ஏற்கனவே இருக்கும் வாடிக்கையாளர்கள் தானாக இடம்பெயர்கின்றனர். சில புதிய டொமைன்களுக்கான Cloudflare இன் பரிந்துரைக்கப்பட்ட உள்ளமைவின் ஒரு பகுதியாக AI பயிற்சியை அனுமதிக்க வேண்டாம்.

மிகவும் பின்விளைவு சுவிட்ச் பிளாக் அமைப்பைப் பற்றியது. முன்னதாக, பிளாக் மற்றும் "விளம்பரங்கள் உள்ள பக்கங்களில் தடு" என்பது கலப்பு-பயன்பாட்டு கிராலர்களுக்குப் பொருந்தாது, ஏனெனில் அவற்றைத் தடுப்பது தேடலைக் கண்டறியும் திறனை சேதப்படுத்தும். செப்டம்பர் 15 முதல், அந்த அமைப்புகள் இப்போது Applebot, Bingbot மற்றும் Googlebot உட்பட அனைத்து பயிற்சி கிராலர்களுக்கும் பொருந்தும் - அதாவது பிளாக்கைத் தேர்ந்தெடுக்கும் தளம் இப்போது அந்தத் தேர்வின் தேடல்-தரவரிசை விளைவுகளை ஏற்றுக்கொள்கிறது.

ஏஜெண்டுகளுக்கு 'விலக்கு' இல்லை — இன்னும்

ஒரு இடைவெளி உள்ளது. Cloudflare இன் முகவர் வகையானது, ஒரு நபரின் சார்பாக ஒரு பக்கத்தைப் பார்வையிடும், உலாவி-பயன்பாட்டு முகவர்கள் மற்றும் அரட்டை ஃபெட்ச் போட்கள் போன்ற பயனர் இயக்கும் முகவர்களை உள்ளடக்கியது. கலப்பு-பயன்பாடு கிராலர்கள் போன்ற தேடல்-கண்டுபிடிப்பு பரிமாற்றத்தை முகவர்கள் உருவாக்கவில்லை என்றும், ஏஜெண்டுகளுக்கு அனுமதிக்காத விருப்பங்களை வெளிப்படுத்துவதற்கு இணையத்தில் நன்கு நிறுவப்பட்ட உத்தரவு இல்லை என்றும் நிறுவனம் எழுதுகிறது. AI-prefs போன்ற தரநிலைகள் முதிர்ச்சியடையும் போது அணுகுமுறையை மறுபரிசீலனை செய்வதாக Cloudflare கூறினாலும், முகவர்களுக்கான அனுமதி மறுப்பு அமைப்பு இல்லை.

வெளியீட்டாளர்களுக்கு இது ஏன் முக்கியமானது

செய்தி நிறுவனங்கள் மற்றும் உள்ளடக்கத் தளங்களைப் பொறுத்தவரை, வெளியீட்டுத் துறைக்கும் AI டெவலப்பர்களுக்கும் இடையிலான மோதலில் செயல்படக்கூடிய நடுத்தர பாதைக்கு இந்த அறிவிப்பு மிக நெருக்கமான விஷயம். பணம் அல்லது அனுமதியின்றி தங்கள் வேலையில் பயிற்சி பெறுவது பிரித்தெடுத்தல் என்று வெளியீட்டாளர்கள் வாதிட்டனர்; AI நிறுவனங்கள் வலம் வருவது நிலையான நடைமுறை என்றும் robots.txt ஆனது AI கால வேறுபாடுகளுக்காக வடிவமைக்கப்படவில்லை என்றும் வாதிட்டனர்.

பயிற்சிப் பயன்பாட்டிலிருந்து தேடல் அட்டவணையைப் பிரிக்கும் கிராலர்களுக்கான பதவியை முறைப்படுத்துவதன் மூலம் - மற்றும் இயல்புநிலை கட்டுப்பாடுகள் மூலம் அதைச் செயல்படுத்துவதன் மூலம் - கிளவுட்ஃப்ளேர் AI ஆய்வகங்கள் மற்றும் இயங்குதள நிறுவனங்களை வெளியீட்டாளர்-நட்பு விதிமுறைகளில் போட்டியிடும்படி திறம்பட கேட்டுக்கொள்கிறது. மூன்று ஸ்தாபக கணக்கு ஆபரேட்டர்கள் நிறுவனங்களின் முக்கிய வணிகங்கள் தேடல் மற்றும் இயக்க முறைமைகளை சார்ந்துள்ளது, மாதிரி பயிற்சி அல்ல, இது தற்செயலாக இருக்க வாய்ப்பில்லை.

திறந்த கேள்வி அமலாக்கம் மற்றும் பொருளாதாரம். Cloudflare நடத்தை மற்றும் ஒத்திசைவு விருப்பங்களை வகைப்படுத்தலாம், ஆனால் பயிற்சி உரிமங்களின் நிதி விதிமுறைகள் வெளியீட்டாளர்கள் மற்றும் AI நிறுவனங்களுக்கு இடையே ஒரு தனிப்பட்ட சந்தை விஷயமாகவே இருக்கும். இந்த வாரம் என்ன மாற்றங்கள் மிகவும் சாதாரணமானவை மற்றும் அதிக அர்த்தமுள்ளவை: AI பயிற்சி வேண்டாம் என்று கூறும் தளம் இப்போது தேடல் முடிவுகளில் அதன் இடத்தைத் தியாகம் செய்யாமல் செய்யலாம். பரிந்துரை போக்குவரத்து மற்றும் பயிற்சி தகராறுகள் ஒரே நேரத்தில் வெளிவருவதைப் பார்க்கும் ஒரு தொழிலுக்கு, அந்த பிரிப்பு நீண்ட காலமாக இருந்து வருகிறது.

---

AIக்கு முன்னால் இருங்கள்

சமீபத்திய AI செய்திகள், பகுப்பாய்வு மற்றும் முன்னேற்றங்கள் - அனைத்தையும் ஒரே இடத்தில் பெறுங்கள்.

மேலும் AI செய்திகளைப் படிக்கவும் →