Kampuni ya miundombinu ya wavuti Cloudflare imeanzisha udhibiti mpya unaowaruhusu wachapishaji wa tovuti kuzuia maudhui yao yasitumike kwa mafunzo ya kielelezo cha AI huku wakiyaweka yanapatikana kikamilifu katika matokeo ya jadi ya utafutaji - mtengano ambao mfumo wa ikolojia wa kutambaa haujawahi kuungwa mkono kwa njia safi hapo awali.
Kipengele hiki, kilichotangazwa kwenye blogu ya Cloudflare mnamo Septemba 15, kinakuja pamoja na jina jipya la "Accountable" kwa waendeshaji wa kutambaa. Kulingana na Cloudflare, Apple, Google na Microsoft ndio kampuni za kwanza ambazo watambaji wake wanahitimu. Mtu yeyote anayefuatilia habari zinazochipuka za AI mwaka huu anajua swali la nani atafute maudhui yaliyochapishwa limekuwa mojawapo ya vita vya sera vinavyopingwa zaidi kwenye mtandao.
Tatizo la Watambazaji wa Matumizi Mchanganyiko
Suala la msingi ni kile Cloudflare huwaita watambaji wa matumizi mchanganyiko: roboti moja, kama Googlebot, Bingbot na Applebot, ambazo huchota kurasa zote mbili ili kuunda faharasa za utafutaji na kukusanya data ya mafunzo ya miundo ya AI. Kihistoria, mmiliki wa tovuti ambaye alitaka kujiondoa kwenye mafunzo ya AI alikuwa na kifaa kimoja butu - robots.txt hairuhusu - na kukitumia kulihatarisha kutoweka kabisa kwenye matokeo ya utafutaji.
Mpangilio mpya wa Cloudflare wa Usiruhusu Mafunzo ya AI umepewa jina kwa maagizo ambayo huchapisha katika faili ya tovuti ya robots.txt. Inapowashwa, mapendeleo ya tovuti bila mafunzo yanasawazishwa katika robots.txt, kutambaa kwa matumizi mchanganyiko yanayowajibika husalia kuruhusiwa kwa madhumuni ya utafutaji, na kila kitambaaji kingine cha mafunzo kimezuiwa. Cloudflare inabainisha kuwa kuzuia kutambaa kwa mafunzo pekee - inataja watambaji wa mafunzo yanayoendeshwa na Amazon, Anthropic, Meta na OpenAI - haijawahi kuathiri utafutaji mara ya kwanza.
Nini Hufanya Mtambaa 'Awajibike'
Ili kupata nafasi ya Kuwajibika, mtumiaji wa roboti lazima atimize au ajitolee kutimiza mahitaji yaliyowekwa kwenye chapisho la blogi:
- Utaratibu wa wamiliki wa tovuti kujiondoa kwenye mafunzo ya AI, kupitia robots.txt au kiwango sawa
- Utaratibu wa kuchagua kutoka kwa muhtasari wa AI, iliyowekwa moja kwa moja na opereta na, mwaka ujao, kupitia Cloudflare
- Mwonekano wa kiwango cha URL ambapo kurasa zilipatikana kwa mafunzo, pamoja na vipimo vinavyoonyesha jinsi maudhui yalivyoonekana katika utafutaji
- Uhakikisho kwamba kujiondoa kwenye mafunzo ya AI hakutaathiri viwango vya kawaida vya utafutaji
Cloudflare inasema Apple, Google na Microsoft kwa sasa zinaonyesha kuwa wanakidhi sifa, wakichanganya uwezo unaopatikana leo na ahadi za muda kwa vipengele ambavyo bado vinatengenezwa.
Mipangilio Mipya, Zana Zilizoacha kutumika
Mabadiliko hayo hurekebisha vidhibiti vya udhibiti wa roboti vya Cloudflare, ambavyo sasa vinaainisha trafiki ya kutambaa katika tabia tatu: Utafutaji, Mafunzo na Ajenti. Pamoja na Usiruhusu Mafunzo ya AI yameongezwa, mipangilio inayopatikana ni Ruhusu, Usiruhusu Mafunzo ya AI, Zuia kwenye kurasa zilizo na matangazo, na Zuia.
Zana mbili za muda mrefu hazitumiki. Chaguo pana la "Block AI Bots" hutoa nafasi kwa vidhibiti vya punjepunje zaidi vya Utafutaji, Mafunzo na Wakala, na Robots.txt Zinazosimamiwa hubadilishwa na mfumo unaoitwa Usawazishaji wa Upendeleo wa Bot, huku wateja waliopo wakihama kiotomatiki. Usiruhusu Mafunzo ya AI pia yatakuwa sehemu ya usanidi unaopendekezwa na Cloudflare kwa baadhi ya vikoa vipya.
Swichi ya matokeo zaidi inahusu mpangilio wa Block yenyewe. Hapo awali, Zuia na "Zuia kurasa zenye matangazo" hazikutumika kwa kutambaa kwa matumizi mchanganyiko, kwa sababu kuzizuia kunaweza kuharibu ugunduzi wa utafutaji. Kuanzia Septemba 15, mipangilio hiyo sasa inatumika kwa watambazi wote wa mafunzo, ikiwa ni pamoja na Applebot, Bingbot na Googlebot - kumaanisha tovuti inayochagua Block sasa inakubali matokeo ya utafutaji wa chaguo hilo.
Hakuna 'Kataza' kwa Mawakala - Bado
Pengo moja linabaki. Kitengo cha Wakala wa Cloudflare kinashughulikia mawakala wanaoelekezwa na mtumiaji, kama vile mawakala wa kutumia kivinjari na roboti za kuleta gumzo, wanaotembelea ukurasa kwa niaba ya mtu. Kampuni inaandika kwamba mawakala hawaundi biashara ya utafutaji-ugunduzi sawa na watambazaji wa matumizi mchanganyiko, na kwamba mtandao hauna mwongozo uliowekwa vyema wa kueleza mapendeleo ya kutoruhusu mawakala. Kwa sasa hakuna mpangilio wa Kutoruhusu kwa Mawakala, ingawa Cloudflare inasema itapitia tena mbinu hiyo kama viwango kama vile ai-prefs kukomaa.
Kwa Nini Ni Muhimu Kwa Wachapishaji
Kwa mashirika ya habari na tovuti za maudhui, tangazo ndilo jambo la karibu zaidi kwa njia ya kati inayoweza kutekelezeka katika msuguano kati ya tasnia ya uchapishaji na wasanidi wa AI. Wachapishaji wamesema kuwa mafunzo juu ya kazi zao bila malipo au ruhusa ni uchimbaji; Kampuni za AI zimesema kuwa kutambaa ni mazoezi ya kawaida na kwamba robots.txt haikuundwa kamwe kwa ajili ya kutofautisha zama za AI.
Kwa kurasimisha uteuzi wa watambazaji ambao hutenganisha uwekaji faharasa wa utafutaji kutoka kwa matumizi ya mafunzo - na kwa kuutekeleza kupitia vidhibiti chaguo-msingi - Cloudflare inaomba kikamilifu maabara za AI na makampuni ya jukwaa kushindana kwa masharti yanayofaa wachapishaji. Waendeshaji watatu waanzilishi wa Uwajibikaji hutokea kuwa makampuni ambayo biashara zao kuu zinategemea utafutaji na mifumo ya uendeshaji, sio mafunzo ya mfano, ambayo haiwezekani kuwa ya bahati mbaya.
Swali la wazi ni utekelezaji na uchumi. Cloudflare inaweza kuainisha mapendeleo ya tabia na kusawazisha, lakini masharti ya kifedha ya leseni za mafunzo yanasalia kuwa suala la soko la kibinafsi kati ya wachapishaji na kampuni za AI. Mabadiliko gani wiki hii ni ya kawaida na ya maana zaidi: tovuti inayosema hapana kwa mafunzo ya AI sasa inaweza kufanya hivyo bila kutoa nafasi yake katika matokeo ya utafutaji. Kwa tasnia inayotazama mizozo ya trafiki ya rufaa na mafunzo ikitokea kwa wakati mmoja, utengano huo umekuwa wa muda mrefu.
---
Kaa Mbele ya AIPata habari za hivi punde za AI, uchanganuzi na mafanikio - yote katika sehemu moja.
Soma habari zaidi za AI →
