OpenAI ngumumake dina Kamis yen bakal ngurmati sinyal sing dienggo bareng ing robots.txt, situs web file sing digunakake kanggo komunikasi carane isi bisa diakses, supaya operator situs bisa nyatakake preferensi latihan AI siji menyang macem-macem panyedhiya bebarengan tinimbang njaga aturan sing kapisah kanggo saben crawler. Google lan Microsoft uga ndhukung upaya kasebut, miturut laporan dening The Verge, kanthi Search Engine Roundtable nyathet pengumuman adopsi saka loro perusahaan kasebut ing dina sing padha.
Pamindhahan kasebut ngrampungake titik nyeri sing wis suwe kanggo para penerbit. Nganti saiki, situs web sing pengin njaga konten kasebut metu saka pipeline latihan AI kudu ngenali saben crawler AI kanthi individu lan nulis aturan sing kapisah kanggo saben panyedhiya, banjur tetep dhaptar kasebut minangka crawler anyar muncul. A sinyal sambungan ambruk sing beban pangopènan dadi siji baris saka maksud, kang melu perusahaan setuju kanggo ngormati. For more context on this story, see our ongoing AI industry coverage.
Apa OpenAI Komitmen
Ing woro-woro kasebut, OpenAI nggambarake upaya kasebut minangka sukarela lan ujar manawa tujuane kanggo ngetrapake sinyal kasebut ing wulan-wulan sing bakal teka, kanthi rincian implementasine bakal diterusake ing nganyari mengko, miturut akun Unite.AI babagan woro-woro kasebut. Perusahaan kasebut ujar manawa sinyal anyar ora bakal ngganti kontrol sing wis diwenehake liwat robots.txt, sing bakal terus ditrapake lan dihormati.
OpenAI nggambarake karya kasebut minangka upaya terus-terusan saka klompok kerja Preferensi AI Internet Engineering Task Force, upaya badan standar sing wis digunakake kanggo nemtokake cara situs web bisa nyatakake preferensi sing bisa diwaca mesin babagan cara konten kasebut digunakake ing sistem AI. Perusahaan kasebut ujar manawa gabung karo peserta klompok kerja liyane kanggo nggawe woro-woro kasebut lan nyengkuyung panyedhiya AI liyane supaya ngurmati sinyal kasebut uga.
Google lan Microsoft Mlebu
Pentinge woro-woro kasebut gumantung banget marang sapa wae sing nggunakake standar kasebut, lan tandha-tandha awal yaiku yen pemain paling gedhe wis mlebu. Search Engine Roundtable dilapurake ing dina Kamis yen Google wis ngadopsi kontrol latihan AI anyar, lan kanthi kapisah nutupi Microsoft Bing sing ngumumake kontrol latihan AI anyar sing disambungake menyang produk landasan telusuran AI. The Verge nglaporake manawa OpenAI, Google, lan Microsoft ndhukung standar anyar kanggo situs web, sing bakal dadi konvensi lintas industri pertama sing didhukung dening perusahaan sing crawler nyathet akeh pengambilan sing gegandhengan karo AI.
Yen telung perusahaan kasebut ngetutake, operator situs web bakal bisa nyetel pilihan latihan siji sing dimangerteni dening crawler ing mburi ChatGPT, produk AI Google, lan ekosistem Copilot Microsoft bebarengan. Iki minangka jagad sing luwih gampang kanggo penerbit tinimbang sing saiki, ing ngendi saben panyedhiya nyathet jeneng crawler lan token preferensi dhewe.
Kenapa Penerbit Wanted Iki
Dorong kanggo sinyal manunggal wis dibangun pirang-pirang taun amarga latihan AI dadi titik nyala ing antarane industri teknologi lan wong-wong sing ngasilake rekaman tertulis sing disinaoni model kasebut. Organisasi warta, utamane, wis ngeluh manawa crawler AI ngrusak laporane kanthi skala nalika model bisnis sing didanai pariwara ilang, lan sawetara penerbit wis mlebu pengadilan utawa mlebu perjanjian lisensi kanggo ngrebut pengaruh.
Solusi interim wis akeh. Cloudflare, sing ana ing ngarepe sebagian gedhe saka web, ngluncurake setelan sing ngidini situs mblokir crawler latihan AI tanpa kelangan visibilitas telusuran Google, prabédan sing penting amarga crawling AI lan indeksasi telusuran historis diatur dening aturan robots.txt sing padha. Standar bisa digunakake ing grup kerja Preferensi AI IETF kanggo nggawe formal ekspresi preferensi ing tingkat protokol.
Sinyal sing dienggo bareng sing diadopsi dening panyedhiya AI utama bakal dadi langkah sing paling penting, amarga kerjane liwat mekanisme robots.txt sing wis ana sing operator situs wis ngerti carane nggunakake.
Pitakonan Penegakan
Standar kasebut sukarela, lan tembung kasebut nduweni bobot. Preferensi robots.txt ora duwe kekuwatan hukum dhewe; mung njiret perusahaan sing setuju kanggo ngurmati, lan selaras historis gumantung ing saben panyedhiya deteksi lan penegakan dhewe. Pernyataan OpenAI manawa kontrol robots.txt sing ana bakal terus dihormati nuduhake kesinambungan tinimbang rezim anyar, lan perusahaan durung nerbitake rincian teknis babagan carane kepatuhan bakal ditindakake utawa diaudit.
Ana uga pitakonan mbukak woro-woro ora dumunung. Iku tetep kanggo ndeleng apa sinyal mung kalebu latihan, utawa ngluwihi kanggo njupuk lan grounding, proses sing sistem AI njupuk konten web langsung kanggo njawab pitakonan. Bentenane penting kanggo penerbit amarga produk adhedhasar pengangkatan bisa ngarahake lalu lintas bali menyang sumber, nalika nggunakake latihan ora. Kepiye pengalaman AI sing dikelola mesin telusuran nganggep sinyal kasebut karo aturan crawling umum bakal mbentuk manawa penerbit ndeleng adopsi minangka menang utawa godhong anjir.
Apa kanggo Watch
Tonggak sejarah sabanjure yaiku konkrit: Pembaruan implementasi OpenAI, spesifikasi teknis sing diterbitake perusahaan sing melu, lan manawa panyedhiya AI penting liyane - kalebu laboratorium Cina gedhe lan perusahaan inferensi independen - ngumumake dhukungan. Penerbit lan sing duwe hak bakal ngawasi crita audit kanthi teliti, yaiku, apa operator bisa verifikasi manawa preferensi kasebut bener-bener diajeni kanthi skala.
Yen standar kasebut tetep, woro-woro dina Kamis bisa uga dieling-eling nalika nalika latihan AI mandheg dadi patchwork saben perusahaan lan dadi konvensi ing saindenging web. Yen kios-kios, gabung karo standar web sukarela sing dawa sing dikepengini industri lan banjur diabaikan.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
