OpenAI mengumumkan pada hari Khamis bahawa ia akan menghormati isyarat yang dikongsi dalam robots.txt, tapak web fail yang digunakan untuk menyampaikan cara kandungan mereka boleh diakses, supaya pengendali tapak boleh menyatakan satu keutamaan latihan AI kepada berbilang penyedia sekaligus dan bukannya mengekalkan peraturan berasingan untuk setiap perangkak. Google dan Microsoft juga menyokong usaha itu, menurut laporan The Verge, dengan Search Engine Roundtable mendokumentasikan pengumuman penerimaan daripada kedua-dua syarikat pada hari yang sama.
Langkah itu menangani titik kesakitan yang telah lama wujud bagi penerbit. Sehingga kini, tapak web yang ingin mengelakkan kandungannya daripada saluran paip latihan AI perlu mengenal pasti setiap perangkak AI secara individu dan menulis peraturan berasingan untuk setiap pembekal, kemudian memastikan senarai itu terkini apabila perangkak baharu muncul. Isyarat yang dikongsi meruntuhkan beban penyelenggaraan menjadi satu baris niat, yang dipersetujui oleh syarikat yang mengambil bahagian. For more context on this story, see our ongoing artificial intelligence updates.
Apa yang OpenAI Komited
Dalam pengumumannya, OpenAI menyifatkan usaha itu sebagai sukarela dan berkata ia bertujuan untuk melaksanakan isyarat itu dalam beberapa bulan akan datang, dengan butiran pelaksanaan akan menyusul dalam kemas kini kemudian, menurut akaun Unite.AI mengenai pengumuman itu. Syarikat itu berkata isyarat baharu itu tidak akan menggantikan kawalan yang telah disediakannya melalui robots.txt, yang akan terus digunakan dan dihormati.
OpenAI merangka kerja itu sebagai berdasarkan usaha berterusan kumpulan kerja Keutamaan AI Pasukan Petugas Kejuruteraan Internet, usaha badan piawai yang telah berusaha untuk menentukan cara tapak web boleh menyatakan pilihan yang boleh dibaca mesin tentang cara kandungan mereka digunakan dalam sistem AI. Syarikat itu berkata ia menyertai peserta kumpulan kerja lain dalam membuat pengumuman itu dan menggalakkan penyedia AI lain untuk menghormati isyarat itu juga.
Daftar Masuk Google dan Microsoft
Kepentingan pengumuman itu sangat bergantung pada siapa lagi yang menerima pakai piawaian itu, dan tanda-tanda awalnya ialah pemain terbesar akan menyertainya. Meja Bulat Enjin Carian melaporkan pada hari Khamis bahawa Google telah menerima pakai kawalan latihan AI baharu, dan secara berasingan meliputi Microsoft Bing yang mengumumkan kawalan latihan AI baharu yang disambungkan kepada produk asas carian AInya. The Verge melaporkan bahawa OpenAI, Google dan Microsoft menyokong standard baharu untuk tapak web, yang akan menjadikannya konvensyen merentas industri pertama seumpamanya yang disokong oleh syarikat yang perangkaknya menyumbang sebahagian besar pengambilan berkaitan AI.
Jika ketiga-tiga syarikat itu mengikutinya, pengendali laman web akan dapat menetapkan satu tarik diri latihan tunggal yang difahami oleh perangkak di sebalik ChatGPT, produk AI Google dan ekosistem Copilot Microsoft secara serentak. Itu adalah dunia yang lebih mudah secara material untuk penerbit berbanding dunia semasa, di mana setiap penyedia mendokumenkan nama perangkak dan token keutamaannya sendiri.
Mengapa Penerbit Menginginkan Ini
Dorongan untuk isyarat bersatu telah dibina selama bertahun-tahun apabila latihan AI menjadi titik kilat antara industri teknologi dan orang yang menghasilkan rekod bertulis model belajar daripadanya. Organisasi berita, khususnya, telah mengadu bahawa perangkak AI mengikis laporan mereka secara berskala sementara model perniagaan yang dibiayai pengiklanan mereka terhakis, dan beberapa penerbit telah pergi ke mahkamah atau menandatangani perjanjian pelesenan untuk menuntut semula leverage.
Penyelesaian sementara telah berkembang biak. Cloudflare, yang terletak di hadapan sebahagian besar web, melancarkan tetapan yang membenarkan tapak menyekat perangkak latihan AI tanpa kehilangan keterlihatan carian Google, satu perbezaan yang penting kerana rangkak AI dan pengindeksan carian secara sejarah dikawal oleh peraturan robots.txt yang sama. Piawaian berfungsi dalam kumpulan kerja Keutamaan AI IETF telah menyasarkan untuk memformalkan ungkapan keutamaan pada peringkat protokol.
Isyarat dikongsi yang diterima pakai oleh penyedia AI utama akan menjadi langkah yang paling penting, kerana ia berfungsi melalui mekanisme robots.txt sedia ada yang telah diketahui oleh pengendali tapak.
Soalan Penguatkuasaan
Standard adalah sukarela, dan perkataan itu membawa berat. Keutamaan robots.txt tidak mempunyai kuasa undang-undang dengan sendirinya; ia hanya mengikat syarikat yang bersetuju untuk menghormatinya, dan pematuhan secara historis bergantung pada pengesanan dan penguatkuasaan masing-masing penyedia. Kenyataan OpenAI bahawa kawalan robots.txt sedia ada akan terus dihormati menunjukkan kesinambungan dan bukannya rejim baharu dan syarikat itu belum lagi menerbitkan butiran teknikal tentang cara pematuhan akan dilaksanakan atau diaudit.
Terdapat juga soalan terbuka pengumuman tidak selesai. Ia masih dapat dilihat sama ada isyarat itu hanya merangkumi latihan, atau meluas kepada pengambilan dan pembumian, proses yang digunakan oleh sistem AI untuk mengambil kandungan web secara langsung untuk menjawab soalan. Perbezaan itu penting kepada penerbit kerana produk berasaskan perolehan boleh mendorong trafik kembali ke sumber, manakala penggunaan latihan tidak. Cara pengalaman AI yang diuruskan oleh enjin carian mengendalikan isyarat berbanding peraturan merangkak am mereka akan membentuk sama ada penerbit melihat penerimaan sebagai satu kemenangan atau daun ara.
Perkara yang Perlu Dilihat
Pencapaian seterusnya adalah konkrit: Kemas kini pelaksanaan OpenAI, spesifikasi teknikal yang diterbitkan oleh syarikat yang mengambil bahagian, dan sama ada penyedia AI penting lain — termasuk makmal China yang besar dan syarikat inferens bebas — mengumumkan sokongan. Penerbit dan pemegang hak akan memerhatikan berita audit dengan teliti, iaitu sama ada pengendali boleh mengesahkan bahawa keutamaan mereka sebenarnya dihormati secara berskala.
Jika piawaian itu berlaku, pengumuman pada hari Khamis mungkin diingati apabila penarikan diri latihan AI berhenti menjadi tampalan setiap syarikat dan menjadi konvensyen seluruh web. Jika ia terhenti, ia menyertai barisan panjang standard web sukarela yang dipuji oleh industri dan kemudian diabaikan secara senyap-senyap.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
