OpenAI mengumumkan pada hari Kamis bahwa mereka akan menghormati sinyal bersama di robots.txt, file yang digunakan situs web untuk mengomunikasikan bagaimana konten mereka dapat diakses, sehingga operator situs dapat mengekspresikan satu preferensi pelatihan AI ke beberapa penyedia sekaligus daripada mempertahankan aturan terpisah untuk setiap crawler. Google dan Microsoft juga mendukung upaya ini, menurut laporan The Verge, dengan Search Engine Roundtable mendokumentasikan pengumuman adopsi dari kedua perusahaan pada hari yang sama.
Langkah ini mengatasi masalah yang sudah lama dialami penerbit. Hingga saat ini, sebuah situs web yang ingin menjaga agar kontennya tidak masuk dalam jalur pelatihan AI harus mengidentifikasi setiap crawler AI satu per satu dan menulis aturan terpisah untuk setiap penyedia, kemudian menjaga daftar tersebut tetap terkini saat crawler baru muncul. Sinyal bersama meruntuhkan beban pemeliharaan menjadi satu tujuan, yang disetujui oleh perusahaan yang berpartisipasi untuk dihormati. For more context on this story, see our ongoing AI news.
Apa Komitmen OpenAI
Dalam pengumumannya, OpenAI menggambarkan upaya tersebut sebagai upaya sukarela dan mengatakan pihaknya bertujuan untuk mengimplementasikan sinyal tersebut dalam beberapa bulan mendatang, dengan rincian implementasi akan menyusul dalam pembaruan selanjutnya, menurut akun Unite.AI tentang pengumuman tersebut. Perusahaan mengatakan sinyal baru ini tidak akan menggantikan kontrol yang sudah disediakan melalui robots.txt, yang akan terus berlaku dan dihormati.
OpenAI menyusun pekerjaan ini sebagai upaya berkelanjutan dari kelompok kerja Preferensi AI di Satuan Tugas Rekayasa Internet, yaitu upaya badan standar yang telah berupaya untuk menentukan bagaimana situs web dapat mengekspresikan preferensi yang dapat dibaca mesin tentang bagaimana konten mereka digunakan dalam sistem AI. Perusahaan mengatakan pihaknya bergabung dengan peserta kelompok kerja lainnya dalam membuat pengumuman dan mendorong penyedia AI lainnya untuk menghormati sinyal tersebut juga.
Google dan Microsoft Masuk
Signifikansi dari pengumuman ini sangat bergantung pada siapa saja yang mengadopsi standar ini, dan tanda-tanda awalnya adalah bahwa pemain-pemain terbesar akan mengadopsi standar ini. Search Engine Roundtable melaporkan pada hari Kamis bahwa Google telah mengadopsi kontrol pelatihan AI yang baru, dan secara terpisah meliput Bing dari Microsoft yang mengumumkan kontrol pelatihan AI baru yang terhubung dengan produk landasan pencarian AI-nya. The Verge melaporkan bahwa OpenAI, Google, dan Microsoft mendukung standar baru untuk situs web, yang akan menjadikannya konvensi lintas industri pertama yang didukung oleh perusahaan-perusahaan yang crawlernya bertanggung jawab atas sebagian besar pengambilan terkait AI.
Jika ketiga perusahaan menindaklanjutinya, operator situs web akan dapat menetapkan satu pilihan untuk tidak mengikuti pelatihan yang dipahami oleh crawler di balik ChatGPT, produk AI Google, dan ekosistem Copilot Microsoft secara bersamaan. Ini adalah dunia yang jauh lebih sederhana bagi penerbit dibandingkan dunia saat ini, di mana setiap penyedia mendokumentasikan nama crawler dan token preferensinya sendiri.
Mengapa Penerbit Menginginkan Ini
Dorongan terhadap sinyal terpadu telah berkembang selama bertahun-tahun seiring dengan pelatihan AI yang menjadi titik konflik antara industri teknologi dan orang-orang yang menghasilkan catatan tertulis yang menjadi bahan pembelajaran model tersebut. Organisasi berita, khususnya, mengeluh bahwa crawler AI menghapus laporan mereka dalam skala besar sementara model bisnis mereka yang didanai iklan terkikis, dan beberapa penerbit telah mengajukan tuntutan ke pengadilan atau menandatangani perjanjian lisensi untuk mendapatkan kembali pengaruhnya.
Solusi sementara telah menjamur. Cloudflare, yang berada di depan sebagian besar web, meluncurkan pengaturan yang memungkinkan situs memblokir crawler pelatihan AI tanpa kehilangan visibilitas pencarian Google, sebuah perbedaan yang penting karena perayapan AI dan pengindeksan pencarian secara historis diatur oleh aturan robots.txt yang sama. Standar yang bekerja di dalam kelompok kerja Preferensi AI IETF bertujuan untuk memformalkan ekspresi preferensi di tingkat protokol.
Sinyal bersama yang diadopsi oleh penyedia AI besar akan menjadi langkah yang paling penting, karena sinyal ini bekerja melalui mekanisme robots.txt yang sudah ada dan sudah diketahui oleh operator situs cara menggunakannya.
Pertanyaan Penegakan
Standarnya bersifat sukarela, dan kata itu mempunyai bobot. Preferensi robots.txt tidak memiliki kekuatan hukum tersendiri; hal ini hanya mengikat perusahaan yang setuju untuk mematuhinya, dan kepatuhan secara historis bergantung pada deteksi dan penegakan hukum masing-masing penyedia layanan. Pernyataan OpenAI bahwa kontrol robots.txt yang ada akan terus dipatuhi menunjukkan adanya kesinambungan daripada rezim baru, dan perusahaan tersebut belum mempublikasikan rincian teknis tentang bagaimana kepatuhan akan diterapkan atau diaudit.
Ada juga pertanyaan terbuka yang tidak diselesaikan oleh pengumuman tersebut. Masih harus dilihat apakah sinyal tersebut hanya mencakup pelatihan, atau meluas ke pengambilan dan landasan, proses dimana sistem AI mengambil konten web langsung untuk menjawab pertanyaan. Perbedaan ini penting bagi penerbit karena produk berbasis pengambilan dapat mengarahkan lalu lintas kembali ke sumber, sedangkan penggunaan pelatihan tidak. Bagaimana pengalaman AI yang dikelola mesin pencari memperlakukan sinyal versus aturan crawling secara umum akan menentukan apakah penerbit melihat adopsi sebagai suatu kemenangan atau kegagalan.
Yang Perlu Ditonton
Pencapaian berikutnya adalah hal yang nyata: pembaruan implementasi OpenAI, spesifikasi teknis yang dipublikasikan oleh perusahaan-perusahaan yang berpartisipasi, dan apakah penyedia AI penting lainnya – termasuk laboratorium besar Tiongkok dan perusahaan inferensi independen – mengumumkan dukungannya. Penerbit dan pemegang hak akan memantau dengan cermat kisah audit tersebut, yaitu apakah operator dapat memverifikasi bahwa preferensi mereka benar-benar dihormati dalam skala besar.
Jika standar ini berlaku, pengumuman pada hari Kamis ini mungkin akan diingat sebagai saat penolakan terhadap pelatihan AI tidak lagi bersifat tambal sulam per perusahaan dan menjadi konvensi di seluruh web. Jika gagal, hal ini akan bergabung dengan serangkaian standar web sukarela yang dipuji oleh industri dan kemudian diam-diam diabaikan.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
