OpenAI বৃহস্পতিবার ঘোষণা করেছে যে এটি robots.txt-এ একটি ভাগ করা সংকেতকে সম্মান করবে, ফাইল ওয়েবসাইটগুলি তাদের বিষয়বস্তু কীভাবে অ্যাক্সেস করা যেতে পারে তা যোগাযোগ করতে ব্যবহার করে, যাতে সাইট অপারেটররা প্রতিটি ক্রলারের জন্য পৃথক নিয়ম বজায় রাখার পরিবর্তে একাধিক প্রদানকারীর কাছে একক AI প্রশিক্ষণ পছন্দ প্রকাশ করতে পারে। দ্য ভার্জের প্রতিবেদন অনুসারে, গুগল এবং মাইক্রোসফ্টও এই প্রচেষ্টাকে সমর্থন করছে, একই দিনে উভয় কোম্পানির কাছ থেকে সার্চ ইঞ্জিন রাউন্ডটেবল ডকুমেন্টিং দত্তক ঘোষণার সাথে।
এই পদক্ষেপটি প্রকাশকদের জন্য একটি দীর্ঘস্থায়ী ব্যথার বিন্দুকে সম্বোধন করে। এখন পর্যন্ত, একটি ওয়েবসাইট যেটি তার বিষয়বস্তুকে AI প্রশিক্ষণ পাইপলাইনের বাইরে রাখতে চেয়েছিল তাদের প্রতিটি AI ক্রলারকে পৃথকভাবে সনাক্ত করতে হবে এবং প্রতিটি প্রদানকারীর জন্য আলাদা নিয়ম লিখতে হবে, তারপর নতুন ক্রলার উপস্থিত হওয়ার সাথে সাথে সেই তালিকাটিকে বর্তমান রাখতে হবে। একটি ভাগ করা সংকেত সেই রক্ষণাবেক্ষণের বোঝাকে এক লাইনের অভিপ্রায়ে ভেঙে দেয়, যা অংশগ্রহণকারী সংস্থাগুলি সম্মান করতে সম্মত হয়। For more context on this story, see our ongoing AI industry coverage.
OpenAI যা করতে প্রতিশ্রুতিবদ্ধ
তার ঘোষণায়, OpenAI এই প্রচেষ্টাটিকে স্বেচ্ছাসেবী হিসাবে বর্ণনা করেছে এবং বলেছে যে এটির লক্ষ্য আগামী মাসে সংকেতটি বাস্তবায়ন করা, পরবর্তী আপডেটে বাস্তবায়নের বিবরণ সহ, ঘোষণার Unite.AI-এর অ্যাকাউন্ট অনুসারে। সংস্থাটি বলেছে যে নতুন সংকেতটি ইতিমধ্যেই robots.txt এর মাধ্যমে সরবরাহ করা নিয়ন্ত্রণগুলি প্রতিস্থাপন করবে না, যা প্রয়োগ করা অব্যাহত থাকবে এবং সম্মানিত হবে৷
ওপেনএআই কাজটিকে ইন্টারনেট ইঞ্জিনিয়ারিং টাস্ক ফোর্সের এআই প্রেফারেন্স ওয়ার্কিং গ্রুপের চলমান প্রচেষ্টার উপর অঙ্কন হিসাবে তৈরি করেছে, স্ট্যান্ডার্ড বডি প্রচেষ্টা যা ওয়েবসাইটগুলি কীভাবে AI সিস্টেমে তাদের সামগ্রী ব্যবহার করা হয় সে সম্পর্কে মেশিন-পাঠযোগ্য পছন্দগুলি কীভাবে প্রকাশ করতে পারে তা নির্ধারণ করার জন্য কাজ করছে। সংস্থাটি বলেছে যে এটি ঘোষণা করার জন্য অন্যান্য ওয়ার্কিং গ্রুপের অংশগ্রহণকারীদের সাথে যোগ দিচ্ছে এবং অন্যান্য এআই সরবরাহকারীদেরও সংকেতকে সম্মান করতে উত্সাহিত করেছে।
গুগল এবং মাইক্রোসফ্ট সাইন অন
ঘোষণার তাৎপর্য অনেকটাই নির্ভর করে যে অন্য কে মানকটি গ্রহণ করে তার উপর, এবং প্রাথমিক লক্ষণ হল যে বৃহত্তম খেলোয়াড় রয়েছে। সার্চ ইঞ্জিন রাউন্ডটেবিল বৃহস্পতিবার রিপোর্ট করেছে যে Google নতুন এআই প্রশিক্ষণ নিয়ন্ত্রণ গ্রহণ করেছে, এবং আলাদাভাবে মাইক্রোসফটের বিং তার AI অনুসন্ধান গ্রাউন্ডিং পণ্যগুলির সাথে সংযুক্ত নতুন এআই প্রশিক্ষণ নিয়ন্ত্রণের ঘোষণা করেছে। দ্য ভার্জ জানিয়েছে যে ওপেনএআই, গুগল এবং মাইক্রোসফ্ট ওয়েবসাইটগুলির জন্য নতুন মানকে সমর্থন করছে, যা এটিকে তার ধরণের প্রথম ক্রস-ইন্ডাস্ট্রি কনভেনশন করে তুলবে যা কোম্পানিগুলির দ্বারা সমর্থিত যাদের ক্রলারগুলি এআই-সম্পর্কিত আনয়নের জন্য দায়ী।
যদি তিনটি কোম্পানি অনুসরণ করে, তাহলে একটি ওয়েবসাইট অপারেটর একটি একক প্রশিক্ষণ অপ্ট-আউট সেট করতে সক্ষম হবে যা ChatGPT, Google-এর AI পণ্য এবং Microsoft-এর কপিলট ইকোসিস্টেমের পিছনে ক্রলারদের দ্বারা বোঝা যায়। এটি বর্তমানের তুলনায় প্রকাশকদের জন্য একটি বস্তুগতভাবে সহজ পৃথিবী, যেখানে প্রতিটি প্রদানকারী তার নিজস্ব ক্রলারের নাম এবং পছন্দ টোকেন নথিভুক্ত করে।
কেন প্রকাশকরা এটি চেয়েছিলেন
একটি ইউনিফাইড সিগন্যালের জন্য ধাক্কা বছরের পর বছর ধরে তৈরি করা হচ্ছে কারণ AI প্রশিক্ষণ প্রযুক্তি শিল্প এবং যারা লিখিত রেকর্ড তৈরি করে মডেলগুলি থেকে শিখে তাদের মধ্যে একটি ফ্ল্যাশপয়েন্ট হয়ে উঠেছে। সংবাদ সংস্থাগুলি, বিশেষত, অভিযোগ করেছে যে এআই ক্রলাররা তাদের প্রতিবেদনগুলিকে স্ক্যাপ করে যখন তাদের বিজ্ঞাপন-তহবিলযুক্ত ব্যবসায়িক মডেলগুলি নষ্ট হয়ে যায়, এবং বেশ কিছু প্রকাশক লিভারেজ পুনরুদ্ধার করার জন্য আদালতে গেছেন বা লাইসেন্সিং চুক্তিতে স্বাক্ষর করেছেন।
অন্তর্বর্তী সমাধানগুলি প্রসারিত হয়েছে। ক্লাউডফ্লেয়ার, যা ওয়েবের একটি বড় অংশের সামনে বসে আছে, একটি সেটিং চালু করেছে যা সাইটগুলিকে Google অনুসন্ধানের দৃশ্যমানতা না হারিয়ে AI প্রশিক্ষণ ক্রলারকে ব্লক করতে দেয়, একটি পার্থক্য যা গুরুত্বপূর্ণ কারণ AI ক্রলিং এবং অনুসন্ধান সূচীকরণ ঐতিহাসিকভাবে একই robots.txt নিয়ম দ্বারা পরিচালিত হয়েছিল৷ আইইটিএফ-এর এআই প্রেফারেন্স ওয়ার্কিং গ্রুপের অভ্যন্তরে স্ট্যান্ডার্ড কাজ করে প্রোটোকল স্তরে পছন্দের অভিব্যক্তিকে আনুষ্ঠানিক করার লক্ষ্যে।
প্রধান AI প্রদানকারীদের দ্বারা গৃহীত একটি শেয়ার্ড সিগন্যাল হবে এখনও পর্যন্ত সবচেয়ে ফলপ্রসূ পদক্ষেপ, কারণ এটি বিদ্যমান robots.txt মেকানিজমের মাধ্যমে কাজ করে যা সাইট অপারেটররা ইতিমধ্যেই জানেন কিভাবে ব্যবহার করতে হয়।
প্রয়োগকারী প্রশ্ন
মানটি স্বেচ্ছাসেবী, এবং সেই শব্দটি ওজন বহন করে। একটি robots.txt পছন্দের নিজে থেকে আইনের কোনো বল নেই; এটি শুধুমাত্র সেই সংস্থাগুলিকে আবদ্ধ করে যারা এটিকে সম্মান করতে সম্মত হয় এবং সম্মতি ঐতিহাসিকভাবে প্রতিটি প্রদানকারীর নিজস্ব সনাক্তকরণ এবং প্রয়োগের উপর নির্ভর করে। OpenAI-এর বিবৃতি যে এর বিদ্যমান robots.txt নিয়ন্ত্রণগুলিকে সম্মান করা অব্যাহত থাকবে তা একটি নতুন শাসনের পরিবর্তে ধারাবাহিকতার পরামর্শ দেয় এবং কোম্পানি এখনও কীভাবে সম্মতি বাস্তবায়িত বা নিরীক্ষিত হবে তার প্রযুক্তিগত বিবরণ প্রকাশ করেনি।
এছাড়াও খোলা প্রশ্ন আছে ঘোষণা নিষ্পত্তি হয় না. এটা দেখা বাকি আছে যে সংকেতটি শুধুমাত্র প্রশিক্ষণকে কভার করে, নাকি পুনরুদ্ধার এবং গ্রাউন্ডিং পর্যন্ত প্রসারিত করে, যে প্রক্রিয়াগুলির দ্বারা AI সিস্টেমগুলি প্রশ্নের উত্তর দেওয়ার জন্য লাইভ ওয়েব সামগ্রী নিয়ে আসে। পার্থক্যটি প্রকাশকদের কাছে গুরুত্বপূর্ণ কারণ পুনরুদ্ধার-ভিত্তিক পণ্যগুলি ট্র্যাফিককে উত্সগুলিতে ফিরিয়ে আনতে পারে, যখন প্রশিক্ষণ ব্যবহার করে না। সার্চ-ইঞ্জিন-পরিচালিত AI অভিজ্ঞতাগুলি কীভাবে সিগন্যাল বনাম তাদের সাধারণ ক্রলিং নিয়মগুলির সাথে আচরণ করে তা প্রকাশকরা দত্তক গ্রহণকে জয় বা ডুমুর পাতা হিসাবে দেখবে কিনা তা আকার দেবে।
কি দেখতে হবে
পরবর্তী মাইলফলকগুলি হল সুনির্দিষ্ট: OpenAI-এর বাস্তবায়ন আপডেট, অংশগ্রহণকারী কোম্পানিগুলি যে প্রযুক্তিগত স্পেসিফিকেশন প্রকাশ করে এবং অন্যান্য উল্লেখযোগ্য AI প্রদানকারীরা - বড় চীনা ল্যাব এবং স্বাধীন ইনফরেন্স কোম্পানিগুলি সহ - সমর্থন ঘোষণা করে। প্রকাশক এবং অধিকারধারীরা নিরীক্ষার গল্পের জন্য সবচেয়ে নিবিড়ভাবে পর্যবেক্ষণ করবেন, অর্থাৎ, অপারেটররা যাচাই করতে পারে কিনা যে তাদের পছন্দটি আসলেই স্কেলে সম্মান করা হচ্ছে।
যদি মান ধরে থাকে, বৃহস্পতিবারের ঘোষণাটি মনে রাখা যেতে পারে যে মুহূর্তে AI প্রশিক্ষণ অপ্ট-আউটগুলি প্রতি-কম্পানির প্যাচওয়ার্ক হওয়া বন্ধ করে এবং একটি ওয়েব-ওয়াইড কনভেনশন হয়ে ওঠে। যদি এটি স্টল করে, এটি স্বেচ্ছাসেবী ওয়েব মানগুলির একটি দীর্ঘ লাইনে যোগ দেয় যা শিল্প প্রশংসা করেছিল এবং তারপর শান্তভাবে উপেক্ষা করে।
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
