OpenAI তার গবেষণা পরিকাঠামো জুড়ে কন্ট্রোল রুম নামক একটি কেন্দ্রীভূত নিয়ন্ত্রণ ব্যবস্থা স্থাপন করেছে, সম্ভাব্য ঝুঁকিপূর্ণ AI মডেলের কাজের চাপকে হস্তক্ষেপ করার সিদ্ধান্তের 35 সেকেন্ডের মধ্যে আরও আউটপুট তৈরি করা বন্ধ করার জন্য ডিজাইন করা হয়েছে। যেমন ইন্টারেস্টিং ইঞ্জিনিয়ারিং রিপোর্ট করেছে, সিস্টেমটি কাজের চাপগুলিকে সংযুক্ত করে যা কোম্পানির সবচেয়ে উন্নত গবেষণাকে শক্তি দেয় — এজেন্টিক মডেল প্রশিক্ষণ, মূল্যায়ন, এবং ডেটা-প্রসেসিং কাজগুলি সহ — একটি কেন্দ্রীয় পরিষেবার সাথে যা নিয়ন্ত্রণ করে যে তারা চলতে পারে কিনা।
কোম্পানিটি 9 নভেম্বর সর্বজনীনভাবে সিস্টেমটি ঘোষণা করে লিখেছিল: "আমরা কন্ট্রোল রুম তৈরি করেছি, আমাদের গবেষণা পরিকাঠামো জুড়ে মডেল ওয়ার্কলোডগুলি ট্র্যাক করার জন্য একটি কেন্দ্রীয় সিস্টেম এবং যখন নিরাপত্তা বা নিরাপত্তা উদ্বেগ দেখা দেয় তখন সেগুলি দ্রুত বন্ধ করে দেয়৷ এটি মডেল প্রশিক্ষণ এবং মূল্যায়ন, ডেটার জন্য এজেন্টিক নমুনা সহ প্রতিটি গবেষণা অনুমান কাজের চাপকে সংযুক্ত করে..." For more context on this story, see our ongoing more AI stories.
সময় লক্ষণীয়। যেহেতু AI মডেলগুলি আরও সক্ষম হয় এবং প্রশিক্ষণ পাইপলাইনের মধ্যে আরও স্বায়ত্তশাসিত, এজেন্ট-সদৃশ দায়িত্ব দেওয়া হয়, গবেষণা চলাকালীন একটি মডেল অপ্রত্যাশিত উপায়ে আচরণ করার ঝুঁকি তাদের সাথে বৃদ্ধি পায়। কন্ট্রোল রুম হল ওপেনএআই-এর কাঠামোগত উত্তর: শুধু সমস্যা দেখার জন্য নয়, শারীরিকভাবে এটি কেটে ফেলতে সক্ষম।
কিভাবে কন্ট্রোল রুম কাজ করে
কন্ট্রোল রুম তিনটি প্রধান উপাদানকে সংযুক্ত করে: গবেষণা কাজের চাপ, অনুমান ইঞ্জিন এবং কেন্দ্রীয় কন্ট্রোল রুম পরিষেবা। একটি কাজের চাপ, OpenAI এর পরিভাষায়, একটি গবেষণা কাজ যেমন একটি শক্তিবৃদ্ধি শেখার পরীক্ষা, একটি মূল্যায়ন, বা একটি উচ্চ-ভলিউম ডেটা-প্রসেসিং কাজ। প্রতিটি গবেষণা কাজের চাপ যা এজেন্টিক অনুমান সম্পাদন করে তা চালানোর আগে একটি অনুমোদিত সুরক্ষা কেসের সাথে যুক্ত হতে হবে।
যখন একজন গবেষক একটি কাজ শুরু করেন, তখন তার কোড কন্ট্রোল রুম থেকে একটি অনন্য কাজের আইডির অনুরোধ করে। সেই শনাক্তকারীটি তারপরে কাজের চাপ অনুমান ইঞ্জিনগুলিতে পাঠানো প্রতিটি অনুরোধের সাথে সংযুক্ত থাকে - GPU- সমর্থিত সিস্টেম যা আসলে মডেলগুলি চালায় এবং আউটপুট তৈরি করে।
কোনো অনুমান অনুরোধ পূরণ করার আগে, ইঞ্জিন কন্ট্রোল রুমের সাথে পরীক্ষা করে নিশ্চিত করে যে সংশ্লিষ্ট কাজটি এখনও চালানোর জন্য অনুমোদিত। যদি একজন গবেষক বা একটি স্বয়ংক্রিয় মনিটরিং সিস্টেম কন্ট্রোল রুমকে কাজটি বন্ধ করার নির্দেশ দেয়, পরিষেবাটি পরবর্তী অনুমানের অনুরোধ অস্বীকার করে এবং ইঞ্জিন সেই কাজের চাপের জন্য আরও মডেল আউটপুট তৈরি করতে অস্বীকার করে।
আউটপুট বন্ধ করা, অগত্যা কাজ নয়
একটি ডিজাইনের বিশদটি দাঁড়িয়েছে: একটি কাজের চাপ বন্ধ করা অগত্যা এটি বন্ধ করে দেয় না। গবেষণা প্রক্রিয়া নিজেই চলতে পারে - এর কোডটি কার্যকর হতে থাকে - তবে এটি অনুমোদিত অনুমান ইঞ্জিনগুলির মাধ্যমে আর অতিরিক্ত মডেল আউটপুট পেতে পারে না। একটি দুর্ব্যবহারমূলক প্রশিক্ষণ চালানোর জন্য, এটি যথেষ্ট: আরও মডেল প্রজন্মের অ্যাক্সেস ছাড়া এটি আরও অগ্রগতি করতে পারে না।
এই পদ্ধতিটি সঠিকভাবে নিরাপত্তা পরীক্ষা বাস্তবায়নের জন্য গবেষকদের নিজস্ব কাজের চাপ কোডের উপর নির্ভর করা এড়িয়ে যায়। OpenAI এর পরিবর্তে অনুমান স্তরে সমালোচনামূলক অনুমোদন প্রক্রিয়া রাখে, যার কম এবং বেশি কেন্দ্রীয়ভাবে পরিচালিত কোড পাথ রয়েছে। অন্য কথায়, কিল সুইচটি কোম্পানি সম্পূর্ণরূপে নিয়ন্ত্রণ করে এমন পরিকাঠামোতে বাস করে, পৃথক দলের দ্বারা লিখিত পরীক্ষামূলক কোডে নয়।
ব্যর্থ পরিকল্পিত বন্ধ
কন্ট্রোল রুম তৈরি করা হয়েছে যাতে অন্যান্য যন্ত্রাংশের ত্রুটি থাকলেও কার্যকর থাকে। কন্ট্রোল রুম পরিষেবা নিজেই অনুপলব্ধ হলে এর ব্যর্থ-বন্ধ মেকানিজম অনুমান অনুরোধগুলিকে ব্লক করে — যার অর্থ একটি প্রযুক্তিগত ব্যর্থতা, একটি ইচ্ছাকৃতভাবে অক্ষম করার প্রচেষ্টা, বা কেন্দ্রীয় পরিষেবার সাথে সম্ভাব্য টেম্পারিং সিস্টেমটি স্বাভাবিক ক্রিয়াকলাপে ফিরে না আসা পর্যন্ত অনুমান ইঞ্জিনগুলিকে সমস্ত অনুরোধ অস্বীকার করে।
35-সেকেন্ডের চিত্রটি একটি স্টপ নির্দেশ গ্রহণ এবং আরও অগ্রগতি রোধ করার মধ্যে সর্বাধিক বিলম্বের প্রতিনিধিত্ব করে। বিলম্ব একটি ক্যাশিং স্তর থেকে আসে যা অনুমান অনুমোদনের অনুরোধের নিছক ভলিউম পরিচালনা করতে ব্যবহৃত হয় এবং OpenAI বলে যে এটি ব্যবধানকে শূন্যে কমাতে কাজ করছে।
স্বয়ংক্রিয় মনিটররা প্রতিটি ফ্রন্টিয়ার রান দেখে
স্বয়ংক্রিয় পর্যবেক্ষণ সহ কিল সুইচ জোড়া। ওপেনএআই-এর মতে, এর সমস্ত ফ্রন্টিয়ার রিইনফোর্সমেন্ট লার্নিং কাজ একটি পৃথক মডেল-ভিত্তিক মনিটরের সাথে চালিত হয় যা মডেল আচরণ পরীক্ষা করে এবং সম্ভাব্য সমস্যা শনাক্ত করার সময় সতর্কতা বাড়ায়। যদি একটি সতর্কতা হস্তক্ষেপের পরোয়ানা দেয়, তাহলে পর্যবেক্ষণ সিস্টেম কন্ট্রোল রুমকে সংশ্লিষ্ট কাজটি বন্ধ করার নির্দেশ দিতে পারে, যা তারপরে কাজের চাপ ব্যবহার করে এমন যেকোন মডেল বা ইঞ্জিন জুড়ে পরবর্তী অনুমান অনুরোধগুলিকে ব্লক করে।
কোম্পানি একটি সাম্প্রতিক DNS-সম্পর্কিত ঘটনার দিকে ইঙ্গিত করেছে - যেখানে একটি মনিটর একটি বহিরাগত চ্যাটবটে পৌঁছানোর চেষ্টা করছে এমন একটি এজেন্ট সনাক্ত করেছে - কেন এই ধরনের সুরক্ষা গুরুত্বপূর্ণ তার উদাহরণ হিসাবে। সেই ক্ষেত্রে, অসঙ্গতিটি একজন মানব পর্যালোচকের পরিবর্তে স্বয়ংক্রিয় তদারকির দ্বারা ধরা পড়ে।
একটি বিস্তৃত নিরাপত্তা পুশের অংশ
OpenAI নোট করে যে কন্ট্রোল রুম ইতিমধ্যেই তার গবেষণা পরিকাঠামো জুড়ে স্থাপন করা হয়েছে, যেখানে হস্তক্ষেপের প্রয়োজন সবচেয়ে বেশি। এর বাহ্যিক মডেল-সার্ভিং অবকাঠামো, যা ChatGPT-এর মতো পণ্যগুলিকে ক্ষমতা দেয়, এটি আরও কেন্দ্রীভূত এবং ইতিমধ্যেই প্রয়োজন হলে মডেল স্থাপনাগুলিকে নামিয়ে নেওয়ার জন্য অপারেশনাল মেকানিজম রয়েছে — কন্ট্রোল রুম গবেষণার দিকের ফাঁক বন্ধ করে দেয়।
কোম্পানী বলেছে যে এটি সীমান্ত মডেল উন্নয়ন সুরক্ষিত করার বৃহত্তর পদ্ধতির অংশ হিসাবে বিভ্রান্তিকর আচরণ এবং নিরাপত্তা লঙ্ঘনের বিরুদ্ধে তার পর্যবেক্ষণ ব্যবস্থা এবং সুরক্ষা ব্যবস্থা জোরদার করা অব্যাহত রাখবে।
স্বায়ত্তশাসিত এজেন্টদের দ্বারা ক্রমবর্ধমানভাবে সংজ্ঞায়িত একটি শিল্পের জন্য, কন্ট্রোল রুম হল ফ্রন্টিয়ার ল্যাবগুলি কোথায় যাচ্ছে তার একটি সংকেত: সুরক্ষা ব্যবস্থা যা অনুমান করে যে মডেলগুলি কখনও কখনও স্কেলে খারাপ আচরণ করবে, এবং এটি তাদের থামানোকে একটি আশার পরিবর্তে একটি পরিকাঠামো গ্যারান্টি করে তোলে৷
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
