ওপেনএআই বৃহস্পতিবার তার সবচেয়ে বিশদ বিবরণ প্রকাশ করেছে যে এটি কীভাবে "বিপক্ষীয় পাতন" সনাক্ত করে এবং ব্যাহত করে - একটি প্রতিযোগী সিস্টেমকে প্রশিক্ষণ দেওয়ার জন্য একটি সীমান্ত মডেলের আউটপুটগুলির অননুমোদিত ব্যবহার - এবং একাধিক প্রতিবেদন অনুসারে, মডেলটিতে সরাসরি অ্যাক্সেস দেওয়ার আগে এটির অনুমোদন নেওয়ার জন্য তৃতীয় পক্ষের গেটওয়ে এবং রিসেলারদের প্রয়োজন শুরু করেছে৷
"কমব্যাটিং অ্যাডভারসারিয়াল ডিস্টিলেশন" শিরোনামের একটি OpenAI ব্লগ পোস্টে এবং Semafor এবং eWeek-এর কভারেজে বর্ণিত পদক্ষেপগুলি, কোম্পানি কীভাবে তার মডেলগুলির ক্ষমতাগুলিকে পুনরায় বিতরণ করতে পারে তা নিয়ন্ত্রণ করে তা একটি উল্লেখযোগ্য কড়াকড়ি চিহ্নিত করে — বিকাশকারী, স্টার্টআপ এবং এন্টারপ্রাইজগুলির জন্য বাস্তব পরিণতির সাথে একটি পরিবর্তন যা ওপেনমিডিয়া সিস্টেমের মাধ্যমে অ্যাক্সেস করে৷
কেন ওপেনএআই পাতনকে একটি নিরাপত্তা সমস্যা হিসাবে বিবেচনা করে
পাতন একটি আদর্শ মেশিন-লার্নিং কৌশল যেখানে একটি মডেল অন্যটির আউটপুট থেকে শেখে। নিজেই, OpenAI নোট করে, এটি অবৈধ বা অস্বাভাবিক নয়। কোম্পানির উদ্বেগের বিষয় হল এটিকে প্রতিপক্ষীয় পাতন বলা হয়: একজন অভিনেতা অনুমতি ছাড়াই একটি সীমান্ত মডেলের আউটপুট ব্যবহার করে অনুরূপ ক্ষমতা সহ অন্য মডেলকে প্রশিক্ষণের জন্য, তারপর তুলনামূলক সুরক্ষা ছাড়াই এটি স্থাপন করে।
তার ব্লগ পোস্টে, OpenAI যুক্তি দেয় যে সাইবার নিরাপত্তা এবং জীববিদ্যার মতো দ্বৈত-ব্যবহারের ডোমেনে ঝুঁকি সবচেয়ে স্পষ্ট। একটি মডেল যা ডিফেন্ডারদের সফ্টওয়্যার দুর্বলতাগুলি খুঁজে পেতে সহায়তা করে, একবার এর দক্ষতাগুলি দুর্বল গার্ডেল সহ একটি সিস্টেমে স্থানান্তরিত হলে, আক্রমণকারীকে তাদের শোষণ করতে সহায়তা করে৷ "একটি প্রতিপক্ষ একটি মডেলের সাইবার ক্ষমতাগুলিকে পাতন করতে পারে এবং সাইবার আক্রমণ চালাতে সাহায্য করার জন্য ফলস্বরূপ মডেলটি ব্যবহার করতে পারে যা মূল মডেলটি সহায়তা করতে অস্বীকার করত," কোম্পানি লিখেছিল।
চেইন-অফ-থট রক্ষা করা
OpenAI এর প্রতিরক্ষার কেন্দ্রে এটিকে সুরক্ষিত যুক্তি বলা হয়: মধ্যবর্তী পদক্ষেপগুলি — চিন্তার চেইন-অফ-থট — একটি মডেল উত্তরের দিকে কাজ করার সময় অভ্যন্তরীণভাবে তৈরি করে৷ এই ট্রেসগুলি, কোম্পানি ব্যাখ্যা করে, চূড়ান্ত উত্তরটি ছেড়ে দেওয়া তথ্য ধারণ করতে পারে, যা অন্য ল্যাবের মডেলের প্রশিক্ষণ ডেটা হিসাবে বিশেষভাবে মূল্যবান করে তোলে।
OpenAI বলে যে এটি GPT-6.2 Astra এবং GPT-6.2 Sol-এ যুক্তি-ট্রেস নিষ্কাশনের বিরুদ্ধে তার প্রতিরক্ষা শক্তিশালী করেছে। স্বয়ংক্রিয় রেড-টিমিং ব্যবহার করে একটি অভ্যন্তরীণ অভিযোজিত মূল্যায়নে, কোম্পানি রিপোর্ট করেছে যে সুরক্ষিত যুক্তি পুনরুদ্ধারের জন্য গড় আক্রমণ সাফল্যের হার 54.0% থেকে GPT-6 Astra এর আসল সুরক্ষাগুলির সাথে 0.2% থেকে GPT-6.2 Astra এর বিরুদ্ধে আপডেট করা সুরক্ষাগুলির সাথে 0.2% এ নেমে এসেছে৷
এর অভ্যন্তরীণ সাইবার স্টাডিতে কী পাওয়া গেছে
পাতনের সময় কীভাবে সাইবার ক্ষমতা স্থানান্তরিত হয় তার একটি অভ্যন্তরীণ অধ্যয়নের ফলাফলও কোম্পানিটি ভাগ করে নেয়। ছাত্র মডেলগুলি কোডিং এবং প্রতিরক্ষামূলক সাইবারসিকিউরিটি টাস্কগুলিতে কাজ করা শিক্ষক মডেলদের দ্বারা উত্পাদিত ট্র্যাজেক্টরিগুলির উপর সূক্ষ্ম-সুরক্ষিত ছিল। তত্ত্বাবধানে ফাইন-টিউনিং এবং — পরীক্ষিত সবচেয়ে বড় অনুমান বাজেটের পরে — পোস্টের পাশে প্রদর্শিত OpenAI বেঞ্চমার্ক অনুসারে, সঠিক যুক্তির চিহ্নগুলিতে প্রশিক্ষণপ্রাপ্ত ছাত্ররা সাধারণত শুধুমাত্র যুক্তির সারাংশে প্রশিক্ষিত ছাত্রদেরকে ছাড়িয়ে যায়।
স্যানিটাইজড আউটপুট প্রকাশের মাধ্যমে সক্ষমতা স্থানান্তর ধারণ করা যেতে পারে এমন আশা করা যে কারোর জন্যই এই প্রভাবটি অত্যন্ত দুঃখজনক: এমনকি ব্যবহারের নীতির অধীনে অনুমোদিত মিথস্ক্রিয়াগুলি সামগ্রিকভাবে, একজন ছাত্রকে মডেলের দক্ষতা শেখাতে পারে যা শিক্ষকের প্রাথমিকভাবে সম্পাদিত কাজগুলিকে সাধারণ করে তোলে।
গেটওয়ে এবং রিসেলারদের এখন অনুমোদন প্রয়োজন
নীতিগত পরিবর্তনের পাশাপাশি প্রযুক্তিগত পদক্ষেপগুলি আসে। বৃহস্পতিবার থেকে, OpenAI-এর AI মডেলের রাউটার এবং গেটওয়ের প্রয়োজন হবে যা তৃতীয় পক্ষকে পূর্বানুমতি পাওয়ার জন্য তার মডেলগুলিতে সরাসরি অ্যাক্সেস দেয়, eWeek রিপোর্ট করেছে। গ্রাহকরা যখন সরাসরি বা হোস্টিং পার্টনার এবং রিসেলারদের মাধ্যমে এর মডেলগুলি অ্যাক্সেস করে তখন নিরাপত্তা সুরক্ষাগুলি কীভাবে প্রয়োগ করা উচিত তা নির্ধারণ করে কোম্পানি অক্টোবরে করা একটি ঘোষণার উপর প্রয়োজনীয়তা তৈরি করে৷
সেই ফ্রেমওয়ার্কের eWeek-এর সারাংশ অনুসারে, অংশগ্রহণকারী পরিষেবাগুলি তুলনামূলক মান বজায় রাখার আশা করা হয় যাতে ব্যবহারকারীরা বিধিনিষেধ এড়াতে সরবরাহকারীকে সহজভাবে পরিবর্তন করতে না পারে। ব্যবস্থাগুলি তিনটি পর্যায়ে বিস্তৃত: মোতায়েন করার আগে সুরক্ষা-বাইপাস প্রচেষ্টার বিরুদ্ধে ঝুঁকি মূল্যায়ন এবং পরীক্ষা; ব্যবহারের সময় নিরীক্ষণ, অংশীদারদের সন্দেহজনক কার্যকলাপ তদন্ত করার আশা করা; এবং লঙ্ঘন ঘটার পরে প্রয়োগকারী পদক্ষেপ। Semafor পরিবর্তনটিকে চিহ্নিত করেছে ওপেনএআই একটি রিসেলার ইকোসিস্টেমের উপর তার আঁকড়ে ধরে যা তার API এর চারপাশে দ্রুত বৃদ্ধি পেয়েছে।
ডেভেলপারদের জন্য এর অর্থ কী
ডেভেলপারদের জন্য, ব্যবহারিক প্রভাব হল বিক্রেতাদের যথাযথ অধ্যবসায় যোগ করার জন্য একটি নতুন কমপ্লায়েন্স প্রশ্ন: ওপেনএআই মডেলগুলি সরবরাহকারী কোনও মধ্যস্থতাকারী আসলে এটি করার জন্য অনুমোদিত কিনা। যে ব্যবসাগুলি অ্যাগ্রিগেটরগুলির মাধ্যমে ট্র্যাফিক রুট করে তাদের প্রদানকারীর অনুমোদনের স্থিতি এবং এটি কীভাবে শংসাপত্র এবং ডেটা পরিচালনা করে তা নিশ্চিত করা উচিত, eWeek পরামর্শ দিয়েছে৷
বৃহত্তর শিল্পের জন্য, ঘোষণাটি একটি সংকেত যে মডেল প্রদানকারীরা ক্রমবর্ধমানভাবে উদ্ভূত ক্ষমতাগুলির নিয়ন্ত্রণকে দেখেন - শুধুমাত্র মডেলগুলিই নয় - গুরুত্বপূর্ণ পরিধি হিসাবে। পাতন বিরোধ সাম্প্রতিক বছরগুলিতে ক্ষেত্র জুড়ে ছড়িয়ে পড়েছে, এবং OpenAI এখন লাইসেন্সিং বিরোধ হিসাবে নয় বরং একটি সুরক্ষা প্রয়োজনীয়তা হিসাবে এর প্রতিক্রিয়া তৈরি করছে, জীববিজ্ঞান এবং সাইবার নিরাপত্তা ঝুঁকিতে প্রযোজ্য নিয়ন্ত্রণগুলির সাথে পাতনের প্রতিরক্ষা সারিবদ্ধ করে।
সামনের রাস্তা
ওপেনএআই বলেছে যে এটি বিভিন্ন ছাত্র মডেল এবং পাতন রেসিপি জুড়ে কতটা ক্ষমতা স্থানান্তর করে তা অধ্যয়ন চালিয়ে যাবে এবং এটি সনাক্তকরণ এবং প্রয়োগের কাজ তৈরি করতে অন্যান্য ল্যাবগুলিকে আমন্ত্রণ জানায়। প্রতিদ্বন্দ্বীরা তুলনীয় গেটওয়ে-অনুমোদন ব্যবস্থা গ্রহণ করে কিনা — এবং ব্যবহারকারীরা যোগ করা ঘর্ষণকে গ্রহণ করেন কিনা — তা নির্ধারণ করতে সাহায্য করবে কীভাবে পরবর্তী প্রজন্মের AI সিস্টেম তৈরি করা হয় এবং কাকে সেগুলি তৈরি করার অনুমতি দেওয়া হয়।
বক্ররেখা থেকে এগিয়ে থাকুন
AI মডেল, নিরাপত্তা এবং নীতির সাম্প্রতিকতম বিষয়গুলি যেমন ঘটতে চান? AI Buzz Wire-এ ব্রেকিং এআই নিউজ অনুসরণ করুন।
আরও এআই খবর পড়ুন →