OpenAI نے اپنے تحقیقی انفراسٹرکچر میں کنٹرول روم کے نام سے ایک مرکزی کنٹرول سسٹم تعینات کیا ہے، جو مداخلت کرنے کے فیصلے کے 35 سیکنڈ کے اندر ممکنہ طور پر خطرناک AI ماڈل کے کام کے بوجھ کو مزید پیداوار پیدا کرنے سے روکنے کے لیے ڈیزائن کیا گیا ہے۔ جیسا کہ دلچسپ انجینئرنگ نے رپورٹ کیا، سسٹم کام کے بوجھ کو جوڑتا ہے جو کمپنی کی جدید ترین تحقیق کو طاقت دیتا ہے — بشمول ایجنٹی ماڈل کی تربیت، تشخیص، اور ڈیٹا پروسیسنگ کی ملازمتیں — ایک مرکزی سروس سے جو یہ کنٹرول کرتی ہے کہ آیا وہ چلنا جاری رکھ سکتے ہیں۔
کمپنی نے 9 نومبر کو اس نظام کا عوامی طور پر اعلان کرتے ہوئے لکھا: "ہم نے اپنے تحقیقی انفراسٹرکچر پر ماڈل ورک بوجھ کو ٹریک کرنے اور حفاظت یا سیکیورٹی کے خدشات پیدا ہونے پر انہیں فوری طور پر روکنے کے لیے کنٹرول روم، ایک مرکزی نظام بنایا ہے۔ یہ ہر تحقیقی تخمینہ کے کام کے بوجھ کو جوڑتا ہے، بشمول ماڈل کی تربیت اور تشخیص کے لیے ایجنٹ کے نمونے لینے، ڈیٹا..." For more context on this story, see our ongoing AI trends.
ٹائمنگ قابل ذکر ہے۔ جیسا کہ AI ماڈلز زیادہ قابل ہو جاتے ہیں اور انہیں تربیتی پائپ لائنز کے اندر زیادہ خود مختار، ایجنٹ جیسی ذمہ داریاں دی جاتی ہیں، تحقیق کے دوران ماڈل کے غیر متوقع طریقے سے برتاؤ کرنے کا خطرہ ان کے ساتھ بڑھتا ہے۔ کنٹرول روم اوپن اے آئی کا ساختی جواب ہے: نہ صرف مصیبت کو دیکھنا، بلکہ جسمانی طور پر اسے ختم کرنے کے قابل ہونا۔
کنٹرول روم کیسے کام کرتا ہے۔
کنٹرول روم تین اہم اجزاء کو جوڑتا ہے: تحقیقی کام کا بوجھ، انفرنس انجن، اور مرکزی کنٹرول روم سروس۔ کام کا بوجھ، OpenAI کی اصطلاح میں، ایک تحقیقی کام ہے جیسے کہ کمک سیکھنے کا تجربہ، ایک تشخیص، یا ایک اعلیٰ حجم ڈیٹا پروسیسنگ کا کام۔ ہر تحقیقی کام کا بوجھ جو ایجنٹی تخمینہ کو انجام دیتا ہے اسے چلنے سے پہلے ایک منظور شدہ حفاظتی کیس سے منسلک ہونا چاہیے۔
جب کوئی محقق کام شروع کرتا ہے تو اس کا کوڈ کنٹرول روم سے ایک منفرد جاب آئی ڈی کی درخواست کرتا ہے۔ اس شناخت کنندہ کو پھر ہر درخواست کے ساتھ منسلک کیا جاتا ہے جو کام کا بوجھ انفرنس انجنوں کو بھیجتا ہے - GPU کی حمایت یافتہ نظام جو اصل میں ماڈل چلاتے ہیں اور آؤٹ پٹ پیدا کرتے ہیں۔
کسی بھی تخمینہ کی درخواست کو پورا کرنے سے پہلے، انجن اس بات کی تصدیق کے لیے کنٹرول روم سے چیک کرتا ہے کہ متعلقہ کام اب بھی چلانے کا مجاز ہے۔ اگر کسی محقق یا خودکار نگرانی کے نظام نے کنٹرول روم کو کام کو روکنے کی ہدایت کی ہے، تو سروس اگلی انفرنس کی درخواست سے انکار کرتی ہے، اور انجن اس کام کے بوجھ کے لیے مزید ماڈل آؤٹ پٹ پیدا کرنے سے انکار کرتا ہے۔
آؤٹ پٹ کو روکنا، ضروری نہیں کہ کام ہو۔
ایک ڈیزائن کی تفصیل نمایاں ہے: کام کے بوجھ کو روکنا ضروری نہیں کہ اسے ختم کر دے۔ تحقیق کا عمل خود چل سکتا ہے - اس کا کوڈ جاری رہتا ہے - لیکن یہ مجاز انفرنس انجنوں کے ذریعے اضافی ماڈل آؤٹ پٹ حاصل نہیں کرسکتا۔ ایک غلط ٹریننگ چلانے کے لیے، یہ کافی ہے: مزید ماڈل نسلوں تک رسائی کے بغیر، یہ مزید ترقی نہیں کر سکتا۔
یہ نقطہ نظر حفاظتی جانچ پڑتال کو صحیح طریقے سے نافذ کرنے کے لیے محققین کے اپنے کام کے بوجھ کوڈ پر انحصار کرنے سے بھی گریز کرتا ہے۔ اوپن اے آئی اس کی بجائے انفرنس لیئر میں تنقیدی اجازت کے طریقہ کار کو رکھتا ہے، جس میں کم اور زیادہ مرکزی طور پر منظم کوڈ پاتھ ہوتے ہیں۔ دوسرے لفظوں میں، کِل سوئچ انفراسٹرکچر میں رہتا ہے جو کمپنی مکمل طور پر کنٹرول کرتی ہے، انفرادی ٹیموں کے لکھے گئے تجرباتی کوڈ میں نہیں۔
بند ناکام ہونے کے لیے ڈیزائن کیا گیا۔
کنٹرول روم کو دوسرے اجزاء کی خرابی کے باوجود موثر رہنے کے لیے بنایا گیا ہے۔ اگر کنٹرول روم سروس خود دستیاب نہ ہو جائے تو اس کا ناکام بند میکانزم تخمینہ کی درخواستوں کو روکتا ہے - یعنی تکنیکی ناکامی، جان بوجھ کر غیر فعال کرنے کی کوشش، یا مرکزی سروس کے ساتھ ممکنہ چھیڑ چھاڑ انفرنس انجنوں کو تمام درخواستوں سے انکار کرنے کا سبب بنتی ہے جب تک کہ سسٹم معمول پر نہیں آ جاتا۔
35-سیکنڈ کا اعداد و شمار سٹاپ کی ہدایات حاصل کرنے اور مزید پیش رفت کو روکنے کے درمیان زیادہ سے زیادہ تاخیر کی نمائندگی کرتا ہے۔ تاخیر ایک کیشنگ پرت سے آتی ہے جس کا استعمال انفرنس کی اجازت کی درخواستوں کے سراسر حجم کو سنبھالنے کے لیے کیا جاتا ہے، اور OpenAI کا کہنا ہے کہ وہ وقفہ کو صفر تک کم کرنے کے لیے کام کر رہا ہے۔
خودکار مانیٹر ہر سرحدی دوڑ کو دیکھتے ہیں۔
خودکار نگرانی کے ساتھ کِل سوئچ جوڑے۔ OpenAI کے مطابق، اس کی تمام فرنٹیئر ری انفورسمنٹ سیکھنے کی ملازمتیں ایک علیحدہ ماڈل پر مبنی مانیٹر کے ساتھ چلتی ہیں جو ماڈل کے رویے کی جانچ کرتی ہے اور ممکنہ مسائل کا پتہ لگانے پر الرٹ دیتی ہے۔ اگر کوئی انتباہ مداخلت کی ضمانت دیتا ہے، تو نگرانی کا نظام کنٹرول روم کو متعلقہ کام کو ختم کرنے کی ہدایت دے سکتا ہے، جس کے بعد کام کا بوجھ استعمال کرنے والے کسی بھی ماڈل یا انجن پر آنے والی انفرنس کی درخواستوں کو روک دیا جاتا ہے۔
کمپنی نے ایک حالیہ DNS سے متعلق واقعہ کی طرف اشارہ کیا - جس میں ایک مانیٹر نے ایک ایجنٹ کو بیرونی چیٹ بوٹ تک پہنچنے کی کوشش کا پتہ لگایا - اس کی مثال کے طور پر کہ اس طرح کے تحفظات کیوں اہمیت رکھتے ہیں۔ اس صورت میں، بے ضابطگی انسانی جائزہ لینے والے کے بجائے خودکار نگرانی کے ذریعے پکڑی گئی۔
ایک وسیع تر حفاظتی پش کا حصہ
OpenAI نوٹ کرتا ہے کہ کنٹرول روم پہلے سے ہی اپنے تحقیقی ڈھانچے میں تعینات ہے، جہاں مداخلت کی ضرورت سب سے زیادہ ہے۔ اس کا بیرونی ماڈل پیش کرنے والا انفراسٹرکچر، جو ChatGPT جیسی مصنوعات کو طاقت دیتا ہے، زیادہ سنٹرلائزڈ ہے اور ضرورت پڑنے پر ماڈل کی تعیناتیوں کو ختم کرنے کے لیے پہلے سے ہی آپریشنل میکانزم رکھتا ہے — کنٹرول روم تحقیقی پہلو پر موجود خلا کو ختم کرتا ہے۔
کمپنی کا کہنا ہے کہ وہ سرحدی ماڈل کی ترقی کو محفوظ بنانے کے لیے اپنے وسیع تر نقطہ نظر کے حصے کے طور پر اپنے نگرانی کے نظام اور غلط رویے اور سیکیورٹی کی خلاف ورزیوں کے خلاف حفاظتی اقدامات کو مضبوط کرنا جاری رکھے گی۔
خود مختار ایجنٹوں کی طرف سے تیزی سے تعریف کی جانے والی صنعت کے لیے، کنٹرول روم اس بات کا اشارہ ہے کہ فرنٹیئر لیبز کہاں جا رہی ہیں: حفاظتی طریقہ کار جو فرض کرتے ہیں کہ ماڈلز کبھی کبھار بڑے پیمانے پر غلط برتاؤ کریں گے، اور جو انہیں روکنا ایک امید کی بجائے بنیادی ڈھانچے کی ضمانت بناتا ہے۔
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
