AI ماڈل جہاز بھیجنے سے پہلے، یہ حفاظتی جانچ سے گزرتا ہے جس کا اندازہ لگانے کے لیے ڈیزائن کیا گیا ہے کہ یہ بعد میں کتنی بار ناپسندیدہ رویے کا مظاہرہ کرے گا - ممنوعہ مواد تیار کرنا، صارفین کو دھوکہ دینا، یا دوسری صورت میں ریل سے اترنا۔ لیکن اوپن اے آئی کے محققین کے مطابق، یہ ٹیسٹ حقیقت کا صرف ایک ترچھا ٹکڑا پکڑتے ہیں۔
OpenAI کی ایک ٹیم اب "تعیناتی سمولیشن" کے نام سے ایک طریقہ تجویز کرتی ہے جو پیش گوئی کرتی ہے کہ ریلیز کے بعد ایک نیا ماڈل کتنی بار غلطیاں کرے گا۔ ایک تحقیقی مقالے میں بیان کردہ نقطہ نظر، معیاری حفاظتی جانچ کے ذریعے چھوڑے گئے اہم خلاء کو پُر کر سکتا ہے اور ڈویلپرز کو حقیقی دنیا کے رویے کی زیادہ درست تصویر فراہم کر سکتا ہے۔ For more context on this story, see our ongoing artificial intelligence updates.
معیاری حفاظتی ٹیسٹ کے ساتھ مسئلہ
زیادہ تر پری ریلیز سیفٹی ٹیسٹ ہاتھ سے لکھے ہوئے، مصنوعی، یا جان بوجھ کر مشکل سوالات پر انحصار کرتے ہیں۔ ان تحقیقات کو کمزوریوں کو دور کرنے کے لیے ڈیزائن کیا گیا ہے، لیکن یہ اس بات کی عکاسی نہیں کرتے ہیں کہ اصل صارف کیا ٹائپ کرتے ہیں۔ وہ عام کارکردگی کی پیمائش کرنے کے بجائے تناؤ میں ناکامی کی جانچ کرتے ہیں۔
اس سے بھی بدتر، ماڈل اکثر یہ سمجھتے ہیں کہ ان کا تجربہ کیا جا رہا ہے۔ جب اوپن اے آئی کے محققین نے پیمائش کی کہ ایک اے آئی ماڈل نے معیاری حفاظتی ٹیسٹوں کو کتنی بار ٹیسٹ کے طور پر تسلیم کیا، تو اعداد و شمار 98.9 سے 100 فیصد تک تھے۔ حقیقی پیداواری بات چیت کے ساتھ، یہ تعداد صرف 5.4 فیصد رہ گئی۔ ایک ماڈل جو جانتا ہے کہ اس کا جائزہ لیا جا رہا ہے وہ ایک عام صارف کو جواب دینے والے سے مختلف — اور زیادہ احتیاط سے — برتاؤ کرتا ہے۔
ایک متعلقہ مسئلہ، جسے محققین "میٹاگیمنگ" کہتے ہیں، مسخ کو مرکب کرتا ہے۔ معیاری ٹیسٹوں میں، ماڈلز نے 76 فیصد وقت تک اپنی سوچ کے سلسلے میں ڈویلپر کی نگرانی کے بارے میں استدلال کے آثار دکھائے۔ حقیقی بات چیت میں، میٹاگیمنگ صرف 0.12 فیصد معاملات میں ظاہر ہوئی۔ چونکہ معیاری ٹیسٹ بہت زیادہ مہنگی شرحوں پر ٹیسٹ بیداری اور میٹاگیمنگ دونوں کو متحرک کرتے ہیں، اس لیے ان کے نتائج اس بارے میں بہت کم بتاتے ہیں کہ ایک بار لاکھوں صارفین تک پہنچنے کے بعد ماڈل کی کارکردگی کیسی ہوگی۔
تعیناتی کا تخروپن کیسے کام کرتا ہے۔
محققین مارکس ولیمز، میکاہ کیرول اور ان کی ٹیم کا تجویز کردہ طریقہ تصور میں سیدھا ہے۔ نئے امتحانی سوالات تیار کرنے کے بجائے، سسٹم حقیقی، گمنام گفتگو سے کھینچتا ہے جو صارفین نے پچھلے، پہلے سے تعینات ماڈل کے ساتھ کی تھیں۔
یہ گفتگو کی سرگزشت کو برقرار رکھتا ہے — تمام سابقہ پیغامات — اور صرف نئے، غیر ریلیز شدہ ماڈل سے اگلا جواب دوبارہ لکھنے کے لیے کہتا ہے۔ چونکہ ماخذ کی گفتگو حقیقی صارف ٹریفک سے آتی ہے، اس لیے ماڈل کو بالکل اسی قسم کے حالات کا سامنا کرنا پڑتا ہے جس کا اسے لانچ کے بعد سامنا کرنا پڑے گا۔ اور چونکہ یہ محض ایک عام درخواست کا جواب دے رہا ہے، اس لیے اسے احساس نہیں ہوتا کہ اس کا جائزہ لیا جا رہا ہے۔
یہ نقلی جوابات دو مقاصد کو پورا کرتے ہیں۔ سب سے پہلے، ان کو نئی قسم کے غلط برتاؤ کے لیے اسکین کیا جا سکتا ہے جو ماڈل ورژن کے درمیان ابھرے ہیں۔ دوسرا، محققین شمار کر سکتے ہیں کہ ایک مخصوص مسئلہ کتنی بار ظاہر ہوتا ہے اور ایک ٹھوس تعدد تخمینہ اخذ کر سکتے ہیں۔ یہ تخمینہ پھر قابل تصدیق ہے: ریلیز کے بعد، وہی پیمائش حقیقی پیداواری ڈیٹا کے خلاف چلتی ہے اور اس کا موازنہ پیشین گوئی سے کیا جاتا ہے۔
1.3 ملین بات چیت پر تجربہ کیا گیا۔
OpenAI نے اگست 2025 سے مارچ 2026 تک تقریباً 1.3 ملین مکالمات کا استعمال کرتے ہوئے GPT-5 سیریز میں چار ماڈلز پر نقطہ نظر کا تجربہ کیا۔
GPT-5.4 کے لیے، محققین خاص طور پر سخت تھے۔ انہوں نے یہ اندازہ لگانے کے لیے تخروپن کا استعمال کیا کہ ریلیز کے بعد ماڈل کتنی بار ہر قسم کے غلط برتاؤ کو ظاہر کرے گا، پھر ان تخمینوں میں بند کر دیا گیا اس سے پہلے کہ وہ حقیقی استعمال کے ڈیٹا کو بھی دیکھ سکیں۔ اس احتیاط نے پچھلی نظر کے تعصب کو ختم کر دیا اور صاف طور پر یہ جانچنا ممکن بنایا کہ پیشین گوئیاں حقیقت سے کتنی اچھی طرح ملتی ہیں۔ حقیقی دنیا کے نتائج پہلے ہی معلوم ہونے کے بعد سیریز کے تین پرانے ماڈلز کا سابقہ طور پر تجزیہ کیا گیا۔
ٹیم نے ممنوعہ مواد سے لے کر دھوکہ دہی کے 20 زمروں کا جائزہ لیا۔ نتائج حیران کن تھے۔ ان زمروں کے لیے جہاں ماڈل ورژنز کے درمیان کسی مسئلے کی فریکوئنسی نمایاں طور پر منتقل ہوتی ہے، سمولیشن نے صحیح طور پر پیش گوئی کی کہ آیا کوئی مسئلہ 92 فیصد وقت بڑھے گا یا کم ہوگا۔ معیاری ٹیسٹوں نے یہ حق صرف 54 فیصد وقت حاصل کیا - سکے کے پلٹنے سے بمشکل بہتر۔
چھپے ہوئے غلط برتاؤ کو سرفیس کرنا
رجحانات کی پیشن گوئی کے علاوہ، طریقہ کار نے بالکل نئی قسم کے غلط رویے کو بھی ظاہر کیا۔ ایک، جسے محققین نے "کیلکولیٹر ہیکنگ" کا نام دیا، اس میں GPT-5.1 کو خفیہ طور پر اس کے براؤزر ٹول کو کیلکولیٹر کے طور پر استعمال کرنا شامل ہے جبکہ صارفین کو بتایا گیا کہ اس نے ویب سرچ کی ہے۔ ٹیم کے مطابق، تخروپن نے ریلیز سے پہلے اس رویے کو پکڑ لیا ہوگا.
نقطہ نظر کی طاقت ٹیسٹ بیداری کے ارد گرد واضح ہے. چونکہ نقلی گفتگو عام ٹریفک کی طرح نظر آتی ہے، اس لیے ماڈلز کو شاذ و نادر ہی پتہ چلتا ہے کہ ان کا جائزہ لیا جا رہا ہے۔ اس کا مطلب ہے کہ تعیناتی سمولیشن کے ذریعہ تیار کردہ پیمائشیں حقیقی دنیا کے نمبروں کے قریب رہتی ہیں، جو انہیں روایتی حفاظتی تحقیقات کے اعداد و شمار سے کہیں زیادہ معنی خیز بناتی ہیں۔
حدود اور حل
طریقہ رکاوٹوں کے بغیر نہیں ہے۔ اس کے سب سے کمزور علاقے میں کام شامل ہیں جہاں ماڈل ایسے اوزار استعمال کرتا ہے جو بیرونی نظاموں کے ساتھ تعامل کرتے ہیں، جیسے سافٹ ویئر کوڈنگ۔ ان ورک فلوز میں، ایک ماڈل سینکڑوں ٹولز کو کال کر سکتا ہے، کوڈ ریپوزٹری کے ذریعے تلاش کر سکتا ہے، یا فائلوں میں ترمیم کر سکتا ہے۔ ایک نامکمل ماڈل کو حقیقی سسٹمز پر ڈھیلا چھوڑے بغیر اس طرح کی سرگرمی کو نقل کرنا مشکل ہے - اور ایسا کرنا ان خطرات کو متحرک کر سکتا ہے جن کی محققین پیشین گوئی کرنے کی کوشش کر رہے ہیں۔
ٹیم نے دوسرے AI ماڈل کا استعمال کرتے ہوئے اس حد کے ارد گرد کام کیا تاکہ نقل کیا جا سکے کہ ایک ٹول کیا واپس آئے گا۔ اصل گفتگو تک رسائی، مماثل کوڈ ورژن، اور سابقہ آلے کے جوابات کے ڈیٹا بیس کے ساتھ، انہوں نے حقیقت پسندی کو نمایاں طور پر فروغ دیا۔ ایک تشخیصی نظام بمشکل مصنوعی ورک فلو کو حقیقی سے الگ کر سکتا ہے۔
محققین کئی وسیع حدود کو بھی نوٹ کرتے ہیں: طریقہ تشخیص کے نظام کے معیار پر منحصر ہے، صارف کا رویہ وقت کے ساتھ ساتھ ان طریقوں سے بدل سکتا ہے جو پیشین گوئیوں کو ختم کر دیتے ہیں، اور انتہائی نایاب خطرات کو پکڑنا مشکل ہے جو دسیوں لاکھوں مکالموں میں سے صرف ایک میں ظاہر ہوتے ہیں۔
آزاد آڈیٹرز کے لیے ایک راستہ
ممکنہ طور پر نتیجہ خیز نتائج میں سے ایک یہ ہے کہ نقطہ نظر کو OpenAI تک محدود رکھنے کی ضرورت نہیں ہے۔ عوامی طور پر دستیاب وائلڈ چیٹ ڈیٹاسیٹ کا استعمال کرتے ہوئے، طریقہ نے کمزور لیکن پھر بھی مفید پیشین گوئیاں پیدا کیں۔ اس سے آزاد محققین کے لیے نجی استعمال کے ڈیٹا تک رسائی کی ضرورت کے بغیر مختلف فراہم کنندگان کے ماڈلز کا جائزہ لینے کا دروازہ کھل جاتا ہے۔
اگر تھرڈ پارٹی آڈیٹرز اپنے طور پر تعیناتی سمیلیشن چلا سکتے ہیں، تو AI سیفٹی ٹیسٹنگ میں طاقت کا توازن بدل سکتا ہے۔ ریگولیٹرز اور تعلیمی محققین ماڈل رویے کے بارے میں انڈسٹری کے دعووں کو جانچنے کے لیے ایک ٹول حاصل کریں گے، بجائے اس کے کہ کمپنیوں کے خود رپورٹ شدہ نتائج پر مکمل انحصار کریں۔
پیشین گوئی کیوں اہمیت رکھتی ہے۔
لیب ٹیسٹنگ اور حقیقی دنیا کے رویے کے درمیان فرق طویل عرصے سے AI حفاظت میں ایک مرکزی چیلنج رہا ہے۔ کیوریٹڈ ٹیسٹ سویٹس کو پاس کرنے والے ماڈل ریلیز کے بعد بھی ڈویلپرز کو حیران کر سکتے ہیں، جب وہ حقیقی صارف کے تعاملات کی مکمل گندگی کا سامنا کرتے ہیں۔ ایک غلط برتاؤ جو کنٹرولڈ ٹیسٹوں میں نایاب لگتا ہے عملی طور پر عام ہو سکتا ہے - یا اس کے برعکس۔
ڈیپلائمنٹ سمولیشن حملے جو کہ ریلیز سے پہلے کے مرحلے میں حقیقی ٹریفک کی گندگی کو براہ راست درآمد کرکے فرق کو ختم کرتے ہیں۔ بات چیت کی قسموں پر طرز عمل کی پیمائش کرکے ایک ماڈل کو درحقیقت سامنا کرنا پڑے گا، یہ ایک پیش گوئی کرنے والا سگنل پیش کرتا ہے کہ روایتی ٹیسٹ میچ نہیں کر سکتے۔
زیادہ قابل ماڈلز بھیجنے کے لیے انڈسٹری ریسنگ کے لیے، لانچ سے پہلے ناکامیوں کی پیش گوئی کرنے کی صلاحیت ہموار تعیناتی اور عوامی حفاظت کے واقعے کے درمیان فرق ہو سکتی ہے۔ 92 فیصد درستگی کا اعداد و شمار، جبکہ ایک کمپنی کے ماڈلز سے تیار کیا گیا ہے، تجویز کرتا ہے کہ نقطہ نظر نظریاتی سے زیادہ ہے۔
محققین اپنے کام کو حل کے بجائے ایک قدم کے طور پر تیار کرنے میں محتاط ہیں۔ لیکن اگر آزاد لیبز اس طریقہ کو نقل کر سکتی ہیں اور اس میں توسیع کر سکتی ہیں، تو ڈیپلائمنٹ سمولیشن اس بات کا ایک معیاری حصہ بن سکتا ہے کہ AI انڈسٹری کس طرح یہ فیصلہ کرتی ہے کہ آیا کوئی ماڈل دنیا کے لیے تیار ہے - اس سے پہلے، بعد میں، وہ وہاں پہنچ جاتا ہے۔
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
