گوگل ڈیپ مائنڈ نے 27 اگست کو اعلان کیا جسے وہ ایک ملکیتی، فرنٹیئر کلاس AI ماڈل کی دنیا کی پہلی ڈبل بلائنڈ تشخیص کہتا ہے - ایک خفیہ سیٹ اپ ڈیزائن کیا گیا ہے تاکہ باہر کے ماہرین کو گوگل کے ماڈلز پر دباؤ ڈالنے کی اجازت دی جائے کہ دونوں طرف سے کسی دوسرے کے راز کو دیکھے بغیر۔

پائلٹ، جسے ولیم آئزک، سول میسنگ اور کرسٹیان لم کی ایک ڈیپ مائنڈ بلاگ پوسٹ میں بیان کیا گیا ہے، خفیہ معیارات کے ذریعے خفیہ طور پر محفوظ ماحول میں جیمنی فلیش لائٹ ماڈل چلاتا ہے۔ Google DeepMind اس کوشش پر سنگاپور AI سیفٹی انسٹی ٹیوٹ، OpenMined، AVERI اور MLcommons کے ساتھ شراکت کر رہا ہے، اور اس نے طریقہ کار کو بیان کرنے والی ایک تکنیکی رپورٹ شائع کی ہے۔

اعلان AI تشخیص میں سب سے زیادہ مستقل کمزوریوں میں سے ایک کو حل کرتا ہے: بینچ مارک آلودگی۔ AI ریسرچ نیوز سے باخبر رہنے والے قارئین کے لیے، یہ تھرڈ پارٹی ماڈل ٹیسٹنگ کو قابل تصدیق طور پر صاف کرنے کی مزید ٹھوس کوششوں میں سے ایک کی نمائندگی کرتا ہے۔

آلودگی کا مسئلہ، وضاحت کی گئی۔

ڈیپ مائنڈ کلاس روم کی تشبیہ کے ساتھ اپنا اعلان کھولتا ہے۔ اگر کوئی طالب علم غلطی سے امتحان کے سوالات کو پیشگی دیکھ لیتا ہے، تو کامل اسکور کا کوئی مطلب نہیں ہے۔ یہی منطق فرنٹیئر ماڈلز پر بھی لاگو ہوتی ہے: اگر کوئی ماڈل پہلے ہی کسی معیار کے سوالات کے سامنے آچکا ہے — تربیتی ڈیٹا، لیک ہونے والے ایول سیٹس یا پیشگی اصلاح کے ذریعے — نتیجے میں حاصل ہونے والے اسکور بڑے پیمانے پر حقیقی صلاحیت کو بڑھا سکتے ہیں۔

یہ کوئی فرضی تشویش نہیں ہے۔ بینچ مارک کی آلودگی نے برسوں سے میدان کو اپنی لپیٹ میں لے رکھا ہے، محققین نے بار بار دکھایا ہے کہ مقبول ٹیسٹ سیٹ ویب پیمانے پر ٹریننگ کارپورا میں لیک ہو جاتے ہیں، اور یہ کہ ماڈلز کو خاموشی سے معلوم تشخیص پر اچھی کارکردگی کا مظاہرہ کرنے کے لیے بنایا جا سکتا ہے۔ جب حکومتیں اور کاروباری ادارے خریداری اور پالیسی کے فیصلے کرنے کے لیے بینچ مارک سکور استعمال کرتے ہیں، تو فلایا ہوا نمبر حقیقی نتائج کا حامل ہوتا ہے۔

جیسے جیسے ماڈلز زیادہ قابل ہو رہے ہیں، ڈیپ مائنڈ کا کہنا ہے، حساس تشخیصی زمروں کے لیے داؤ سب سے زیادہ ہے — سائبر سیکیورٹی ٹیسٹنگ اور ان میں حکومتی تشخیص کے سربراہ — جہاں ایک آلودہ اسکور نہ صرف گمراہ کن ہے بلکہ ممکنہ طور پر خطرناک ہے۔

پرانا تجارت: آپ کے اشارے یا ہمارا وزن

تاریخی طور پر، اعلی درجے کی بیرونی تشخیص نے ایک غیر آرام دہ انتخاب پر مجبور کیا۔ یا تو ایویلیویٹر نے اپنے ٹیسٹنگ پرامپٹس کو ماڈل فراہم کنندہ کے حوالے کر دیا — اس خطرے میں کہ فراہم کنندہ ٹیسٹ کے سوالات پہلے سے دیکھ لے — یا فراہم کنندہ نے ماڈل کے وزن تشخیص کار کے حوالے کیے — جس سے اس کی سب سے قیمتی دانشورانہ املاک کے نقصان کا خطرہ ہے۔

ڈیپ مائنڈ لکھتے ہیں، زیرو لاگنگ پروٹوکولز اور سخت معاہدے کے تحفظات نے طویل عرصے سے بیرونی ٹیسٹ کے اشارے کو خفیہ رکھا ہے، لیکن یہ وہ وعدے ہیں جو ریاضی کے بجائے پالیسی کے ذریعے نافذ کیے جاتے ہیں۔ ڈبل بلائنڈ تشخیص اس اعتماد کو کرپٹوگرافک ثبوت سے بدل دیتے ہیں۔

کرپٹوگرافک باکس کیسے کام کرتا ہے۔

پائلٹ خفیہ جگہ کا استعمال کرتا ہے، جو گوگل کلاؤڈ کے خفیہ کمپیوٹنگ پورٹ فولیو کا حصہ ہے، اسے تخلیق کرنے کے لیے جسے ڈیپ مائنڈ ایک کرپٹوگرافک "باکس" کے طور پر بیان کرتا ہے۔ اس کے اندر، تشخیص کے دونوں حصے — خفیہ بینچ مارک اور ملکیتی ماڈل — اپنے متعلقہ مالکان کے لیے نجی رہتے ہیں، اور ماحول خفیہ طور پر اس حقیقت کی تصدیق کرتا ہے۔

نتیجہ حقیقی طور پر ڈبل بلائنڈ ہے: بیرونی جائزہ لینے والا جیمنی ماڈل کے وزن کو نہیں دیکھ سکتا، اور گوگل جانچ کرنے والے کے ٹیسٹ پرامپٹس کو نہیں دیکھ سکتا۔ کسی بھی فریق کو دوسرے کے وعدوں پر بھروسہ نہیں کرنا چاہیے، کیونکہ فن تعمیر ہی اصولی طور پر رساو کو ناممکن بنا دیتا ہے۔ تنقیدی طور پر، سیٹ اپ مستقبل کی جانچ سے پہلے ماڈل کی کارکردگی کو بہتر بنانے کے لیے تشخیصی ڈیٹا کو بعد میں استعمال ہونے سے بھی روکتا ہے - اس لوپ کو بند کرنا جس کے ذریعے آلودگی عام طور پر واپس آتی ہے۔

یہ AI نگرانی کے لیے کیوں اہم ہے۔

وسیع تر اہمیت ایک جیمنی ماڈل سے آگے ہے۔ آزاد تنظیمیں — AI سیفٹی انسٹی ٹیوٹ، اکیڈمک لیبز، ریگولیٹرز — نے بند فرنٹیئر ماڈلز کا سختی سے جائزہ لینے کے لیے برسوں سے جدوجہد کی ہے، خاص طور پر اس لیے کہ فراہم کنندگان وزن نہیں دے سکتے اور تشخیص کار بینچ مارکس کے حوالے نہیں کریں گے۔ فرنٹیئر لیبز کے ساتھ تشخیصی معاہدوں پر دستخط کرتے وقت ہر بڑے AI سیفٹی انسٹی ٹیوٹ نے اس مسئلے کے ورژنز سے نمٹا ہے۔

اگر پائلٹ برقرار رہتا ہے، تو یہ ایک ٹیمپلیٹ پیش کرتا ہے جس کے تحت ڈیٹا کی خودمختاری اور دانشورانہ املاک آزادانہ جانچ کے ساتھ رابطے میں رہتے ہیں۔ ڈیپ مائنڈ کا کہنا ہے کہ اسے امید ہے کہ پائلٹ "ماڈل کی نگرانی کے لیے ایک نیا محاذ قائم کرے گا، جس سے وسیع تر صنعت کو محفوظ، زیادہ قابل اعتماد، اور وسیع پیمانے پر قابل اعتماد AI سسٹمز بنانے میں مدد ملے گی۔"

شراکت داروں کی فہرست اپنے آپ میں قابل ذکر ہے۔ سنگاپور AI سیفٹی انسٹی ٹیوٹ سب سے زیادہ فعال قومی تشخیصی اداروں میں سے ایک ہے۔ OpenMined پرائیویسی کو محفوظ رکھنے والی کمپیوٹیشن ٹولنگ بناتا ہے۔ ایم ایل کامنز انڈسٹری بینچ مارکنگ کو معیاری بناتا ہے۔ AVERI حکومت، اکیڈمیا اور صنعت کے معیار کے اداروں پر محیط ایک کنسورشیم کو تیار کرتا ہے - وہ حلقے جنہیں مظاہرے کی بجائے معمول بننے کے لیے ڈبل بلائنڈ تشخیص کو اپنانے کی ضرورت ہوگی۔

تشخیص کی سالمیت پر ہتھیاروں کی دوڑ

یہ اعلان اس بات کی بڑھتی ہوئی جانچ پڑتال کے درمیان سامنے آیا ہے کہ AI کمپنیاں خود کو کس طرح گریڈ کرتی ہیں۔ لیبز کو چیری چننے کے سازگار بینچ مارکس کے بڑھتے ہوئے الزامات کا سامنا کرنا پڑتا ہے، اور آزاد لیڈر بورڈ خاص طور پر اس لیے بااثر ہو گئے ہیں کیونکہ وہ دکانداروں کے کنٹرول سے باہر ہیں۔ ڈبل بلائنڈ تشخیص اس آزادی کی تحریک کو بیچنے والے کے اپنے بنیادی ڈھانچے کے اندر توسیع کرتی ہے - ان کمپنیوں کے لئے ایک قابل ذکر تبدیلی جنہوں نے تاریخی طور پر ہر تفصیل کو کنٹرول کرنے پر اصرار کیا ہے کہ ان کے ماڈلز کی جانچ کیسے کی جاتی ہے۔

ابھی کے لیے، پائلٹ ایک ماڈل اور رازدارانہ معیارات کے سیٹ کا احاطہ کرتا ہے۔ لیکن اگر خفیہ طور پر تصدیق کی جاتی ہے تو، آلودگی سے پاک تشخیص تکنیکی طور پر معمول بن جاتا ہے، یہ بدل سکتا ہے کہ ہر فرنٹیئر لیب سے انٹرپرائزز اور ریگولیٹرز کیا توقع کرتے ہیں - اور "ہمارے اسکور پر بھروسہ کریں" کو قابل تصدیق دعووں پر تیزی سے بنی ہوئی مارکیٹ میں ایک مشکل فروخت بنا سکتے ہیں۔

---

AI سے آگے رہیں

تازہ ترین AI خبریں، تجزیہ اور کامیابیاں حاصل کریں — سب ایک جگہ پر۔

مزید AI خبریں پڑھیں →