اینتھروپک نے تحقیق شائع کی ہے جس سے ظاہر ہوتا ہے کہ خودکار AI سسٹم قابل اعتماد طریقے سے ماڈل کی صف بندی کی ناکامیوں کو ٹھیک کر سکتا ہے، جس کا نتیجہ یہ ہو سکتا ہے کہ AI صنعت کے مرکز میں حفاظتی کام کیسے ہوتا ہے۔ مقالہ، جس کا عنوان ہے "خودکار محققین قابل اعتماد طریقے سے صف بندی کی ناکامیوں کو کم کر سکتے ہیں،" جمعہ کو جاری کیا گیا تھا اور ٹیک کرنچ کے ذریعہ اس کی تفصیل تھی۔
یہ تحقیق اینتھروپک کے فیلوز پروگرام سے نکلی ہے اور اس کی قیادت چن یوہ ہان کر رہے تھے۔ اس کا مرکزی دعویٰ حیران کن ہے: جب کمپنی کے خودکار تحقیقی نظاموں کو دس معیارات کی طرف اشارہ کیا گیا جس میں مخصوص غلط رویوں کی پیمائش کی گئی، تو انہوں نے ماڈل کی مجموعی صلاحیتوں کو کم کیے بغیر - ہر ایک پر کارکردگی کو بہتر کیا۔ ایک ایسے فیلڈ کے لیے جس نے حفاظتی کام کو ماڈل پیمانے کے ساتھ ساتھ رکھنے کے لیے جدوجہد کی ہو، یہ ایک قابل ذکر نتیجہ ہے۔ For more context on this story, see our ongoing AI industry coverage.
کہانی اے آئی سیفٹی کوریج کے لیے مصروف عمل کے دوران آئی۔ یہ ایک ایسے موسم گرما کے بعد ہے جس میں ایجنٹ کے غلط برتاؤ نے سرخیوں پر غلبہ حاصل کیا ہے، انعام ہیکنگ ایجنٹوں کے بارے میں OpenAI کی اندرونی رپورٹ سے لے کر Hugging Face کی خلاف ورزی کی آزادانہ تحقیقات کے مطالبات تک۔ اینتھروپک کا نیا کاغذ مخالف سمت سے مسئلہ تک پہنچتا ہے: یہ پوچھنے کے بجائے کہ ایجنٹ کس طرح غلط برتاؤ کرتے ہیں، یہ پوچھتا ہے کہ کیا دوسرے ایجنٹوں پر ان کو ٹھیک کرنے کے لیے بھروسہ کیا جا سکتا ہے۔
پیپر اصل میں کیا رپورٹ کرتا ہے۔
کاغذ میں بیان کردہ نظام کو آٹومیٹڈ الائنمنٹ ریسرچر، یا AAR کہا جاتا ہے۔ تحقیقی عمل کو تبدیل کرنے کے بجائے، AAR اس کی زیادہ تر نقل تیار کرتا ہے: ہر خودکار نظام دستیاب لٹریچر کو تلاش کرتا ہے، ایک طریقہ تجویز کرتا ہے، اور تقریباً 30 منٹ تک اس طریقہ کو استعمال کرتے ہوئے ماڈل کو تربیت دیتا ہے۔ اس کے بعد یہ عمل کئی تکرار میں دہرایا جاتا ہے۔
انتخاب کا طریقہ کار آسان ہے۔ بینچ مارک کو منتقل کرنے والے طریقے محفوظ ہیں۔ ایسے طریقے جو ضائع نہیں ہوتے۔ یہ لوپ سسٹم کو تیزی سے کام کرنے دیتا ہے اور اس پیمانے پر کوئی انسانی ٹیم میچ نہیں کر سکتی، متوازی طور پر تحقیق کی بہت سی سمتوں کو جانچتی ہے اور صرف وہی کام کرتی ہے جو کام کرتی ہے۔
کاغذ کے مطابق، نتائج پورے بورڈ میں یکساں تھے۔ تمام دس بینچ مارکس پر جو مخصوص غلط طریقے سے منسلک رویوں کا احاطہ کرتے ہیں، خودکار نظاموں نے ماڈل کی مجموعی کارکردگی کو نقصان پہنچائے بغیر قابل پیمائش بہتری پیدا کی ہے - معمول کی تجارت جو سیدھ کے کام کو مشکل بناتی ہے۔
"مجموعی طور پر، یہ نتائج ابتدائی شواہد فراہم کرتے ہیں کہ تربیت کے بعد خودکار سیدھ قریب مدت میں عملی ہو سکتی ہے،" مقالے میں کہا گیا ہے۔
انسانوں کو مارنا، 1/37 ویں قیمت پر
مقالے میں سب سے زیادہ حوالہ جات وہ ہیں جہاں یہ AAR کا موازنہ اپنے انسانی ہم منصبوں سے کرتا ہے۔ انتھروپک نے موازنہ پر ہیج نہیں کیا۔
"AAR کا بہترین طریقہ اوسطاً چھ گھنٹے کے اندر تجربہ کار انسانوں کی تجویز کو مات دیتا ہے،" اخبار پڑھتا ہے۔ یہ واضح طور پر کہتا ہے کہ "انسانی رہنمائی شدہ تحقیقی ہدایات مضبوط کارکردگی کا باعث نہیں بنتی ہیں۔"
معاشیات ویسے ہی کند ہیں۔ مصنفین لکھتے ہیں، "ایک AAR کی لاگت تقریباً $4 فی گھنٹہ API کے تخمینہ کے مقابلے میں $150 فی گھنٹہ ہے جو ہم اپنے انسانی محققین کو ادا کرتے ہیں۔" یہ تقریباً 40 گنا لاگت کا فرق ہے، اور یہ بتاتا ہے کہ کیوں لیبز خودکار تحقیق کو ایک تجسس سے زیادہ سنجیدگی سے لے رہی ہیں۔
لاگت کا فرق کیوں اہمیت رکھتا ہے۔
صف بندی کی تحقیق اس طرح مہنگی ہے جس کا اندازہ لگانا آسان ہے۔ ہر امیدوار کی مداخلت کو بینچ مارکس کے خلاف لاگو کرنا، تربیت دینا اور جانچنا پڑتا ہے، اور زیادہ تر امیدوار ناکام ہو جاتے ہیں۔ اگر کوئی سسٹم اس سرچ لوپ کو API کالز کی قیمت کے لیے مسلسل چلا سکتا ہے، تو ایک اور آئیڈیا کو آزمانے کی معمولی قیمت صفر تک پہنچ جاتی ہے۔ رکاوٹ ہیڈ کاؤنٹ سے کمپیوٹ میں بدل جاتی ہے۔
The Limitations Anthropic خود کو جھنڈا لگا ہوا ہے۔
کاغذ اس بارے میں واضح ہے کہ نتیجہ کیا قائم نہیں کرتا ہے۔ خودکار نظام صرف اس حد تک کام کرتا ہے کیونکہ بینچ مارکس دراصل ان سیدھ کے اہداف کی عکاسی کرتے ہیں جو اہم ہیں — اور ایسے بینچ مارکس بنانا اور برقرار رکھنا جو حقیقی دنیا کے غلط برتاؤ کو گرفت میں لیتے ہیں میدان میں ایک کھلا مسئلہ بنی ہوئی ہے۔
ایک انحصار بھی ہے جس سے محروم ہونا آسان ہے: خودکار محققین طریقوں کے موجودہ لٹریچر کو اپنی طرف متوجہ کرتے ہیں۔ اس ادب کو برقرار رکھنا اور پھیلانا بذات خود ایک اہم کام ہے، اور ایک ایسا نظام جو صرف معروف تکنیکوں کو دوبارہ ملاتا ہے وہ اس حد تک پہنچ سکتا ہے جو انسانی تخلیقی صلاحیتوں کو نہیں پہنچائے گی۔
وہ انتباہات اہم ہیں کیونکہ تحقیق کی طویل مدتی اہمیت ان پر منحصر ہے۔ اگر بینچ مارکس غلط چیزوں کی پیمائش کرتے ہیں، تو AAR مضبوط نمبروں تک اپنے راستے کو بہتر بنا سکتا ہے جب کہ بنیادی خطرات لاحق رہتے ہیں۔ انتھروپک کی تشکیل - "ابتدائی ثبوت،" حل نہیں - اس غیر یقینی صورتحال کی عکاسی کرتا ہے۔
بار بار خود کو بہتر بنانے کی طرف ایک قدم
یہ مقالہ بار بار خود کو بہتر بنانے کے بارے میں ایک بڑی بحث کو بھی کھلاتا ہے، یہ خیال کہ AI نظام آخر کار ان تربیتی عملوں کو بہتر بنا سکتے ہیں جو انہیں پیدا کرتے ہیں۔ دوسرے AI ماڈلز کے ساتھ AI ماڈلز کی تربیت فرنٹیئر لیبز کے لیے ایک مقبول مقصد بن گیا ہے، اور Anthropic کا نتیجہ ایک ابتدائی، ٹھوس نظر ہے کہ یہ ایک تنگ ڈومین میں کیسا لگتا ہے۔
منطق سیدھی سی ہے۔ اگر ماڈلز قابل اعتماد طریقے سے اپنی صف بندی کی تربیت کو بہتر بنا سکتے ہیں، تو اسی مشینری کو تربیتی طریقوں کی طرف زیادہ وسیع طور پر اشارہ کیا جا سکتا ہے — قابلیت کا کام بھی شامل ہے۔ TechCrunch اس مضمرات کو نوٹ کرتا ہے کہ انسانی AI محققین بالآخر اس عمل میں کم مرکزیت اختیار کر سکتے ہیں، ایسا امکان ہے کہ کاغذ خود اس سے گریز کرنے کے بجائے مشغول ہو۔
آگے کیا دیکھنا ہے۔
تین سوالات اس بات کا تعین کریں گے کہ آیا یہ نتیجہ عام ہوتا ہے۔ سب سے پہلے، چاہے نقطہ نظر انتھروپک ٹیسٹ کیے گئے دس بینچ مارکس سے باہر ہو، ناکامی کے طریقوں پر جو گڑبڑ اور کم اچھی طرح سے بیان کیے گئے ہیں۔ دوسرا، آیا بینچ مارک کی دیکھ بھال کا مسئلہ خود کار تحقیق کو ایماندار رکھنے کے لیے اتنی تیزی سے حل کیا جا سکتا ہے۔ تیسرا، کیا دوسری لیبز موازنہ کے نتائج شائع کرتی ہیں، جو ایک ہی کاغذ کو صنعت کی سمت میں بدل دے گی۔
ابھی کے لیے، تلاش تنگ لیکن حقیقی ہے: مخصوص صف بندی کے کاموں پر جن کا تجربہ اینتھروپک نے کیا، خود کار محققین نے تجربہ کار انسانوں سے تیز رفتار اور بہت سستی کارکردگی کا مظاہرہ کیا۔ AI انڈسٹری کا حفاظتی پہلو پہلی جگہ ہو سکتا ہے جہاں AI محققین - انسان نہیں - زیادہ تر کام کرتے ہیں۔
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
