OpenAI کا GPT-6 Astra کوڈنگ کے محاذ پر صارف کے اعتماد کے مسائل سے نبردآزما ہو سکتا ہے، لیکن ایک نئے روبوٹکس بینچ مارک پر یہ ایسے نمبرز پوسٹ کر رہا ہے جن میں محققین کوالٹی لیپ کے بارے میں بات کر رہے ہیں۔ StationeryBench پر، ایک ٹیسٹ جو عام ڈیسک اشیاء کے ارد گرد بنایا گیا تھا، Astra نے 100 میں سے 7 کام مکمل طور پر مکمل کیے جبکہ Ai2 کے MolmoAct2، جس کے خلاف اس کا مقابلہ کیا گیا تھا، صفر مکمل کیا۔
بینچ مارک، جسے دی ڈیکوڈر نے بیان کیا ہے، دونوں ماڈلز کو پانچ ڈیسک آبجیکٹ کاموں میں ایک دوسرے کے خلاف کھڑا کرتا ہے - مارکر کو کھولنا، کاغذی کلپس ڈالنا، یا دو روبوٹ بازوؤں کے درمیان ایک حکمران کو منتقل کرنا۔ دونوں ماڈلز نے 200 ٹرائلز میں ایک ہی دوہری بازو YAM روبوٹ کو کنٹرول کیا، ایک کنٹرول ڈیزائن کا مقصد ماڈل کی صلاحیت کو ہارڈ ویئر کے فرق سے الگ کرنا تھا۔ تمام نتائج، ویڈیوز اور کوڈ GitHub پر شائع کر دیے گئے ہیں۔ اس طرح کی مزید تحقیقی کوریج کے لیے، ہمارا AI نیوز ہب دیکھیں۔
ایک 'مرحلہ تبدیلی'، محققین کے مطابق
کارنیل اور گوگل ڈیپ مائنڈ کے ایک AI محقق، یوو آرٹزی نے آسٹرا کی کارکردگی کو "مقامی استدلال میں ایک مرحلہ وار تبدیلی" قرار دیا - اس قسم کی زبان کے بینچ مارک کے نتائج شاذ و نادر ہی حاصل ہوتے ہیں۔ REMAP نامی ایک اب بھی غیر مطبوعہ بینچ مارک پر، Astra انسانی سطح کے قریب درستگی تک پہنچ جاتا ہے، حالانکہ آرٹزی نے نوٹ کیا کہ "یہاں تک کہ Astra بھی وہ نہیں پاتا جو انسان دوسرے منظرناموں میں کرتے ہیں۔"
Astra کا میڈین پروگریس اسکور 100 میں سے 46 تک پہنچ گیا، اس کے مقابلے میں MolmoAct2 کے لیے 12 - ایک فرق جو سرخی کی تکمیل کے نمبروں سے زیادہ اہمیت رکھتا ہے۔ روبوٹکس کے کاموں کو جزوی ترقی کے ساتھ ساتھ مکمل کامیابی پر درجہ بندی کیا جاتا ہے، اور حریف کے درمیانی اسکور کو تین گنا کرنا اس بات کی نشاندہی کرتا ہے کہ مٹھی بھر آزمائشوں میں قسمت سے کامیاب ہونے کے بجائے ماڈل ہیرا پھیری کے سلسلے کے ذریعے مسلسل آگے بڑھ رہا ہے۔
کیوں مقامی استدلال اچانک اہمیت رکھتا ہے۔
نتیجہ اشارہ کرتا ہے کہ Astra کو کس طرح تربیت دی گئی تھی۔ آرٹزی کو شبہ ہے کہ اوپن اے آئی نے ماڈل کو بڑی مقدار میں 3D ڈیٹا پر تربیت دی، جیسے کہ بلینڈر کے مناظر، جو 3D کاموں پر ماڈل کی خاص طاقت کے مطابق ہوں گے۔ اگر یہ پڑھنا درست ہے، تو یہ مصنوعی 3D ماحول کی تجویز کرتا ہے - حقیقی دنیا کے ڈیٹا اکٹھا کرنے کے مقابلے میں سستا اور محفوظ - جسمانی دنیا کی قابلیت کے لیے ایک قابل عمل راستہ بن رہا ہے، جو روبوٹکس میں طویل ترین رکاوٹوں میں سے ایک ہے۔
بینچ مارک کا ڈیزائن اس بارے میں بھی کچھ کہتا ہے کہ روبوٹکس کی تشخیص کہاں جا رہی ہے۔ اسٹیشنری بینچ کے کام جان بوجھ کر دنیاوی ہیں - مارکر کو کھولنا، کاغذی کلپس ڈالنا، حکمران کے حوالے کرنا - کیونکہ روزمرہ کی ہیرا پھیری، نہ کہ سنیما کے کارنامے، وہ چیز ہے جو لیب ڈیمو کو مفید مشینوں سے الگ کرتی ہے۔ 200 ٹرائلز میں ایک ہی ڈوئل آرم YAM ہارڈویئر پر دونوں ماڈلز کی درجہ بندی کرنا، اور ہر ویڈیو کو شائع کرنا، فرنٹیئر لیب کے فلیگ شپ پر مشتمل صلاحیت کے دعوے کے لیے ایک غیر معمولی طور پر شفاف سیٹ اپ ہے۔
MolmoAct2، ایلن انسٹی ٹیوٹ برائے AI (Ai2) کا موازنہ ماڈل، کسی بھی کام کو مکمل نہ کرنا اس کی اپنی نوعیت کا ڈیٹم ہے: یہ تجویز کرتا ہے کہ عام مقصد کے فرنٹیئر ماڈلز اور مقصد سے بنائے گئے روبوٹکس ماڈلز کے درمیان فرق اب صرف بند نہیں ہو رہا ہے بلکہ الٹا ہو رہا ہے، کم از کم استدلال پر بھاری ہیرا پھیری پر۔
یہ OpenAI کے بیان کردہ عزائم کے ساتھ بھی فٹ بیٹھتا ہے: دی ڈیکوڈر کے حوالے سے رپورٹنگ کے مطابق، کمپنی کے پاس اپنے صارفین کے روبوٹ بنانے کے طویل مدتی منصوبے ہیں۔ ایک فرنٹیئر لینگویج ماڈل جو اشیاء، ہاتھوں اور رفتار کے بارے میں استدلال کرسکتا ہے اس پچ کا نصف سافٹ ویئر ہے۔ ہارڈ ویئر کا نصف حل نہیں ہوا، لیکن سٹیشنری بینچ جیسے معیارات یہ ہیں کہ اس کہانی کی پیمائش کیسے کی جاتی ہے۔
سیاق و سباق: ایک پیچیدہ ہفتہ والا ماڈل
نتیجہ OpenAI کے لیے ایک عجیب خبر کے چکر میں آتا ہے۔ اس بینچ مارک کے مرکز میں موجود اسی ماڈل نے صارف کی شکایات کا سامنا کرتے ہوئے ہفتہ گزارا ہے کہ اس نے لانچ کے بعد سے ہی بے ہودہ ہو گیا ہے - شکایات OpenAI نے کوڈیکس کے استعمال کی حدوں کو دوبارہ ترتیب دینے سے پہلے، غلط فائر کرنے کی مہارت سے لے کر غلط برتاؤ کرنے والے سیاق و سباق کے تجربے تک تین نامزد نقائص کا پتہ لگایا۔ ایک ماڈل جو لیب میں مرحلہ وار تبدیلی کے نتائج پوسٹ کرنے کے دوران پیداوار میں ٹھوکر کھاتا ہے، موجودہ AI صنعت کا ایک اہم پہلو ہے: مختلف گھڑیوں پر قابلیت اور قابل اعتماد ترقی کر رہے ہیں۔
یہ ایک حفاظتی بحث کے درمیان بھی اترتا ہے جس میں OpenAI کی اپنی قیادت شامل ہوئی تھی۔ کمپنی کے چیف سائنسدان نے خبردار کیا ہے کہ کسی بھی لیبارٹری نے خود مختار نظاموں کے کنٹرول کو حل نہیں کیا ہے، اور اینتھروپک کے سی ای او نے صنعت سے سرحدی ترقی کو مکمل طور پر سست کرنے کا مطالبہ کیا ہے۔ بینچ مارکس جسمانی دنیا میں ہیرا پھیری کرنے والے ماڈلز کو دکھاتے ہیں - یہاں تک کہ اگر دنیا اسٹیشنری سے ڈھکی ہوئی ایک میز ہے - بالکل وہی نتیجہ ہے جب دونوں ایگزیکٹوز یہ کہتے ہیں کہ ترقی کی رفتار نگرانی سے آگے ہے۔
نیچے کی لکیر
100 میں سے سات مکمل طور پر مکمل ہونے والے کام کل آپ کی میز پر روبوٹ نہیں رکھیں گے۔ لیکن حریف کے صفر سے سات تک جانا، درمیانی پیش رفت کے اسکور کے ساتھ تین گنا زیادہ، اس طرح کا وقفہ ہے جس نے دو سال قبل زبان کی تفہیم میں قابلیت کے چارٹ کو دوبارہ بنایا تھا۔ کھلا سوال یہ ہے کہ کیا وہی ماڈل اس قابلیت کو قابل اعتماد طریقے سے فراہم کر سکتا ہے، بینچ مارک سے باہر، اس قیمت پر جو ڈویلپر ادا کرنے کو تیار ہیں۔
AI سے آگے رہیں
بینچ مارکس، کامیابیاں اور مشینوں کی طرف دوڑ جو عمل کرتی ہیں — ہر روز اس کی پیروی ہوتی ہے۔
مزید AI خبریں پڑھیں →
