ربما يعاني GPT-6 Astra من شركة OpenAI من مشكلات تتعلق بثقة المستخدم على جبهة البرمجة، لكنه ينشر أرقامًا تجعل الباحثين يتحدثون عن قفزة نوعية فيما يتعلق بمعيار الروبوتات الجديد. في اختبار StationeryBench، وهو اختبار تم تصميمه حول كائنات مكتبية عادية، أكملت Astra 7 مهام من أصل 100 مهمة بالكامل، بينما أكمل MolmoAct2 من Ai2، النموذج الذي تم اختباره عليه، الصفر.

المعيار، الذي وصفه موقع The Decoder، يضع النموذجين في مواجهة بعضهما البعض عبر خمس مهام للأشياء المكتبية - فتح قلم التحديد، أو سكب مشابك الورق، أو تمرير مسطرة بين ذراعي الروبوت. كان كلا النموذجين يتحكمان في نفس روبوتات YAM ثنائية الذراع عبر 200 تجربة، وهو تصميم تحكم يهدف إلى عزل قدرة النموذج عن اختلافات الأجهزة. تم نشر جميع النتائج ومقاطع الفيديو والأكواد على GitHub. لمزيد من التغطية البحثية مثل هذه، قم بزيارة مركز أخبار الذكاء الاصطناعي.

"خطوة تغيير"، بحسب الباحثين

وصف يوآف أرتزي، الباحث في مجال الذكاء الاصطناعي في جامعة كورنيل وجوجل ديب مايند، أداء أسترا بأنه "تغيير كبير في التفكير المكاني" - وهو نوع من النتائج المعيارية اللغوية التي نادراً ما تحققها. وفي معيار لم يُنشر بعد يسمى REMAP، تصل دقة Astra إلى مستوى قريب من المستوى البشري، على الرغم من أن Artzi أشار إلى أنه "حتى Astra لا تصل إلى ما يفعله البشر في سيناريوهات أخرى."

بلغ متوسط ​​تقدم Astra 46 من أصل 100، مقارنة بـ 12 لـ MolmoAct2 - وهي فجوة أكثر أهمية مما تشير إليه أرقام الإنجاز الرئيسية. يتم تصنيف مهام الروبوتات على أساس التقدم الجزئي بالإضافة إلى النجاح الكامل، وتشير مضاعفة متوسط ​​نقاط المنافس ثلاث مرات إلى أن النموذج يتقدم باستمرار من خلال تسلسلات التلاعب بدلاً من النجاح عن طريق الحظ في عدد قليل من التجارب.

لماذا أصبح التفكير المكاني مهمًا فجأة؟

تشير النتيجة إلى كيفية تدريب أسترا. يشتبه أرتزي في أن OpenAI قامت بتدريب النموذج على كميات كبيرة من البيانات ثلاثية الأبعاد، مثل مشاهد Blender، والتي تتوافق مع قوة النموذج الخاصة في المهام ثلاثية الأبعاد. إذا كانت هذه القراءة صحيحة، فإنها تشير إلى أن البيئات الاصطناعية ثلاثية الأبعاد - أرخص وأكثر أمانًا من جمع البيانات في العالم الحقيقي - أصبحت طريقًا قابلاً للتطبيق نحو كفاءة العالم المادي، وهي واحدة من أطول الاختناقات في مجال الروبوتات.

يوضح تصميم المعيار أيضًا شيئًا ما حول الاتجاه الذي يتجه إليه تقييم الروبوتات. كانت مهام StationeryBench عادية بشكل متعمد، مثل فتح قلم التحديد، أو سكب مشابك الورق، أو تسليم مسطرة، لأن التلاعب اليومي، وليس الأعمال السينمائية، هو ما يفصل بين العروض التوضيحية المعملية والآلات المفيدة. يعد تصنيف كلا النموذجين على نفس جهاز YAM ثنائي الذراع عبر 200 تجربة، ونشر كل مقطع فيديو، إعدادًا شفافًا بشكل غير عادي لمطالبة القدرة التي تتضمن الرائد في المختبر الحدودي.

MolmoAct2، نموذج المقارنة من معهد ألين للذكاء الاصطناعي (Ai2)، الذي لا يكمل أيًا من المهام هو نوع خاص به من المسند: فهو يشير إلى أن الفجوة بين النماذج الحدودية للأغراض العامة ونماذج الروبوتات المبنية لهذا الغرض لم تعد تغلق فحسب، بل تنقلب، على الأقل في التلاعب بالاستدلال الشديد.

كما يتناسب أيضًا مع طموحات OpenAI المعلنة: لدى الشركة خطط طويلة المدى لبناء الروبوتات الاستهلاكية الخاصة بها، وفقًا للتقارير التي استشهد بها The Decoder. نموذج اللغة الحدودي الذي يمكنه التفكير في الأشياء والأيدي والمسارات هو نصف البرنامج من تلك الملعب. لا يزال الجزء الخاص بالأجهزة دون حل، لكن المعايير مثل StationeryBench هي كيفية قياس هذه القصة.

السياق: نموذج بأسبوع معقد

وتهبط النتيجة في دورة أخبار غريبة لـ OpenAI. أمضى النموذج نفسه الموجود في مركز هذا المعيار الأسبوع في مواجهة شكاوى المستخدمين بأنه أصبح أكثر غباءً منذ إطلاقه - شكاوى تتبعها OpenAI إلى ثلاثة عيوب محددة، بدءًا من المهارات الخاطئة إلى تجربة السياق التي تتصرف بشكل سيئ، قبل إعادة تعيين حدود استخدام Codex. النموذج الذي يتعثر في الإنتاج أثناء نشر نتائج التغيير التدريجي في المختبر هو ملخص لصناعة الذكاء الاصطناعي الحالية: تتقدم القدرة والموثوقية على ساعات مختلفة.

كما أنه يقع وسط نقاش حول السلامة انضمت إليه قيادة OpenAI. وقد حذر كبير العلماء في الشركة من أنه لم يتمكن أي مختبر من حل مشكلة التحكم في الأنظمة المستقلة بشكل متزايد، ودعا الرئيس التنفيذي لشركة Anthropic الصناعة إلى إبطاء التطوير الحدودي تمامًا. إن المعايير التي تظهر النماذج التي تتلاعب بالعالم المادي - حتى لو كان العالم مجرد مكتب مغطى بالقرطاسية - هي بالضبط نوع النتيجة التي يستشهد بها كلا المديرين التنفيذيين عندما يجادلان بأن وتيرة التقدم تتجاوز الرقابة.

الخلاصة

سبع مهام مكتملة بالكامل من أصل 100 لن تضع روبوتًا على مكتبك غدًا. لكن الانتقال من صفر إلى سبعة، مع متوسط ​​تقدم أعلى بثلاثة أضعاف، هو نوع من الانقطاع الذي أعاد رسم مخططات القدرة في فهم اللغة قبل عامين. والسؤال المطروح هو ما إذا كان النموذج نفسه قادراً على تقديم تلك الكفاءة بشكل يمكن الاعتماد عليه، خارج المعيار المعياري، وبالسعر الذي يرغب المطورون في دفعه.

ابق في صدارة الذكاء الاصطناعي

المعايير والإنجازات والسباق نحو الآلات التي تعمل - تتبع كل يوم.

اقرأ المزيد من أخبار الذكاء الاصطناعي →