يتحدى معيار جديد كيفية قياس صناعة الذكاء الاصطناعي للقدرات العلمية، وكانت نتائجه الأولى متواضعة للمختبرات الحدودية. يقوم برنامج Terminal-Bench-Science 0.1، الذي أطلقه هذا الأسبوع باحثون في جامعة ستانفورد والفريق الذي يقف وراء معيار الترميز Terminal-Bench الشهير، بتقييم عوامل الذكاء الاصطناعي على سير عمل البحث العلمي الحقيقي الذي يساهم به العلماء العاملون - وأكمل النموذج الأقوى الذي تم اختباره، وهو Claude Opus 5 الذي يعمل عبر Claude Code، 30٪ فقط من المهام.

وتصف صفحة الإعلان عن المعيار المبدأ التوجيهي الخاص به بصراحة: ينبغي للعلماء، وليس مطوري النماذج أو بائعي البيانات، أن يضعوا معايير القدرات العلمية في مجال الذكاء الاصطناعي. تم إنشاء المشروع بالتعاون مع خبراء المجال من المؤسسات البحثية حول العالم، ويتضمن إصداره الأول 70 مهمة تشمل علوم الحياة والفيزياء وعلوم الأرض والرياضيات والهندسة.

كيف يختلف عن معايير الكتب المدرسية

تختبر معظم التقييمات العلمية للذكاء الاصطناعي المعرفة: أسئلة الاختيار من متعدد، ومسائل الكتب المدرسية، والتمارين الموحدة. بدلاً من ذلك، يقوم برنامج Terminal-Bench-Science بقياس ما إذا كان الوكلاء قادرين على تنفيذ مهام سير العمل التي تتطلب جهدًا فنيًا وتستغرق وقتًا طويلاً والتي تملأ أيام الباحثين الفعلية - وهو نوع العمل الذي لا يظهر في أي اختبار. يتم تنفيذ المهام في بيئات واقعية، ويعتمد التصنيف على عناصر ملموسة: التحليلات والمحاكاة والبراهين والتعليمات البرمجية ومنتجات البيانات، ويتم فحصها باستخدام اختبارات خاصة بالمهمة قابلة للتكرار بدلاً من نماذج الحكم أو تسجيل الاختيار من متعدد.

ويعكس هذا التصميم نظرية حول ما يجب أن يفعله مساعدو الذكاء الاصطناعي في نهاية المطاف من أجل العلوم. بدلا من استبدال الحكم العلمي، كما يقول مؤلفو المعيار، يجب على الوكلاء تولي طبقة التنفيذ - إجراء التجارب في السيليكو، ومعالجة البيانات، والتحقق من الأدلة - لتحرير العلماء لأجزاء البحث حيث يكون الحكم البشري أكثر أهمية: تحديد الأسئلة، وتشكيل الفرضيات، وتفسير النتائج، وتوصيل النتائج.

تم أيضًا بناء المشروع بشكل صريح كهدف متحرك. حيث يتم إصدار العديد من المعايير مرة واحدة ويتم التخلي عنها - يطلق الإعلان على ذلك مشكلة "الأوراق المطلوب نشرها" - تم تصميم Terminal-Bench-Science كمعيار قياسي مستمر يتطور جنبًا إلى جنب مع الحدود، مع إصدارات منتظمة تهدف إلى الحفاظ على التقييم قبل تقدم النموذج ومنع تضخم النتائج الناتج عن التلوث.

لوحة المتصدرين الأولى: طريق طويل من الموثوقية

تُظهر لوحة المتصدرين v0.1، والتي لفتت انتباهًا كبيرًا عندما وصلت إلى Hacker News هذا الأسبوع، انخفاضًا حادًا من الأعلى:

  • كلود أوبوس 5 (كلود كود): 30.0%
  • GPT-5.6 سول (الدستور): 22.4%
  • حكاية كلود 5 (كلود كود): 21.4%
  • كلود أوبوس 4.8 (كلود كود): 10.5%
  • جي بي تي-5.6 تيرا (الدستور): 8.6%
  • جي إل إم 5.3 (كود كلود): 8.1%
  • كيمي كيه 3 (كلود كود): 7.1%
  • جروك 4.6 (بناء جروك): 7.1%
  • جي بي تي-5.6 لونا (الدستور الغذائي): 3.3%

تشير النتائج إلى أن سير العمل العلمي لا يزال أصعب بكثير على الوكلاء من هندسة البرمجيات، حيث شهدت معايير Terminal-Bench الأصلية ومعايير الترميز المنافسة ارتفاعًا سريعًا في الدرجات. إن معدل الدقة الذي يبلغ 30% لأفضل نظام متاح يعني أنه في سبع من عشر مهام بحثية حقيقية، حتى وكيل من الدرجة الأولى مقترنًا بأداة قوية يفشل في إنتاج عمل صحيح يمكن التحقق منه.

إن الانتشار داخل العائلات النموذجية مفيد أيضًا. تُظهر الفجوة بين Claude Opus 5 وClaude Opus 4.8 - ما يقرب من عشرين نقطة - وبين متغيرات GPT-5.6 Sol وTerra وLuna مدى اعتماد جودة النتائج على التفاعل بين النموذج وتسخير الوكيل، وليس ذكاء النموذج الخام وحده. يستخدم كل إدخال عالي الدرجات أداة تشفير فعالة (Claude Code، Codex، Grok Build)، مما يعزز الإجماع الناشئ على أن السقالات حاسمة مثل الأوزان الأساسية.

لماذا بنى العلماء معيارهم الخاص؟

يحمل إطار هذا المعيار حجة مؤسسية دقيقة. وجاء في الإعلان أن "المخاطر التي يواجهها العلم مرتفعة للغاية، ويجب أن تعكس معاييره أولويات المجتمع العلمي وليس المصالح الخارجية". يمنح المشروع الباحثين العاملين آلية مباشرة لتشفير المهام التي يحتاجون إليها فعليًا بشكل آلي، وإثبات ادعاءات البائعين بشأن "تسريع الاكتشافات العلمية" مقابل معيار يمكن التحقق منه.

وهذا مهم لأن الفجوة بين التسويق والواقع لها عواقب حقيقية. إذا ادعت المختبرات الحدودية أن وكلائها يمكنهم تسريع الأبحاث، في حين تُظهر التقييمات المستقلة المصممة من قبل الخبراء معدلات دقة من رقم واحد إلى 30%، فإن قرارات التمويل وخطط التوظيف وسياسات المختبر المبنية على تلك الادعاءات ترث الخطأ. وتشكل المعايير المستمرة المملوكة للمجتمع أحد الإجراءات التصحيحية: فهي تحول المطالبات الغامضة إلى أرقام قابلة للتكرار.

إشارة للمؤسسات البحثية

بالنسبة للجامعات والمختبرات الوطنية وفرق البحث والتطوير التي تحدد متى يتم نشر الوكلاء، فإن المعيار يقدم شيئًا لا يمكن للعروض التوضيحية للبائعين تقديمه: قياس يتم الحفاظ عليه من قبل المجتمع حول مكان وجود خط الموثوقية فعليًا. إن معدل الحل في سن المراهقة أو العشرينات يعني أنه من الأفضل التعامل مع هذه الأنظمة اليوم كمساعدين يتطلبون المراجعة، وليس كمنفذين مستقلين لخطوط الأنابيب التجريبية. كما توفر فئات المهام - التي تشمل علوم الحياة، والفيزياء، والأرض، والرياضيات، والهندسية - لمتخصصي المجال نموذجًا للمساهمة في سير العمل من المجالات التي تتجاهلها المعايير العامة بشكل روتيني.

ويعزز سياق الصناعة الأوسع مدى أهمية التوقيت. لقد أصبح العلم واحدًا من أكثر حالات الاستخدام التي يتم الترويج لها بشكل كبير في مجال الذكاء الاصطناعي الحدودي، حيث تروج المختبرات للمساهمات في اكتشاف المواد، وعلوم البروتينات، والرياضيات. ومن الصعب تدقيق هذه الادعاءات: فالتحقق من صحة الناتج العلمي بطيء، والحماس يتحرك بسرعة أكبر من تكراره. إن المعيار الذي يصنف المنتجات التي يمكن التحقق منها على أساس سير عمل حقيقي يمنح المؤسسات البحثية وسيلة لفصل القدرات المثبتة عن مسرح العرض التوضيحي - وتتبع، إصدارًا بعد إصدار، ما إذا كان التقدم الفاعل في العلوم يتفاقم بالسرعة التي يحدث بها في هندسة البرمجيات، حيث صنعت Terminal-Bench اسمها لأول مرة.

بالنسبة لصناعة الذكاء الاصطناعي، فإن رسالة الإصدار 0.1 ذات حدين. من الواضح أن الحدود تتقدم، حيث تفوق Opus 5 بنسبة 30% على Opus 4.8 الأقدم بنسبة 10.5%، لكن السقف يظل بعيدًا عن الموثوقية التي تتطلبها المختبرات الحقيقية. ويقول مصممو المؤشر إن الإصدارات المنتظمة ستتتبع بالضبط مدى سرعة سد هذه الفجوة. أصبح لدى العلماء الذين يتابعون اتجاهات الذكاء الاصطناعي الناشئة في أدوات البحث الفاعلية مقياسًا بنوه بأنفسهم.

---

ابقَ في طليعة الذكاء الاصطناعي

احصل على آخر الأخبار والتحليلات والإنجازات في مجال الذكاء الاصطناعي — كل ذلك في مكان واحد.

اقرأ المزيد من أخبار الذكاء الاصطناعي →