ماذا يحدث عندما لا يرى نموذج اللغة الكبير أبدًا أي مواد تتجاوز الصف الخامس؟ أجاب فريق من سبعة باحثين على هذا السؤال بشكل حرفي: فقد قاموا ببناء LittleLearner، وهو برنامج ماجستير في القانون يشتمل على 5 مليارات معلمة تم تدريبه من الصفر على مجموعة تمت تصفيتها إلى مناهج المدارس الابتدائية في الولايات المتحدة، ثم اختبروا ما إذا كان أي شيء - المزيد من المعلمات، والمزيد من المعلمات بعد التدريب، والمطالبات الأكثر ذكاءً - يمكن أن يدفع النموذج إلى ما هو أبعد من ما تعلمته من بيانات ما قبل التدريب. الجواب، كما يقولون، هو لا.
تم تقديم الورقة البحثية بعنوان "المتعلم الصغير: نماذج اللغة في ظل التعرض للمعرفة الخاضعة للتحكم التربوي" إلى arXiv في 13 أغسطس من قبل فانفي لي، وجانا زيلر، ومانويل برادا كورال، وثاداوس فيديمر، وبراسانا مايلفاهانان، وريان كوتريل، وويلاند بريندل. بحلول 16 أغسطس، أصبح هذا الموضوع موضوع مناقشة سريعة التصاعد في Hacker News مع أكثر من 200 صوت مؤيد، حيث ناقش الباحثون والممارسون ما يعنيه بالنسبة للافتراض المفضل في الصناعة - وهو أن مرحلة ما بعد التدريب يمكن أن تستحضر القدرات من لا شيء. هذا هو بالضبط نوع التجربة الدقيقة والمتناقضة التي نشاهدها في [تغطية أبحاث الذكاء الاصطناعي] (https://aibuzzwire.news).
صندوق رمل ذو حدود معرفية
يتم تدريب حاملي شهادات الماجستير الحديثة على كل شيء بشكل أساسي، مما يجعل من المستحيل تقريبًا معرفة ما إذا كانت المهارة المثبتة قد تم تعلمها حقًا أثناء التدريب أو تم استنباطها فقط من خلال الموجه الصحيح. كان حل الفريق هو تقييد توزيع التدريب نفسه. بدءًا من FineWeb-Edu، قاموا بتقطير مجموعة مكونة من 88 مليار رمز - أطلق عليها اسم LittleCurriculum - من خلال عملية تصفية من خمس مراحل تتماشى مع المعايير الأساسية المشتركة لرياض الأطفال حتى الصف الخامس. وتم استبعاد المفاهيم والحقائق والمفردات التي تم تدريسها فوق الصف الخامس بشكل صريح.
في هذه المجموعة، قاموا بتدريب النماذج على ثلاثة مستويات (معلمات 0.6B، و1.3B، و5B) من الصفر، وتم شحن كل منها جنبًا إلى جنب مع نموذج تحكم مطابق تم تدريبه على البيانات غير المصفاة بنفس البنية وميزانية الرمز المميز. والنتيجة هي نموذج يتمتع بالطلاقة الكافية للتقييم المفتوح - يمكنك الدردشة مع إصدار مستضاف 5B في المتصفح - ولكنه يتمتع بحد معرفي حاد وقابل للتفسير: إذا لم يكن موجودًا في المنهج الابتدائي، فلن يراه النموذج أبدًا.
الاستنباط، وليس الاكتساب
إن النتيجة الأساسية صريحة: إن مجموعة الأدوات القياسية لجعل النماذج أكثر ذكاءً ساهمت في تضخيم ما يعرفه LittleLearner بالفعل، ولكن لم يؤدي أي منها إلى تحسين الأداء خارج النطاق بشكل ملموس.
القياس أدى إلى تحسين الدقة ضمن المعرفة التي يتم التحكم فيها بالنموذج وتم توسيعها بشكل متواضع على طول مسار التعلم نفسه، ولكنه لم يفعل الكثير لحل المشكلات التي تتطلب قدرات تتجاوز مواد الصف الخامس. ما بعد التدريب باستخدام GRPO - أسلوب التعلم المعزز وراء الكثير من طفرة نماذج الاستدلال - عزز بشكل كبير قدرات مرحلة الروضة إلى الصف الخامس داخل النطاق، لكنه فشل في استعادة قدرات ما بعد مرحلة الروضة إلى الصف الخامس حتى عند التدريب باستخدام بيانات خارج النطاق. والتعلم في السياق، وهو السحر اليومي المتمثل في حشو المعرفة في موجه، ساعد النموذج على استخدام ما لديه ولكنه لم يفتح آفاقًا جديدة خارج الحدود.باختصار، يحدد مرشح التدريب المسبق سقف القدرة الفعالة. قام المؤلفون بتأطير النتيجة كدليل على التمييز الذي يطمسه المجال باستمرار: ما بعد التدريب والتحفيز؛ يكتسب التدريب المسبق.
الضوابط النظيفة ونقاط التفتيش العامة
المنهجية هي ما يعطي المطالبات قوتها. نظرًا لأن كل نموذج من نماذج LittleLearner مزود بعنصر تحكم مطابق غير مفلتر - نفس البنية ونفس عدد الرموز المميزة ونفس وصفة التدريب - يمكن للفريق أن ينسب أي اختلاف سلوكي إلى مرشح المنهج الدراسي وحده. يتيح متخصصو الرياضيات، الذين تم تدريبهم بعد ذلك على معيار MathCAMPS، للباحثين تقييم الأداء حسب الصف الدراسي، وتتبع المكان الذي تنتهي فيه القدرة داخل النطاق بالضبط. وعلى عكس معظم الصحف الحدودية، كل شيء متاح للعامة: المجموعة، والقاعدة، ونقاط التفتيش التي تم تدريبها بعد التدريب على جميع المقاييس الثلاثة على HuggingFace، وعرض الدردشة المستضاف، حتى تتمكن الفرق المستقلة من استكشاف الحدود بأنفسهم.
هذا الانفتاح يغذي النقاش حول Hacker News. كان المعلقون يختبرون سلوك النموذج المستضاف عند حدوده المعرفية - سواء امتنع عن التصويت، أو خمن، أو هلوسة عندما تم دفعه إلى ما بعد الصف الخامس - ويتجادلون حول الآثار المترتبة على ذلك: يرى البعض النتائج باعتبارها أخبارًا سيئة لضجيج نماذج الاستدلال، ويشير آخرون إلى أن بيانات التدريب المسبق على نطاق الويب تحتوي على أكثر بكثير من مفاهيم المدارس الابتدائية، لذا فإن أسقف النماذج الحدودية أعلى في المقابل. إن مؤلفي البحث أنفسهم حذرون بشأن هذه النقطة: فزعمهم يدور حول ما لا تستطيع التدخلات القياسية فعله لنموذج ذي تعليم معروف ومضبوط، وليس تنبؤًا مباشرًا بالمختبرات الحدودية.
لماذا يهم خارج الفصل الدراسي
تتحدث التجربة مباشرة إلى المناقشات الحية في الذكاء الاصطناعي. تنفق مختبرات الذكاء الاصطناعي المليارات على أنظمة ما بعد التدريب المبنية على فكرة أن التعلم المعزز يمكن أن يدفع النموذج الأساسي إلى ما هو أبعد من قدراته الأولية. يشير LittleLearner إلى أن هذه المكاسب قد تعيش إلى حد كبير ضمن ما تدعمه بيانات ما قبل التدريب، وتقتصر عليه. وهذه حجة لصالح الاهتمام بشكل أكبر بتنظيم البيانات، والتعامل مع الادعاءات المتعلقة بقدرات ما بعد التدريب "الناشئة" بالتشكك.
يعد الإصدار أيضًا أداة بحث حقيقية، وليس مجرد ورقة بحثية. أصدر الفريق LittleCurriculum وجميع نقاط التفتيش النموذجية بشكل مفتوح، وترسم صفحة المشروع التجارب التي يتيحها صندوق الحماية: ما إذا كان بإمكان RL حقًا إنشاء القدرة بدلاً من مكافأتها، وكيف يتعلم النموذج بكفاءة مفهومًا جديدًا حقًا مثل الأرقام السالبة عند تقديمه، وما إذا كانت الآلات والأطفال بحاجة إلى تعرض مماثل - أو ارتكاب أخطاء مماثلة - عند تعلم الكسور.
بالنسبة للمجال الذي نادرًا ما يحصل على ضوابط نظيفة، فإن النموذج ذو التعليم المحدد بشكل واضح يعد هدية نادرة. وبالنسبة لأي شخص آخر، فهو بمثابة تذكير يستحق التثبيت فوق المكتب: لا يمكن لأي نموذج - أو أي شخص - أن يخرج من ما لم يتعلمه أبدًا.
البقاء في صدارة الذكاء الاصطناعي
تغطية مراجعة النظراء للأبحاث التي تعيد تشكيل الذكاء الاصطناعي، والتي يتم تقديمها يوميًا. قم بوضع إشارة مرجعية على مركزنا للاطلاع على أحدث تطورات الذكاء الاصطناعي.
اقرأ المزيد من أخبار الذكاء الاصطناعي →
