يلفت مشروع جديد مفتوح المصدر الانتباه إلى معالجة إحدى القيود العنيدة للتعلم الآلي: بناء نموذج لغة لا يتوقف أبدًا عن التعلم. يُطلق على المشروع اسم mini-AGI، ويصف نفسه بأنه نموذج لغة للتعلم المستمر على مستوى البايت يجمع بنيته الخاصة، ويتدرب من الصفر على وحدة معالجة رسومات واحدة مزودة بذاكرة VRAM سعة 8 جيجابايت، ويستمر في التعلم من كل ما يقرأه.

ظهر المشروع على Hacker News خلال عطلة نهاية الأسبوع، حيث ارتفع إلى أكثر من مائة نقطة، وتم إصدار مستودعه على GitHub بموجب ترخيص MIT. وفقًا لـ README الخاص بالمشروع، فإن الهدف هو إثبات أن التعلم المستمر من تدفق واحد من البيانات - دون النسيان الكارثي - ممكن حتى على أجهزة متواضعة من فئة المستهلك. لمزيد من السياق حول هذه القصة، راجع تغطية صناعة الذكاء الاصطناعي.

الأوزان الموجودة على القرص، وليس في VRAM

الحيلة الأساسية وراء mini-AGI هي نظام غير تقليدي لإدارة الذاكرة. بدلاً من الاحتفاظ بجميع معلمات النموذج في ذاكرة وحدة معالجة الرسومات، يقوم النظام بتخزين أوزانها كملفات عادية على القرص وصفحتها على بطاقة الرسومات حسب الحاجة.

إن اختيار التصميم هذا له نتيجة مهمة: عدد معلمات النموذج محدد بمساحة القرص الحرة بدلاً من VRAM. ينص ملف README على أن النموذج يمكنه تنمية قدرات جديدة أثناء التدريب عندما ينفد، ويقلل القدرة التي لا يتطلبها أي شيء. يتم التدريب والاستدلال من خلال نفس مسار التعليمات البرمجية تمامًا، لذلك لا يوجد نظام ضبط منفصل ولا يوجد نموذج أساسي مجمد - فالقراءة والتدريب، على حد تعبير المشروع، هما نفس الحدث.

يستهدف النظام جهاز كمبيوتر شخصي أو كمبيوتر محمول مزودًا بوحدة معالجة الرسومات VRAM بسعة 8 جيجابايت على الأقل، وهي الأجهزة التي يمتلكها العديد من المطورين بالفعل.

لماذا يعد التعلم المستمر أمرًا صعبًا؟

تتبع معظم نماذج اللغات المتوفرة اليوم دورة الحياة نفسها: يقوم المختبر بتدريب النموذج وتجميده وشحنه. يمكن للمستخدمين ضبط الحواف بشكل دقيق، لكن الأوزان الأساسية لا تتغير أبدًا مرة أخرى. يجادل قسم التحفيز في المشروع بأن هذا يجعل كل نموذج مملوك شخصيًا "نموذجًا لشخص آخر مع طبقة رقيقة منك في الأعلى" - وهو نموذج يتوقف عن التعلم في اليوم الذي يتم فيه شحنه.

والعائق معروف في أبحاث التعلم الآلي: النسيان الكارثي، وميل الشبكات العصبية إلى استبدال المعرفة التي تم تعلمها سابقًا عند تدريبها على بيانات جديدة. إن النموذج الذي يتعلم باستمرار من التدفق اليومي للمعلومات يتدهور عادةً في كل ما يعرفه من قبل.

يوضح README القيود التي شكلت التصميم. يجب أن يتناسب النموذج مع 8 جيجابايت من VRAM - وليس مع التكميم، نظرًا لأن التدريب يتطلب التدرجات وحالة المُحسّن التي تضيف ما يقرب من ثلاثة أضعاف ذاكرة الأوزان نفسها. ويجب ألا ينسى التمسك بما تعلمه بالفعل أثناء استيعاب مواد جديدة من سيل لا ينتهي من النص.

نموذج على مستوى البايت يبني نفسه

يعمل mini-AGI على مستوى البايت بدلاً من الرموز المميزة، حيث يقرأ دفقًا من الأحرف قطعة واحدة في كل مرة ويتخذ خطوة متدرجة على كل قطعة. ويقول المشروع أيضًا إن النموذج "يجمع بنيته الخاصة"، مما يميزه عن النماذج التقليدية التي يتم إصلاح بنيتها من قبل صانعيها قبل بدء التدريب.

هذا النهج تجريبي عمدا. إنه عرض صغير النطاق لنظام التدريب، وليس تحديًا للأنظمة الحدودية.

##محاذير هامة

مؤلف المشروع واضح بشأن الوضع الحالي للنظام. وبكلمات README الخاصة، فإن mini-AGI هو "نموذج صغير على مستوى اللعبة"، ولا ينبغي للقراء أن يتوقعوا قدرات على المستوى الحدودي. الهدف من التمرين هو إظهار أن التعلم المستمر من تدفق بيانات واحد دون نسيان كارثي أمر ممكن على الإطلاق - وممكن على الأجهزة التي يمكن لأي شخص تقريبًا الوصول إليها.

ولم يتم نشر أوزان النموذج بعد. لا يزال التدريب يكمل تمريرته الأولى على المجموعة التي يتعلم منها، ويقول المؤلف إن الأوزان سيتم تحريرها بمجرد اكتمال تلك التمريرة، والتي بالمعدل الحالي تستغرق أسبوعين. وحتى ذلك الحين، يمكن للمراقبين فحص عينات من تاريخ التدريب على صفحة المشروع لمعرفة مدى تحسن النموذج على مدار القراءة.

لماذا يهم

إذا صمد هذا النهج مع توسع النموذج إلى أحجام أكثر قدرة، فإنه يشير إلى نوع مختلف من ملكية الذكاء الاصطناعي: النماذج الشخصية التي تعيش على جهازك الخاص، وتستمر في التعلم من المستندات والبيانات التي تغذيها بها، ولا يتم تجميد أوزانها أبدًا بواسطة جدول إصدار البائع.

يعد المشروع أيضًا تذكيرًا بأن ليس كل الأعمال المثيرة للاهتمام في مجال الذكاء الاصطناعي تحدث على الحدود. باستخدام وحدة معالجة رسوميات استهلاكية واحدة، ومساحة قرص عادية، وترخيص من معهد ماساتشوستس للتكنولوجيا (MIT)، يحاول Mini-AGI الإجابة على سؤال تجنبته المختبرات الكبيرة إلى حد كبير - ما إذا كان من الممكن بناء نموذج ليتعلم بالطريقة التي يتعلم بها الناس: بشكل مستمر، من أي شيء يواجهه بعد ذلك.

التعليمات البرمجية والوثائق متاحة على GitHub لأي شخص لديه أجهزة متوافقة ويريد المتابعة أو تفكيك المشروع أو مواصلة تدريب النموذج كما يراه مناسبًا.

---

ابق على اطلاع بأخبار الذكاء الاصطناعي

آخر أخبار وتحليلات وإنجازات الذكاء الاصطناعي — في مكان واحد.

اقرأ المزيد من أخبار الذكاء الاصطناعي →