في الوقت الذي تتسابق فيه المختبرات الحدودية لبناء نماذج تريليون معلمة تملأ مراكز البيانات، ذهب أحد المطورين في الاتجاه الآخر تمامًا: نموذج لغة عملي للإجابة على الأسئلة يمكن تركيبه على قرص مرن واحد من الثمانينيات ويعمل على وحدة معالجة مركزية قديمة بما يكفي ليتم شحنها داخل 486DX.

تم رصد المشروع، المسمى Tiny 2.1، بواسطة Hackaday وتم التقاطه هذا الأسبوع بواسطة Futurism وTom's Hardware. وفقًا لصفحة مشروع GitHub، يبلغ وزن النموذج بأكمله حوالي 380 كيلو بايت من أوزان 8 بت - وهو صغير بما يكفي ليتناسب بشكل مريح مع قرص مرن واحد بتنسيق MS-DOS - ويحتاج إلى 540 كيلو بايت فقط من الذاكرة للتشغيل. تشير تقارير Tom's Hardware إلى أنها تتحدث عن إجاباتها من خلال مكبر صوت الكمبيوتر المتواضع. إذا كنت تستمتع بقصص حول تجاوز الذكاء الاصطناعي للتوقعات، فإن [أحدث تطورات الذكاء الاصطناعي] (https://aibuzzwire.news) تغطي كل شيء بدءًا من الاستدلال على الحافة وحتى الأنظمة الحدودية ذات تريليون معلمة.

محول للإجابة على الأسئلة يحتوي على 367,000 معلمة

Tiny 2.1 عبارة عن بنية محولات صغيرة تحتوي على ما يقرب من 367000 معلمة - وهو جزء صغير من حجم النماذج "خفيفة الوزن" التي يتم قياسها عادةً بالمليارات المنخفضة. تمت كتابته بلغة Turbo C 2.0 ويعمل على MS-DOS، نظام التشغيل الذي هيمن على الحوسبة الشخصية في الثمانينيات وأوائل التسعينيات، مستهدفًا الأجهزة القديمة مثل Intel 486DX والأجيال المبكرة من Pentium.

بيانات التدريب الخاصة به صغيرة جدًا: 3500 حقيقة فقط. يحدد هذا القيد تجربة استخدامه. في لقطة الشاشة التي تمت مشاركتها على صفحة المشروع، يجيب النموذج بشكل صحيح بأن الحيتان هي ثدييات وليست أسماك وينسب الفضل بشكل صحيح إلى ألكسندر جراهام بيل في اختراع الهاتف. ومع ذلك، طُلب منه حساب 17 ضرب 23، فأجاب "96". وعندما سُئلت من هو ملك فرنسا، أجابت بثقة "لقد كان أنتارس نيوتن" - بمستوى ثقة 100 بالمائة.

لا تتوقع أداءً مثل أداء كلود

وكما لاحظت فيوتشرزم بصراحة، فإن النموذج "يقوم بتكوين الإجابات طوال الوقت تقريبًا"، لأنه ببساطة لا يعرف الكثير عن العالم. لا توجد طبقة استرجاع، ولا استخدام للأدوات، ولا بحث على الويب - مجرد شبكة عصبية مدمجة وأية أنماط استوعبتها من مجموعة التدريب المكونة من 3500 حقيقة.

ما يجعل المشروع ملحوظًا هو أن ما يمكن أن يفعله النموذج أقل من ما يوضحه وجوده. يرتبط استدلال LLM الحديث بجيجابايت من الذاكرة وتسريع وحدة معالجة الرسومات والكيلووات من الطاقة. بدلاً من ذلك، يثبت Tiny 2.1 المفهوم القائل بأن المحول يمكن أن ينتج تفاعلًا منظمًا للأسئلة والأجوبة على الأجهزة بدون وحدة الفاصلة العائمة للتحدث عنها، ولا توجد متطلبات لمحرك الأقراص الثابتة تتجاوز القرص المرن، ومسار إخراج صوتي بدائي مثل مكبر صوت اللوحة الأم.

الذكاء الاصطناعي المبني بالذكاء الاصطناعي

هناك أيضًا تطور ميتا. وفقًا لصفحة المشروع، لم يكتب المطور كل سطر يدويًا، بل استخدم Anthropic's Fable 5.2 للمساعدة في كتابة كود النموذج وOpus 5.5 لدعم عملية التدريب. بمعنى آخر، تم تأليف نموذج صغير بما يكفي لوضعه على قرص مرن وتدريبه بمساعدة أنظمة الذكاء الاصطناعي ذات النطاق الحدودي - وهو سليل صغير لأبوين كبيرين جدًا.

يعكس سير العمل هذا اتجاهًا أوسع في هندسة الذكاء الاصطناعي، حيث تقوم النماذج الكبيرة بشكل متزايد بإنشاء وتصحيح وتحسين الأنظمة التي تعمل على أجهزة أصغر بكثير. ويظهر النمط نفسه في سلاسل أدوات الذكاء الاصطناعي الحديثة، حيث تساعد النماذج السحابية على ضغط وحجم شبكات الهواتف ووحدات التحكم الدقيقة والأجهزة المدمجة.

أهمية النماذج الصغيرة

لن يهدد Tiny 2.1 أي روبوت دردشة تجاري. لكن المشاريع المشابهة لها بمثابة تذكير مفيد بالمدى الذي وصل إليه ضغط النماذج - ومدى الانتفاخ الذي يعد اختيارًا وليس ضرورة. لقد أمضى المتحمسون للحوسبة القديمة سنوات في إثبات أن الأجهزة التي مضى عليها عقود من الزمن لا تزال قادرة على القيام بعمل مفاجئ، بدءًا من أجهزة Amigas ذات القدرة على المتصفح إلى الأجهزة المتصلة بالشبكة ذات 8 بت. نموذج اللغة الذي ينضم إلى تلك السلالة هو الأول والمرح.

إن القيود الهندسية التي شكلت Tiny 2.1 هي أيضًا دورة مكثفة في الكفاءة. يضيف تنسيق الوزن 8 بت، والمفردات والهندسة المعمارية بحجم المهمة، ومسار الإخراج المصمم حول قيود الأجهزة، ما يصل إلى نظام يتم فيه حساب كل كيلو بايت. قارن ذلك مع عمليات النشر السائدة، حيث يعتبر التكميم والتهذيب والتقطير إصلاحات بأثر رجعي يتم تطبيقها على النماذج المصممة على نطاق أوسع بكثير - وحيث يمكن لجلسة دردشة واحدة أن تستهلك ذاكرة أكبر مما يحتاجه وقت تشغيل Tiny 2.1 بالكامل، بما في ذلك الأوزان.

كما أنها تأتي في وقت يتسم بالتدقيق البيئي الحقيقي حول شهية الذكاء الاصطناعي للقوة، حيث يركز الباحثون والمنظمون بشكل متزايد على تكلفة الطاقة للتدريب والاستدلال على نطاق واسع، ومعارك تحديد مواقع مراكز البيانات التي تدور رحاها في جميع أنحاء الولايات المتحدة. إن النموذج الذي يعمل بذاكرة تبلغ سعتها 540 كيلو بايت ومصدر طاقة من الثمانينيات ليس حلاً لهذه المشكلة، ولكنه مثال حي على الطرف الآخر من الطيف: الاستدلال ببصمة تقاس بالواط، وليس بالميجاواط. يمكن للقراء الذين يتتبعون مدى امتداد المجال، من الأقراص المرنة إلى حرم جيجاوات، العثور على كلا الطرفين في [أخبار الذكاء الاصطناعي العاجلة] (https://aibuzzwire.news).

في الوقت الحالي، يمكن لصانع Tiny 2.1 أن يدعي إنجازًا نادرًا حقًا: شبكة عصبية يمكنك تثبيتها من نفس الوسيط الذي تستخدمه لحفظ مستند معالج النصوص، على جهاز يسبق الويب. فهو يهلوس باستمرار، ويخطئ في اقتباس هوية الملوك الفرنسيين بثقة تامة، ولا يستطيع مضاعفة الأعداد المكونة من رقمين بشكل موثوق. كما أنه يعمل بالكامل على قرص مرن.

ابق في صدارة الذكاء الاصطناعي

بدءًا من نماذج الأقراص المرنة وحتى المختبرات الرائدة، فإننا نتتبع كل شيء. اقرأ المزيد من أخبار الذكاء الاصطناعي →