قام مشروع مفتوح المصدر بضغط نموذج لغة مكون من 28.9 مليون معلمة على وحدة تحكم دقيقة تبلغ تكلفتها حوالي 8 دولارات، مما يؤدي إلى إنشاء نص بالكامل على الشريحة بمعدل تسعة رموز مميزة في الثانية تقريبًا دون اتصال بالشبكة على الإطلاق. يُظهر العرض التوضيحي، الذي تم نشره على GitHub وتصدر بسرعة الصفحة الأولى لـ Hacker News، مدى التقدم الذي حققته حدود الذكاء الاصطناعي المحلي الصغير في وقت قصير فقط.
يتمحور العمل حول ESP32-S3، وهي شريحة مدمجة غير مكلفة تحظى بشعبية لدى الهواة وصانعي الأجهزة. إن تشغيل نموذج مكون من 28.9 مليون معلمة على قطعة صغيرة كهذه من السيليكون قد يبدو غير قابل للتصديق منذ وقت ليس ببعيد، ويقدم المشروع مثالًا حيًا للدفع الأوسع نحو الذكاء الاصطناعي على الجهاز الذي نتتبعه في [تغطية صناعة الذكاء الاصطناعي] اليومية (https://aibuzzwire.news). في حين كانت السحابة ذات يوم أمرًا إلزاميًا لأي نموذج لغة حقيقي، فإن الأنظمة ذات القدرات المتزايدة تجد موطنًا لها على الحافة.
الأرقام وراء البناء
ويضع المشروع مواصفاته بوضوح. يخزن النموذج 28.9 مليون معلمة، منها حوالي 25 مليونًا تعيش في جدول بحث فلاش. يعمل على شريحة ESP32-S3 مع 512 كيلو بايت من ذاكرة SRAM السريعة، و8 ميجابايت من ذاكرة PSRAM، و16 ميجابايت من مساحة تخزين الفلاش. من الناحية العملية، يصل إلى حوالي 9.5 رمزًا مميزًا في الثانية من النهاية إلى النهاية، أو 9.7 رمزًا في الثانية من الحوسبة النقية، ويشغل النموذج بأكمله 14.9 ميجابايت فقط عند تخزينه بدقة 4 بت.
والأكثر إثارة للدهشة هو المقارنة التي أجراها المؤلف مع أعماله السابقة. آخر نموذج لغة معروف أنه يعمل على شريحة في هذه الفئة يحتوي على 260.000 معلمة فقط. ويتحمل البناء الجديد ما يقرب من مائة مرة أكثر، وهي قفزة لا تأتي من شريحة أكبر ولكن من إعادة التفكير في المكان الذي توجد فيه بيانات النموذج فعليًا.
خدعة ذاكرة مستعارة من جيما
المشكلة الأساسية هي أن وحدة التحكم الدقيقة لا تحتوي تقريبًا على ذاكرة سريعة. يوفر ESP32-S3 512 كيلو بايت فقط من ذاكرة SRAM، وعادةً يجب أن يكون النموذج بأكمله قابلاً للوصول من هناك، ولهذا السبب كانت المحاولات السابقة عالقة عند بضع مئات الآلاف من المعلمات.
يعتمد الحل على ملاحظة بسيطة. توجد معظم معلمات نموذج اللغة في جدول التضمين، والذي يقرأ النموذج منه بدلاً من الحساب عليه. لذا بدلاً من إجبار هذا الجدول الهائل المكون من 25 مليون صف على الذاكرة السريعة النادرة، يتركه المشروع في وحدة تخزين فلاش بطيئة ويسحب فقط عدد قليل من الصفوف التي يحتاجها كل رمز مميز بالفعل، حوالي 450 بايت في المرة الواحدة. يبقى الجزء الصغير من النموذج الذي يقوم بالحساب الحقيقي في الذاكرة السريعة، في حين أن الجزء الأكبر من الأوزان ينتظر ببساطة في فلاش، ويتم أخذ عينات منه قليلاً في كل مرة.
تُعرف هذه التقنية باسم Per-Layer Embeddings، وقد نشأت مع نماذج Gemma من Google، وتحديدًا Gemma 3n وGemma 4، حيث تم تصميمها للهواتف ووحدات معالجة الرسومات. ووفقا لمؤلف المشروع، لم يسبق لأحد أن جرب هذا النهج على شريحة بهذا الحجم الصغير.
ما يمكنه فعله، وما لا يمكنه فعله
تم تدريب النموذج على TinyStories، وهي مجموعة بيانات من قصص الأطفال البسيطة، لذلك تم تضييق قدراته عمدًا. إنه يكتب قصصًا قصيرة ومتماسكة في الغالب، لكنه لن يجيب على أسئلة واقعية، أو يتبع تعليمات معقدة، أو يكتب تعليمات برمجية، أو يفكر في العالم. المؤلف صريح في أن هذا القيد ينبع من الجزء الصغير من النموذج، وأن خدعة الذاكرة لا تغيره.
وبالتالي فإن ما يجعل المشروع مثيرًا للاهتمام ليس جودة مخرجاته بل هندسته المعمارية. الإنجاز هو تركيب نموذج بهذا الحجم على شريحة بهذا الصغر، مما يثبت أن نفس التقنيات التي تشغل النماذج الفعالة على الهواتف والخوادم يمكن تطبيقها على الأجهزة التي تكلف أقل من شطيرة.
سبب أهمية الذكاء الاصطناعي الموجود على الجهاز
تصل الآثار المترتبة على ذلك إلى ما هو أبعد من العرض التوضيحي الفني الأنيق. ونظرًا لأن النموذج يعمل بالكامل على الشريحة، فلا يتم إرسال أي شيء إلى الخادم على الإطلاق. وهذا يعني الخصوصية الكاملة عند الإنشاء، وعدم مغادرة أي بيانات للجهاز، وعدم وجود فاتورة سحابية للدفع. بالنسبة للتطبيقات الموجودة في المناطق النائية، أو الأجهزة منخفضة الطاقة، أو الإعدادات التي لا يمكن الاعتماد على الاتصال بها، فإن هذا المزيج مفيد حقًا.
ويشير أيضًا إلى مستقبل يتم فيه توزيع النماذج الصغيرة المتخصصة عبر مليارات الأجهزة المدمجة الرخيصة بدلاً من تركيزها في عدد قليل من مراكز البيانات العملاقة. إن نفس الضغوط التي تدفع الاهتمام بالذكاء الاصطناعي المحلي على أجهزة الكمبيوتر المحمولة والهواتف، أي زمن الوصول الأقل، والتكلفة المنخفضة، والخصوصية الأقوى، تنطبق بقوة أكبر على نطاق وحدات التحكم الدقيقة.
دعوة مفتوحة للعبث
تم إصدار المشروع بموجب ترخيص MIT المسموح به، وقد شارك المؤلف الكود الكامل على GitHub بالإضافة إلى الوثائق التفصيلية والنتائج المعيارية. ويعني هذا الانفتاح أن بمقدور مطوري الأجهزة الآخرين دراسة النهج، أو تكييفه مع شرائح أخرى، أو رفع عدد المعلمات إلى مستويات أعلى.
تم إصدار هذا العمل تحت اسم slvDev، ولاقى العمل صدى قويًا لدى مجتمع المطورين، حيث جمع مئات الأصوات المؤيدة على Hacker News وأثار نقاشًا حول المكان الذي يمكن أن تنتقل إليه التقنية بعد ذلك. إذا استمر هذا الاتجاه، فإن الخط الفاصل بين "نموذج اللغة" وقطعة عادية من البرامج المدمجة على وشك أن يصبح أكثر ضبابية.
ابق في صدارة الذكاء الاصطناعي
من رقائق بقيمة 8 دولارات إلى مراكز بيانات تبلغ قيمتها مليارات الدولارات، أصبح السؤال عن المكان الذي يعمل فيه الذكاء الاصطناعي لا يقل أهمية عن ما يمكن أن يفعله الذكاء الاصطناعي. تتطور طبقة الأجهزة بشكل أسرع مما يدركه معظم الناس، والمشاريع التي تبدو وكأنها عجيبة اليوم غالبًا ما تحدد الاتجاه السائد في المستقبل. اقرأ المزيد من أخبار الذكاء الاصطناعي على AI Buzz Wire لمتابعة كل اختراق في مجال الحوسبة المتطورة وكفاءة النماذج والذكاء على الجهاز.
تابع ثورة أجهزة الذكاء الاصطناعي — تفضل بزيارة AI Buzz Wire
