التكلفة الأسرع نموًا في مجال الذكاء الاصطناعي قد لا تكون الرقائق، بل قد تكون الكهرباء هي التي تغذيها. في 12 أكتوبر، أعلنت جامعة ميشيغان أن NVIDIA، شركة حوسبة الذكاء الاصطناعي المهيمنة في العالم، تقوم بتقييم كيفية إضافة أداتين لتوفير الطاقة من UM إلى Megatron-LM، منصة NVIDIA مفتوحة المصدر المستخدمة على نطاق واسع لتدريب نماذج اللغات الكبيرة. وفقًا للجامعة، يمكن للبرنامج خفض الطاقة اللازمة لتدريب الذكاء الاصطناعي بنسبة تصل إلى 50%، دون التأثير على سرعة التدريب أو أداء النموذج.
إن الأخبار لها أهمية تتجاوز سجل النشر الخاص بمختبر واحد. Megatron-LM ليست قاعدة بيانات بحثية متخصصة: يمكن للشركات استخدامها مباشرة أو كأساس لمنصات التدريب الخاصة والمخصصة، وهي المنصة المستخدمة لتدريب نماذج Nemotron الرائدة من NVIDIA، والتي يمكن للمستخدمين تنزيلها على أجهزتهم الخاصة. إذا وصلت أدوات UM إلى Megatron-LM، فإن تحسينات الكفاءة التي تم تطويرها في المختبر الأكاديمي ستنتشر في حصة كبيرة من عمليات التدريب على الذكاء الاصطناعي في العالم. للحصول على تغطية مستمرة لسباق البنية التحتية وراء الذكاء الاصطناعي، تابع أحدث تطورات الذكاء الاصطناعي على صفحتنا الرئيسية.
ما يفعله كاريوس وبيرسيوس في الواقع
تهاجم الأداتان مصادر مختلفة للإهدار في التدريب الموزع وتراكم مدخراتهما.
بيرسيوس: إدارة سرعة المعالج
يعالج Perseus الحوسبة المفرطة في التوفير. في عملية التدريب الكبيرة، لا يقوم كل معالج بعمل مفيد في كل لحظة، ومع ذلك فإن جميع المعالجات تستمد الطاقة. من خلال إدارة سرعة المعالج لتتناسب مع العمل الفعلي المتاح في كل نقطة في التدريب، يقوم Perseus بخفض الطاقة اللازمة لتدريب الذكاء الاصطناعي بنسبة تصل إلى 30%، وفقًا لـ U-M.
كاريوس: توقيت أكثر ذكاءً للحوسبة والاتصالات
يستهدف كاريوس مشكلة أكثر دقة. يتطلب تدريب النماذج الحديثة التنسيق بين مئات وآلاف المعالجات، وينقسم العمل بين الحوسبة والاتصال من شريحة إلى أخرى. يقلل Kareus من طاقة التدريب بنسبة إضافية تتراوح بين 15% إلى 30% من خلال إيجاد التوقيت الأكثر كفاءة ومشاركة الموارد بين مهام التدريب والتواصل تلك - جدولة كل منهما بحيث لا يجلس أي منهما خاملاً في انتظار الآخر.
وتقول الجامعة إن الأدوات معًا يمكنها توفير حوالي نصف الطاقة المستخدمة لتدريب الذكاء الاصطناعي مع تقديم نفس سرعة التدريب والأداء النهائي للنموذج. تعد أداة Kareus أيضًا نتيجة لمراجعة النظراء: فقد تم تقديم الأداة في ندوة USENIX حول تصميم أنظمة التشغيل وتنفيذها (OSDI) في يوليو، وهي واحدة من أفضل الأماكن لأبحاث الأنظمة.
لماذا يعتبر اهتمام NVIDIA هو القصة الحقيقية
عادةً ما تواجه أبحاث الكفاءة الأكاديمية طريقًا طويلًا نحو الإنتاج. قد يكون هذا مختلفًا، بسبب المكان الذي هبطت فيه. أمضى طالب الدكتوراه، Ruofan Wu، الصيف الماضي في NVIDIA في دمج برنامج UM في Megatron-LM كجزء من التدريب - مما يعني أن الأدوات ليست مقترحًا ولكنها رمز عمل داخل حزمة تدريب NVIDIA، والتي تخضع الآن للتقييم الرسمي.
وقال وو، وهو طالب دكتوراه في علوم الكمبيوتر والهندسة في جامعة ميريلاند، في إعلان الجامعة: "أصبح الذكاء الاصطناعي مقيدًا بالطاقة حيث أصبحت النماذج أكبر وتزايد عدد الأشخاص الذين يرغبون في تدريب النماذج، ولكن يمكننا تحقيق نفس سرعة التدريب والأداء باستخدام طاقة أقل". وأضافت: "هناك الكثير من الفرص لتحسين استخدام طاقة الذكاء الاصطناعي على مستوى البرامج والأجهزة، وكان أحد أكثر الأجزاء المجزية في التدريب الداخلي هو فرصة جلب الأفكار من بحثي إلى أنظمة الإنتاج".
هذه الكلمة – مقيدة بالسلطة – هي الشعار الجديد لهذه الصناعة. يعمل فريق البحث بجامعة ميريلاند، والذي يضم أيضًا طلاب الدكتوراه Jeff Ma وJae-Won Chung إلى جانب الأستاذ المشارك Mosharaf Chowdhury، مع NVIDIA على التكامل. إن إطار الفريق واضح ومباشر: الهدف هو السماح للذكاء الاصطناعي بالقيام بعمل أكثر فائدة بتكلفة وطاقة أقل من خلال إيجاد الطريقة الأكثر فعالية لتنسيق التدريب عبر مئات إلى آلاف المعالجات.
أصبحت الطاقة الآن عائقًا من الدرجة الأولى
إن حجم التدريب الحدودي هو ما يحول نسبة المدخرات إلى أرقام استراتيجية. وقالت شركة Meta هذا الأسبوع إن نماذجها الجديدة Muse Wonder تم تدريبها في شركة Prometheus، التي تصفها بأنها مركز بيانات بحجم جيجاوات. عندما يتم تنفيذ حملة تدريب واحدة على هذا النطاق، فإن خفض الطاقة على مستوى النسبة المئوية لا يعد خطأ تقريبيًا؛ إنه الفرق بين إجراء تدريب ضمن ميزانية الطاقة أم لا.
الاقتصاد يتبع الفيزياء. لقد أصبحت الطاقة أحد مصادر التوسع في الذكاء الاصطناعي. تعمل البرامج التي تعمل على خفض فاتورة الكهرباء أثناء التدريب إلى النصف - باستخدام الأجهزة الموجودة - على تغيير حساب التفاضل والتكامل لكل شركة تقوم بتدريب نماذجها الخاصة، وخاصة بالنسبة للاعبين الصغار الذين تشكل تكاليف الطاقة القيد الملزم لهم.
كما أنه يعيد صياغة النقاش البيئي حول الذكاء الاصطناعي. لقد ركزت الكثير من المناقشات العامة على طاقة الاستدلال، وهي الطاقة التي يستهلكها كل استعلام لروبوتات الدردشة. لكن التدريب هو المكان الذي تتركز فيه أكبر كتل منفردة من الطاقة، كما أن النهج البرمجي الخاضع لمراجعة النظراء والمستقل عن البائعين والذي يخفض الطاقة بمقدار النصف يقدم شيئًا أكثر ندرة من خارطة طريق الأجهزة: مكاسب الكفاءة التي يمكن أن تتحقق مع الإصدار التالي مفتوح المصدر بدلاً من بناء مركز البيانات التالي.
ماذا سيحدث بعد ذلك
وتقول الجامعة إن NVIDIA تقوم بتقييم كيفية إضافة البرنامج إلى منصة التدريب مفتوحة المصدر الخاصة بها. إذا تم شحنه في Megatron-LM، فيمكن أن ينتشر التبني بسرعة نظرًا لمدى استخدام الإطار في جميع أنحاء الصناعة وفي الأوساط الأكاديمية. يواصل برنامج الأبحاث الأوسع لفريق UM البحث عن توفير الطاقة عبر مجموعة البرامج والأجهزة - وهي أجندة بدت مناسبة قبل بضع سنوات وتبدو الآن وكأنها مركز اللعبة.
