سریع‌ترین رشد هزینه در هوش مصنوعی ممکن است تراشه‌ها نباشد، بلکه ممکن است برق باشد که آنها را تغذیه می‌کند. در 12 اکتبر، دانشگاه میشیگان اعلام کرد که NVIDIA، شرکت محاسباتی AI مسلط در جهان، در حال ارزیابی نحوه افزودن دو ابزار صرفه جویی در انرژی U-M به Megatron-LM، پلت فرم متن باز پرکاربرد NVIDIA برای آموزش مدل های زبان بزرگ است. به گفته این دانشگاه، این نرم افزار می تواند انرژی مورد نیاز برای آموزش هوش مصنوعی را تا 50 درصد کاهش دهد - بدون اینکه بر سرعت تمرین یا عملکرد مدل تأثیر بگذارد.
این اخبار فراتر از سابقه انتشار یک آزمایشگاه اهمیت دارد. Megatron-LM یک پایگاه کد تحقیقاتی خاص نیست: شرکت‌ها می‌توانند از آن به‌طور مستقیم یا به‌عنوان پایه‌ای برای پلتفرم‌های آموزشی شخصی و سفارشی‌شده خود استفاده کنند، و این پلتفرم برای آموزش مدل‌های پرچم‌دار Nemotron NVIDIA است که کاربران می‌توانند آنها را روی سخت‌افزار خود دانلود کنند. اگر ابزارهای U-M به Megatron-LM تبدیل شوند، بهبودهای بهره وری ایجاد شده در یک آزمایشگاه دانشگاهی در بخش بزرگی از دوره های آموزشی هوش مصنوعی جهان منتشر می شود. برای پوشش مداوم مسابقه زیرساختی پشت هوش مصنوعی، آخرین تحولات هوش مصنوعی را در صفحه اصلی ما دنبال کنید.
کاری که Kareus و Perseus در واقع انجام می دهند
این دو ابزار به منابع مختلف ضایعات در آموزش توزیع شده و پشته پس انداز آنها حمله می کنند.
Perseus: مدیریت سرعت پردازنده
Perseus به محاسبه بیش از حد ارائه شده می پردازد. در یک دوره آموزشی بزرگ، هر پردازنده‌ای در هر لحظه کار مفیدی انجام نمی‌دهد، با این حال همه آنها انرژی می‌گیرند. به گفته U-M، با مدیریت سرعت پردازنده برای مطابقت با کار واقعی موجود در هر نقطه از تمرین، Perseus انرژی مورد نیاز برای آموزش هوش مصنوعی را تا 30٪ کاهش می دهد.
Kareus: زمان بندی هوشمندتر برای محاسبات و ارتباطات
Kareus مشکل ظریف تری را هدف قرار می دهد. آموزش مدل های مدرن مستلزم هماهنگی صدها تا هزاران پردازنده است و کار بین محاسبات و ارتباطات تراشه به تراشه تقسیم می شود. Kareus با یافتن کارآمدترین زمان بندی و اشتراک منابع بین آن وظایف آموزشی و ارتباطی - برنامه ریزی هر کدام به گونه ای که هیچکدام بیکار در انتظار دیگری ننشیند، انرژی تمرین را 15٪ تا 30٪ کاهش می دهد.
این دانشگاه می‌گوید که این ابزارها با هم می‌توانند حدود نیمی از انرژی مورد استفاده برای آموزش هوش مصنوعی را ذخیره کنند و در عین حال سرعت تمرین و عملکرد مدل نهایی را ارائه می‌دهند. Kareus همچنین یک نتیجه بررسی شده است: این ابزار در سمپوزیوم USENIX در مورد طراحی و پیاده‌سازی سیستم‌های عامل (OSDI) در ماه ژوئیه، یکی از بهترین مکان‌ها برای تحقیقات سیستم‌ها، ارائه شد.
چرا علاقه NVIDIA داستان واقعی است
تحقیقات بهره وری دانشگاهی معمولاً با مسیری طولانی برای تولید مواجه است. این یکی ممکن است متفاوت باشد، به دلیل جایی که فرود آمده است. یک دانشجوی دکترا، Ruofan Wu، تابستان گذشته را در NVIDIA گذراند و نرم افزار U-M را به عنوان بخشی از دوره کارآموزی با Megatron-LM ادغام کرد - به این معنی که ابزارها یک پروپوزال نیستند، بلکه کد کار در پشته آموزشی NVIDIA هستند که اکنون در حال ارزیابی رسمی هستند.
وو، دانشجوی دکترای علوم کامپیوتر و مهندسی در دانشگاه U-M، در اطلاعیه دانشگاه گفت: "هوش مصنوعی با بزرگتر شدن مدل ها و تمایل افراد بیشتری به آموزش مدل ها در حال محدود شدن است، اما ما می توانیم با استفاده از انرژی کمتر به همان سرعت و عملکرد آموزشی دست پیدا کنیم." او افزود: «فرصت‌های زیادی برای بهینه‌سازی استفاده از انرژی هوش مصنوعی در سطح نرم‌افزار و سخت‌افزار وجود دارد، و یکی از بخش‌های مفید دوره کارآموزی، فرصت آوردن ایده‌هایی از تحقیقاتم به سیستم‌های تولید بود.
این کلمه - قدرت محدود - کلیدواژه جدید صنعت است. تیم تحقیقاتی U-M که شامل دانشجویان دکتری جف ما و جائه وون چانگ و دانشیار مشرف چاودوری نیز می شود، در حال کار با NVIDIA بر روی یکپارچه سازی است. چارچوب بندی تیم ساده است: هدف این است که با یافتن کارآمدترین راه برای هماهنگ کردن آموزش بین صدها تا هزاران پردازنده، به هوش مصنوعی اجازه دهیم کار مفیدتری را با انرژی و هزینه کمتر انجام دهد.
انرژی اکنون یک محدودیت درجه یک است
مقیاس آموزش مرزی چیزی است که درصد پس انداز را به اعداد استراتژیک تبدیل می کند. متا این هفته گفت که مدل‌های جدید Muse Wonder در Prometheus آموزش دیده‌اند که آن را مرکز داده در مقیاس گیگاوات توصیف می‌کند. هنگامی که یک کمپین آموزشی در آن مقیاس اجرا می شود، کاهش انرژی در سطح درصد یک خطای گرد کردن نیست. این تفاوت بین قرار دادن یک دوره آموزشی با بودجه توان است یا خیر.
اقتصاد از فیزیک پیروی می کند. انرژی به یکی از منابع دروازه برای گسترش هوش مصنوعی تبدیل شده است. نرم‌افزاری که قبض برق یک دوره آموزشی را به نصف کاهش می‌دهد - با استفاده از سخت‌افزار موجود - محاسبات را برای هر شرکتی که مدل‌های خود را آموزش می‌دهد، و به‌ویژه برای بازیکنان کوچک‌تری که هزینه‌های انرژی برای آنها محدودیت الزام‌آور است، تغییر می‌دهد.
همچنین بحث زیست محیطی پیرامون هوش مصنوعی را مجدداً مطرح می کند. بیشتر بحث های عمومی بر انرژی استنتاج متمرکز شده است - قدرت مصرف شده توسط هر پرسش ربات چت. اما آموزش جایی است که بزرگترین بلوک‌های انرژی متمرکز می‌شوند، و یک رویکرد نرم‌افزاری با بازبینی همتا و فروشنده‌ای که آن را تا نصف کاهش می‌دهد، چیزی نادرتر از یک نقشه راه سخت‌افزاری را ارائه می‌دهد: دستاوردهای بازدهی که می‌تواند با انتشار منبع باز بعدی به جای ساخت مرکز داده بعدی به دست آید.
بعد چه اتفاقی می افتد
این دانشگاه می‌گوید NVIDIA در حال ارزیابی نحوه افزودن نرم‌افزار به پلتفرم آموزشی منبع باز خود است. اگر در Megatron-LM ارسال شود، با توجه به اینکه این چارچوب در صنعت و دانشگاه چقدر گسترده است، پذیرش می تواند به سرعت گسترش یابد. برنامه تحقیقاتی گسترده‌تر تیم U-M به دنبال صرفه‌جویی در مصرف انرژی در پشته نرم‌افزاری و سخت‌افزاری است - دستور کار که چند سال پیش به‌نظر می‌رسید و اکنون مانند مرکز بازی به نظر می‌رسد.
