مصنوعی ذہانت میں سب سے تیزی سے بڑھتی ہوئی لاگت چپس نہیں ہوسکتی ہے - یہ بجلی ہوسکتی ہے جو انہیں کھلاتی ہے۔ 12 اکتوبر کو، مشی گن یونیورسٹی نے اعلان کیا کہ NVIDIA، دنیا کی غالب AI کمپیوٹنگ کمپنی، اس بات کا جائزہ لے رہی ہے کہ Megatron-LM، NVIDIA کے بڑے زبان کے ماڈلز کی تربیت کے لیے وسیع پیمانے پر استعمال ہونے والے اوپن سورس پلیٹ فارم میں توانائی کی بچت کے دو U-M ٹولز کیسے شامل کیے جائیں۔ یونیورسٹی کے مطابق، سافٹ ویئر AI کو تربیت دینے کے لیے درکار توانائی کو 50% تک کم کر سکتا ہے - بغیر تربیت کی رفتار یا ماڈل کی کارکردگی کو متاثر کیے بغیر۔
خبریں ایک لیب کے پبلیکیشن ریکارڈ سے بہت زیادہ اہمیت رکھتی ہیں۔ Megatron-LM کوئی خاص تحقیقی کوڈ بیس نہیں ہے: کمپنیاں اسے براہ راست یا اپنے ذاتی، حسب ضرورت تربیتی پلیٹ فارمز کی بنیاد کے طور پر استعمال کر سکتی ہیں، اور یہ وہ پلیٹ فارم ہے جو NVIDIA کے فلیگ شپ Nemotron ماڈلز کو تربیت دینے کے لیے استعمال کیا جاتا ہے، جسے صارف اپنے ہارڈ ویئر پر ڈاؤن لوڈ کر سکتے ہیں۔ اگر U-M ٹولز اسے Megatron-LM میں تبدیل کر دیتے ہیں، تو ایک تعلیمی لیب میں تیار کردہ کارکردگی میں بہتری دنیا کی AI ٹریننگ کے بڑے حصے میں پھیل جائے گی۔ AI کے پیچھے بنیادی ڈھانچے کی دوڑ کی جاری کوریج کے لیے، ہمارے ہوم پیج پر AI کی تازہ ترین پیشرفت کی پیروی کریں۔
Kareus اور Perseus دراصل کیا کرتے ہیں۔
دو ٹولز تقسیم شدہ تربیت میں فضلہ کے مختلف ذرائع پر حملہ کرتے ہیں، اور ان کی بچت کے ڈھیر پر۔
پرسیئس: پروسیسر کی رفتار کا انتظام
پرسیوس ضرورت سے زیادہ فراہم کردہ کمپیوٹ کو ایڈریس کرتا ہے۔ ایک بڑی تربیتی دوڑ میں، ہر پروسیسر ہر لمحہ کارآمد کام نہیں کر رہا ہے، پھر بھی ان میں سے سبھی طاقت حاصل کرتے ہیں۔ U-M کے مطابق، تربیت کے ہر مقام پر دستیاب اصل کام سے ملنے کے لیے پروسیسر کی رفتار کا انتظام کرکے، Perseus AI کو تربیت دینے کے لیے درکار توانائی کو 30% تک کم کرتا ہے۔
Kareus: کمپیوٹ اور کمیونیکیشن کے لیے بہتر ٹائمنگ
Kareus ایک لطیف مسئلہ کو نشانہ بناتا ہے۔ جدید ماڈلز کی تربیت کے لیے سینکڑوں سے ہزاروں پروسیسرز کو مربوط کرنے کی ضرورت ہوتی ہے، اور کام کمپیوٹیشن اور چپ ٹو چپ کمیونیکیشن کے درمیان تقسیم ہوتا ہے۔ Kareus ان تربیتی اور مواصلاتی کاموں کے درمیان انتہائی موثر وقت اور وسائل کا اشتراک تلاش کر کے تربیتی توانائی کو 15% سے 30% تک کم کر دیتا ہے — ہر ایک کو شیڈول کرنا تاکہ دونوں میں سے کوئی بھی دوسرے کے انتظار میں خالی نہ بیٹھے۔
ایک ساتھ، یونیورسٹی کا کہنا ہے کہ، ٹولز AI کو تربیت دینے کے لیے استعمال ہونے والی تقریباً نصف توانائی بچا سکتے ہیں جبکہ اسی ٹریننگ کی رفتار اور حتمی ماڈل کی کارکردگی پیش کرتے ہیں۔ Kareus بھی ایک ہم مرتبہ جائزہ شدہ نتیجہ ہے: یہ ٹول جولائی میں USENIX سمپوزیم آن آپریٹنگ سسٹمز ڈیزائن اینڈ امپلیمینٹیشن (OSDI) میں پیش کیا گیا تھا، جو سسٹمز کی تحقیق کے لیے سرفہرست مقامات میں سے ایک ہے۔
کیوں NVIDIA کی دلچسپی اصل کہانی ہے۔
تعلیمی کارکردگی کی تحقیق کو عام طور پر پیداوار کی ایک لمبی سڑک کا سامنا کرنا پڑتا ہے۔ یہ جہاں اترا ہے اس کی وجہ سے یہ مختلف ہو سکتا ہے۔ ڈاکٹریٹ کے ایک طالب علم، Ruofan Wu نے گزشتہ موسم گرما میں NVIDIA میں U-M سافٹ ویئر کو Megatron-LM میں انٹرنشپ کے حصے کے طور پر ضم کرتے ہوئے گزارا — یعنی ٹولز کوئی تجویز نہیں بلکہ NVIDIA کے ٹریننگ اسٹیک کے اندر کام کرنے والے کوڈ ہیں، جو اب باضابطہ تشخیص کے تحت ہیں۔
یونیورسٹی کے اعلان میں U-M میں کمپیوٹر سائنس اور انجینئرنگ میں ڈاکٹریٹ کے طالب علم وو نے کہا، "اے آئی طاقت سے محدود ہوتی جا رہی ہے کیونکہ ماڈلز بڑے ہوتے جاتے ہیں اور زیادہ لوگ ماڈلز کو تربیت دینا چاہتے ہیں، لیکن ہم کم توانائی کا استعمال کرتے ہوئے وہی تربیتی رفتار اور کارکردگی حاصل کر سکتے ہیں۔" انہوں نے مزید کہا کہ "سافٹ ویئر اور ہارڈ ویئر کی سطح پر AI توانائی کے استعمال کو بہتر بنانے کے بہت سے مواقع موجود ہیں، اور انٹرنشپ کے سب سے زیادہ فائدہ مند حصوں میں سے ایک یہ موقع تھا کہ میں اپنی تحقیق سے آئیڈیاز کو پروڈکشن سسٹم میں لاؤں،" انہوں نے مزید کہا۔
وہ لفظ - طاقت سے مجبور - صنعت کا نیا واچ ورڈ ہے۔ U-M کی تحقیقی ٹیم، جس میں ڈاکٹریٹ کے طلباء جیف ما اور جے وون چنگ کے ساتھ ساتھ ایسوسی ایٹ پروفیسر مشرف چودھری بھی شامل ہیں، انضمام پر NVIDIA کے ساتھ کام کر رہی ہے۔ ٹیم کی تشکیل سیدھی ہے: مقصد یہ ہے کہ سیکڑوں سے ہزاروں پروسیسرز میں تربیت کو مربوط کرنے کا سب سے موثر طریقہ تلاش کرکے AI کو کم توانائی اور لاگت کے لیے زیادہ مفید کام کرنے دیں۔
توانائی اب ایک فرسٹ کلاس رکاوٹ ہے۔
فرنٹیئر ٹریننگ کا پیمانہ وہ ہے جو فیصد کی بچت کو اسٹریٹجک نمبروں میں بدل دیتا ہے۔ میٹا نے اس ہفتے کہا کہ اس کے نئے میوزک ونڈر ماڈلز کو پرومیتھیس میں تربیت دی گئی تھی، جسے وہ گیگا واٹ پیمانے کے ڈیٹا سینٹر کے طور پر بیان کرتا ہے۔ جب ایک واحد تربیتی مہم اس پیمانے پر چلتی ہے، تو فی صد کی سطح پر توانائی کی کمی کوئی گول غلطی نہیں ہوتی۔ یہ پاور بجٹ کے اندر چلنے والی ٹریننگ کو فٹ کرنے یا نہ کرنے میں فرق ہے۔
معاشیات طبیعیات کی پیروی کرتی ہے۔ توانائی AI کی توسیع کے لیے گیٹنگ وسائل میں سے ایک بن گئی ہے۔ سافٹ ویئر جو ٹریننگ چلانے کے بجلی کے بل کو آدھا کر دیتا ہے — موجودہ ہارڈ ویئر کا استعمال کرتے ہوئے — ہر کمپنی کے لیے حساب کو تبدیل کرتا ہے جو اس کے اپنے ماڈلز کی تربیت کرتی ہے، اور خاص طور پر چھوٹے کھلاڑیوں کے لیے جن کے لیے توانائی کی لاگت ایک پابند رکاوٹ ہے۔
یہ AI کے ارد گرد ماحولیاتی بحث کو بھی رد کرتا ہے۔ زیادہ تر عوامی بحث نے انفرنس انرجی پر توجہ مرکوز کی ہے - ہر چیٹ بوٹ استفسار کے ذریعے استعمال ہونے والی طاقت۔ لیکن تربیت وہ جگہ ہے جہاں توانائی کے سب سے بڑے واحد بلاکس پر توجہ مرکوز کی جاتی ہے، اور ایک ہم مرتبہ نظرثانی شدہ، وینڈر-ایگنوسٹک سافٹ ویئر اپروچ جو اسے آدھے تک کاٹتا ہے ہارڈ ویئر کے روڈ میپ سے زیادہ نایاب چیز پیش کرتا ہے: کارکردگی کے فوائد جو اگلے ڈیٹا سینٹر کی تعمیر کے بجائے اگلے اوپن سورس ریلیز کے ساتھ پہنچ سکتے ہیں۔
آگے کیا ہوتا ہے۔
یونیورسٹی کا کہنا ہے کہ NVIDIA اس بات کا جائزہ لے رہا ہے کہ اس سافٹ ویئر کو اپنے اوپن سورس ٹریننگ پلیٹ فارم میں کیسے شامل کیا جائے۔ اگر یہ Megatron-LM میں بھیجتا ہے، تو گود لینا تیزی سے پھیل سکتا ہے اس بات کی وجہ سے کہ فریم ورک کو پوری صنعت اور اکیڈمی میں کتنے وسیع پیمانے پر استعمال کیا جاتا ہے۔ U-M ٹیم کا وسیع تر تحقیقی پروگرام پورے سافٹ ویئر اور ہارڈویئر اسٹیک میں توانائی کی بچتوں کو تلاش کرتا رہتا ہے - ایک ایسا ایجنڈا جو کچھ سال پہلے خاص نظر آتا تھا اور اب کھیل کے مرکز کی طرح لگتا ہے۔
