اوپن اے آئی کی سابق چیف ٹیکنالوجی آفیسر میرا مورتی کی جانب سے قائم کردہ تحقیقی کمپنی تھنکنگ مشینز لیب نے ایک تفصیلی تکنیکی وضاحت شائع کی ہے کہ وہ کس طرح بڑے لینگویج ماڈلز کو تقریباً مکمل طور پر 4 بٹ پریزیشن میں تربیت دیتی ہے - ایک تکنیک کمپنی کا کہنا ہے کہ Nvidia کے تازہ ترین ڈیٹا سینٹر ہارڈ ویئر پر بڑی رفتار اور میموری کی بچت کو کھولتا ہے۔

بلاگ پوسٹ، جس کا عنوان "اینڈ ٹو اینڈ 4-بٹ ٹریننگ" ہے اور 13 نومبر کو کمپنی کی ویب سائٹ پر شائع ہوا، کم درستگی کی تربیت کے پیچھے عددی تجارت سے گزرتا ہے اور یہ بتاتا ہے کہ ٹیم نے اپنے Inkling 2 Small ماڈل کی تربیت کے دوران ان کا انتظام کیسے کیا۔ AI کی تازہ ترین پیشرفت کے بعد قارئین کے لیے، پوسٹ انجینئرنگ کے فیصلوں پر ایک نایاب عوامی نظر پیش کرتی ہے جو اس بات کا تعین کرتی ہے کہ ایک فرنٹیئر سکیل ٹریننگ کی اصل قیمت کتنی ہے۔

کیوں کم بٹس کا مطلب ہے تیز تربیت

زبان کے ایک بڑے ماڈل کی تربیت میں بہت زیادہ تعداد کا حساب لگانا اور ذخیرہ کرنا شامل ہے۔ ہر قدر کے لیے کم بٹس کا استعمال میموری کے استعمال کو کم کرتا ہے اور GPUs کو ریاضی کو تیزی سے انجام دینے دیتا ہے۔ لاگت درستگی ہے: کم بٹس کا مطلب کم نمائندگی کرنے والے نمبر ہیں، لہذا اقدار کو زیادہ جارحانہ طور پر گول کیا جانا چاہیے۔

کمپنی ایک سادہ سی مثال سے مسئلہ کو واضح کرتی ہے۔ اگر کوئی فارمیٹ صرف نمبر 3 اور 4 کی نمائندگی کر سکتا ہے، تو 3.2 کو ذخیرہ کرنے کے لیے 3 تک گول کرنے کی ضرورت ہوتی ہے، جس سے 0.2 کی کوانٹائزیشن کی غلطی ہوتی ہے۔ ایک گول کرنے کی غلطی معمولی ہے، لیکن تربیت کے دوران یہ غلطیاں تہوں اور اصلاح کے مراحل میں جمع ہو جاتی ہیں، اور یہ خود سیکھنے کے عمل میں مداخلت کر سکتی ہیں۔

"یہ کم درستگی کی تربیت کا مرکزی چیلنج ہے: سیکھنے میں مداخلت کرنے والی غلطیوں کو متعارف کرائے بغیر ہم تیز ریاضی سے کیسے فائدہ اٹھا سکتے ہیں؟" کمپنی نے پوسٹ میں لکھا۔

تین فارمیٹس، ایک ٹریننگ رن

کسی ایک درستی کی سطح پر کام کرنے کے بجائے، تھنکنگ مشینیں تربیت کے مختلف مراحل میں تین عددی فارمیٹس استعمال کرتی ہیں: BF16، MXFP8، اور NVFP4۔ ہر فارمیٹ میں فکسڈ درستگی ہوتی ہے، لیکن اس کی رفتار کا انحصار اسے چلانے والے ہارڈ ویئر پر ہوتا ہے۔

کمپنی Nvidia کے Grace Blackwell Ultra پلیٹ فارم، GB300 پر ٹریننگ کرتی ہے، جو خاص طور پر NVFP4 میں میٹرکس ضرب کو تیز کرنے کے لیے ڈیزائن کیا گیا ہے۔ پوسٹ کے مطابق، NVFP4 BF16 کے مقابلے میں 3.6 گنا کم بٹس کے ساتھ اقدار کو اسٹور کرتا ہے جبکہ GB300 سسٹمز پر 6 گنا زیادہ تیزی سے چلتا ہے۔ خام تھرو پٹ شرائط میں، کمپنی NVFP4 میں تقریباً 15 PFLOPS پر GB300 کی کارکردگی، MXFP8 میں 5 PFLOPS، اور BF16 میں 2.5 PFLOPS کی فہرست بناتی ہے۔

کیچ یہ ہے کہ NVFP4 کا جارحانہ کمپریشن وسیع تر فارمیٹس سے کہیں زیادہ کوانٹائزیشن کی خرابی کو متعارف کراتا ہے۔ یہ غلطی تربیت کے کچھ مراحل میں قابل قبول ہے اور دوسروں میں ناقابل قبول ہے، یہی وجہ ہے کہ کمپنی ہر مرحلے کا الگ الگ علاج کرتی ہے۔

مختلف مراحل، مختلف اصول

بلاگ پوسٹ ٹریننگ کو چار مرحلوں میں تقسیم کرتی ہے — پیشگی تربیت کے آگے اور پیچھے گزرنے، کمک سیکھنے کا نمونہ، اور RL ٹرینر — اور ہر ایک کو غلطی کو کم کرنے، تعصب کو کم کرنے، رفتار بڑھانے، اور میموری کے استعمال کو کم کرنے کے درمیان ترجیحات کا ایک مختلف توازن تفویض کرتا ہے۔

تیز رفتار اعلیٰ حجم کے مراحل میں سب سے زیادہ اہمیت رکھتی ہے: پہلے سے تربیت، جو کھربوں ٹوکنز سے زیادہ چلتی ہے، اور RL سیمپلنگ، جو بڑی تعداد میں رول آؤٹ تیار کرتی ہے۔ پسماندہ پاس، تاہم، ایک خاص معاملہ ہے۔ پوسٹ وضاحت کرتی ہے کہ بیک ورڈ ایک بیچ میں بہت سے ٹوکنز پر اوسط سے گزرتا ہے، جو تصادفی طور پر تقسیم شدہ راؤنڈنگ کی غلطیوں کے اثرات کو کم کرتا ہے — لیکن وہ کوانٹائزیشن کے تعصب کے لیے انتہائی حساس ہوتے ہیں، یہ منظم بہاؤ اس وقت ہوتا ہے جب اقدار ایک سمت میں مسلسل گول ہوتی ہیں۔ بے ترتیب شور کے برعکس، یہ تعصب تہوں، نمونوں اور تربیتی مراحل میں شامل ہو سکتا ہے۔

کمپنی کا کہنا ہے کہ اس نے انکلنگ 2 سمال کی تربیت کے دوران ان تجارتی معاملات کا انتظام کیا، جو کہ اس ماہ کے شروع میں اپاچی 2.0 لائسنس کے تحت جاری کردہ اوپن ویٹ مکسچر آف ایکسپرٹس ماڈل ہے۔ پوسٹ یہ دعوی نہیں کرتی ہے کہ رن کا ہر حصہ 4 بٹس میں چلتا ہے۔ بلکہ، یہ ایک اختتام سے آخر تک کی حکمت عملی کی وضاحت کرتا ہے جس میں ہر جزو کی درستگی کو بطور ڈیفالٹ وراثت میں ملنے کے بجائے جان بوجھ کر منتخب کیا جاتا ہے۔

کم صحت سے متعلق تربیت کیوں اہم ہے۔

یہاں کی معاشیات سیدھی ہیں۔ فرنٹیئر ماڈل کی ترقی میں کمپیوٹ غالب لاگت ہے، اور ہارڈویئر فروش ہر نئی چپ جنریشن میں کم صحت سے متعلق سرعت شامل کرنے کی دوڑ میں لگے ہوئے ہیں۔ Nvidia نے اپنے بلیک ویل الٹرا پلیٹ فارم میں NVFP4 سپورٹ کو ایک سرخی کی خصوصیت کے طور پر پوزیشن میں رکھا ہے، اور AMD، Google، اور دیگر کے حریف ایکسلریٹر اپنے کم درستگی والے فارمیٹس کی تشہیر کرتے ہیں۔

اگر ریسرچ لیبز زیادہ تر تربیتی پائپ لائن کو 4 بٹ ریاضی میں محفوظ طریقے سے آگے بڑھا سکتی ہیں، تو وہی ہارڈویئر بجٹ زیادہ تجربات، زیادہ ٹوکنز، یا بڑے ماڈل خریدتا ہے۔ یہ ایک ایسی مارکیٹ میں ایک معنی خیز فائدہ ہے جہاں جدید ترین ایکسلریٹر تک رسائی نایاب اور مہنگی ہے۔ یہ صنعت کی کارکردگی کی تکنیکوں جیسے کوانٹائزیشن سے آگاہی اور قیاس آرائی پر مبنی ضابطہ کشائی کی طرف بڑھنے کے ساتھ بھی مرکب کرتا ہے، یہ دونوں ہی فکسڈ ہارڈ ویئر سے زیادہ صلاحیت کو نچوڑتے ہیں۔

یہ پوسٹ اس بات کا اشارہ بھی ہے کہ ریسرچ کمیونٹی کہاں جا رہی ہے۔ کم درستگی کی تربیت کو طویل عرصے سے کسی بھی چیز کے لیے انتہائی خطرناک سمجھا جاتا تھا، کیونکہ راؤنڈنگ کی غلطیاں سیکھنے کو خراب کرنے کے لیے فرض کی گئی تھیں۔ احتیاط سے مرحلہ وار تجزیہ - جیسا کہ ایک تھنکنگ مشین شائع کی گئی ہے - یہ ہے کہ اس مفروضے کی جانچ کیسے کی جاتی ہے اور جہاں ممکن ہو، الٹ دیا جاتا ہے۔

بلاگ پوسٹ سے اوپن وزن تک

جو چیز انکشاف کو قابل ذکر بناتی ہے وہ یہ ہے کہ یہ خالصتاً نظریاتی نہیں ہے۔ کمپنی نے اس تکنیک کو براہ راست اس ماڈل سے جوڑ دیا جسے اس نے اصل میں بھیج دیا ہے۔ Inkling 2 Small نومبر کے شروع میں ڈاؤن لوڈ کے قابل وزن کے ساتھ جاری کیا گیا تھا، اور نئی پوسٹ اس کی تربیت کے پیچھے عددی حکمت عملی کی وضاحت کرتی ہے۔ پریکٹیشنرز جو ماڈل ڈاؤن لوڈ کرتے ہیں، درحقیقت، کمپنی کی جانب سے بیان کردہ کم درستگی کے طریقہ کار کا ایک عملی نمونہ حاصل کر رہے ہیں۔

Thinking Machines غیر معمولی طور پر فرنٹیئر اسکیل لیب کے لیے کھلی ہوئی ہے، جو اس کے ماڈل ریلیز کے ساتھ ساتھ تکنیکی بلاگ پوسٹس شائع کرتی ہے۔ یہ شفافیت باہر کے محققین کو کچھ نایاب دیتی ہے: ایک دستاویزی، دوبارہ پیدا کرنے کے قابل اکاؤنٹ کہ کس طرح ایک جدید ٹریننگ رن مخلوط-صحت سے متعلق ریاضی کی گندی عددی حقیقتوں کو سنبھالتی ہے۔

وسیع تر صنعت کے لیے، پیغام یہ ہے کہ 4 بٹ ٹریننگ تحقیقی تجسس سے پیداواری تکنیک میں منتقل ہو گئی ہے۔ جیسا کہ مزید لیبز اسی طرح کی حکمت عملی اپناتی ہیں، نظریاتی ہارڈویئر کی چوٹی کی کارکردگی اور ٹریننگ تھرو پٹ کے درمیان فرق کم ہوتا جائے گا - اور تربیت کے قابل ماڈلز کی لاگت میں کمی ہوتی رہے گی۔

AI سے آگے رہیں

فرنٹیئر ماڈل کے پیچھے کی تکنیک ہفتہ وار تیار ہوتی ہے۔ فیلڈ کو شکل دینے والی تحقیق کے بارے میں واضح، مصدقہ رپورٹنگ کے لیے AI Buzz Wire کو فالو کریں۔

مزید AI خبریں پڑھیں →