ایک نیا اوپن سورس پروجیکٹ مشین لرننگ کی ضدی حدود میں سے ایک سے نمٹنے کے لیے توجہ مبذول کر رہا ہے: زبان کا ایک ایسا ماڈل بنانا جو سیکھنا کبھی نہیں روکتا۔ mini-AGI کہلاتا ہے، یہ پروجیکٹ خود کو ایک مسلسل سیکھنے، بائٹ لیول لینگویج ماڈل کے طور پر بیان کرتا ہے جو اپنے فن تعمیر کو اکٹھا کرتا ہے، 8GB VRAM کے ساتھ ایک GPU پر شروع سے ٹرین کرتا ہے، اور ہر چیز سے سیکھتا رہتا ہے۔
یہ پراجیکٹ ہفتے کے آخر میں ہیکر نیوز پر شائع ہوا، جہاں یہ ایک سو سے زیادہ پوائنٹس تک پہنچ گیا، اور GitHub پر اس کا ذخیرہ MIT لائسنس کے تحت جاری کیا گیا ہے۔ پروجیکٹ کے README کے مطابق، مقصد یہ ظاہر کرنا ہے کہ ڈیٹا کے ایک ہی سلسلے سے مسلسل سیکھنا — تباہ کن فراموش کیے بغیر — معمولی، صارف کے درجے کے ہارڈ ویئر پر بھی ممکن ہے۔ For more context on this story, see our ongoing AI news.
ڈسک پر وزن، VRAM میں نہیں۔
mini-AGI کے پیچھے مرکزی چال ایک غیر روایتی میموری مینجمنٹ اسکیم ہے۔ جی پی یو میموری میں ماڈل کے تمام پیرامیٹرز رکھنے کے بجائے، سسٹم اپنے وزن کو عام فائلوں کی طرح ڈسک پر محفوظ کرتا ہے اور ضرورت کے مطابق انہیں گرافکس کارڈ پر پیج کرتا ہے۔
اس ڈیزائن کے انتخاب کا ایک اہم نتیجہ ہے: ماڈل کے پیرامیٹر کی گنتی VRAM کے بجائے مفت ڈسک کی جگہ سے منسلک ہے۔ README کہتا ہے کہ ماڈل تربیت کے دوران نئی صلاحیت میں اضافہ کر سکتا ہے جب یہ مختصر چلتا ہے، اور اس صلاحیت کو کاٹتا ہے جس کے لیے کچھ نہیں مانگتا۔ تربیت اور تخمینہ بالکل ایک ہی کوڈ کے راستے سے گزرتا ہے، اس لیے کوئی الگ سے فائن ٹیوننگ کا نظام نہیں ہے اور نہ ہی کوئی منجمد بیس ماڈل — پڑھنا اور تربیت حاصل کرنا، پروجیکٹ کے الفاظ میں، ایک ہی واقعہ ہے۔
سسٹم کو کم از کم 8GB VRAM GPU کے ساتھ PC یا لیپ ٹاپ پر نشانہ بنایا جاتا ہے، ہارڈ ویئر جس کے بہت سے ڈویلپرز پہلے سے ہی مالک ہیں۔
مسلسل سیکھنا کیوں مشکل ہے۔
آج دستیاب زیادہ تر زبان کے ماڈل اسی لائف سائیکل کی پیروی کرتے ہیں: ایک لیب ایک ماڈل کو تربیت دیتی ہے، اسے منجمد کرتی ہے، اور اسے بھیجتی ہے۔ صارفین کناروں کے ارد گرد ٹھیک ٹیون کر سکتے ہیں، لیکن بنیادی وزن دوبارہ کبھی تبدیل نہیں ہوتا ہے۔ پروجیکٹ کا محرک سیکشن دلیل دیتا ہے کہ یہ ہر ذاتی ملکیتی ماڈل کو "کسی اور کا ماڈل بناتا ہے جس میں آپ کی ایک پتلی پرت ہوتی ہے" - ایک ایسا جو جہاز بھیجنے کے دن سیکھنا بند کر دیتا ہے۔
مشین لرننگ ریسرچ میں رکاوٹ ایک معروف ہے: تباہ کن بھول جانا، نئے ڈیٹا پر تربیت حاصل کرنے پر عصبی نیٹ ورکس کا سابقہ سیکھے ہوئے علم کو اوور رائٹ کرنے کا رجحان۔ ایک ایسا ماڈل جو معلومات کے روزانہ کے سلسلے سے مسلسل سیکھتا ہے عام طور پر ہر اس چیز کو کم کرتا ہے جو اسے پہلے معلوم تھا۔
README ان رکاوٹوں کا خاکہ پیش کرتا ہے جنہوں نے ڈیزائن کو شکل دی۔ ماڈل کو 8GB VRAM پر فٹ ہونا ہے - کوانٹائزیشن کے ساتھ نہیں، کیونکہ ٹریننگ کے لیے گریڈیئنٹس اور آپٹیمائزر اسٹیٹ کی ضرورت ہوتی ہے جو وزن کی میموری سے تقریباً تین گنا زیادہ اضافہ کرتی ہے۔ اور متن کے نہ ختم ہونے والے دھارے سے نئے مواد کو جذب کرتے ہوئے جو کچھ اس نے پہلے ہی سیکھا ہے اس پر قائم رہنا اسے نہیں بھولنا چاہیے۔
ایک بائٹ لیول ماڈل جو خود بناتا ہے۔
mini-AGI ٹوکنز کے بجائے بائٹ لیول پر کام کرتا ہے، ایک وقت میں ایک ٹکڑا کرداروں کے سلسلے کو پڑھتا ہے اور ہر حصے پر تدریجی قدم اٹھاتا ہے۔ پراجیکٹ میں یہ بھی کہا گیا ہے کہ ماڈل "اپنے فن تعمیر کو جمع کرتا ہے،" اسے روایتی ماڈلز سے ممتاز کرتا ہے جن کی ساخت تربیت شروع ہونے سے پہلے ان کے تخلیق کاروں نے طے کی ہے۔
طریقہ جان بوجھ کر تجرباتی ہے۔ یہ تربیتی نظام کا ایک چھوٹے پیمانے پر مظاہرہ ہے، سرحدی نظام کے لیے چیلنج نہیں۔
اہم انتباہات
پروجیکٹ کا مصنف نظام کی موجودہ حالت کے بارے میں واضح ہے۔ README کے اپنے الفاظ میں، mini-AGI "ایک چھوٹا سا کھلونا سطح کا ماڈل ہے،" اور قارئین کو فرنٹیئر لیول کی صلاحیتوں کی توقع نہیں کرنی چاہیے۔ مشق کا مقصد یہ ظاہر کرنا ہے کہ تباہ کن فراموش کیے بغیر کسی ایک ڈیٹا اسٹریم سے مسلسل سیکھنا بالکل بھی ممکن ہے - اور ہارڈ ویئر پر بھی ممکن ہے جس تک تقریباً کوئی بھی رسائی حاصل کر سکتا ہے۔
ماڈل کا وزن ابھی تک شائع نہیں کیا گیا ہے۔ ٹریننگ رن ابھی بھی اس کارپس پر اپنا پہلا پاس مکمل کر رہا ہے جس سے وہ سیکھ رہا ہے، اور مصنف کا کہنا ہے کہ پاس مکمل ہونے کے بعد وزن جاری کیا جائے گا، جو موجودہ شرح پر چند ہفتے باقی ہے۔ تب تک، مبصرین پراجیکٹ کے صفحہ پر ٹریننگ رن کی تاریخ سے نمونوں کا معائنہ کر سکتے ہیں تاکہ یہ دیکھ سکیں کہ پڑھنے کے دوران ماڈل میں کس طرح بہتری آئی ہے۔
یہ کیوں اہمیت رکھتا ہے۔
اگر ماڈل زیادہ قابل سائز تک پہنچنے کے ساتھ ساتھ نقطہ نظر کو برقرار رکھتا ہے، تو یہ ایک مختلف قسم کی AI ملکیت کی طرف اشارہ کرتا ہے: ذاتی ماڈل جو آپ کی اپنی مشین پر رہتے ہیں، ان دستاویزات اور ڈیٹا سے سیکھتے رہتے ہیں جو آپ انہیں کھلاتے ہیں، اور کبھی بھی ان کا وزن کسی وینڈر کے ریلیز شیڈول کے ذریعے منجمد نہیں ہوتا ہے۔
پروجیکٹ ایک یاد دہانی بھی ہے کہ AI میں تمام دلچسپ کام سرحد پر نہیں ہو رہے ہیں۔ ایک صارف کے GPU، عام ڈسک کی جگہ اور ایک MIT لائسنس کے ساتھ، mini-AGI اس سوال کا جواب دینے کی کوشش کر رہا ہے کہ بڑی لیبز نے بڑی حد تک پیچھے چھوڑ دیا ہے — کیا ایک ماڈل بنایا جا سکتا ہے جس طرح سے لوگ کرتے ہیں: مسلسل، اس کے بعد جو بھی سامنا ہو اس سے۔
کوڈ اور دستاویزات گٹ ہب پر ہم آہنگ ہارڈ ویئر کے ساتھ ہر اس شخص کے لیے دستیاب ہیں جو اس پر عمل کرنا چاہتا ہے، پروجیکٹ کو فورک کرنا چاہتا ہے، یا ماڈل کی تربیت جاری رکھنا چاہتا ہے جیسا کہ وہ مناسب سمجھتا ہے۔
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
