کیا ہوتا ہے جب زبان کا ایک بڑا ماڈل کبھی بھی پانچویں جماعت سے آگے کا مواد نہیں دیکھتا؟ سات محققین کی ایک ٹیم نے اس سوال کا لفظی طور پر جواب دیا: انہوں نے LittleLearner بنایا، ایک 5-بلین پیرامیٹر LLM جو کہ شروع سے تربیت یافتہ کارپس پر امریکی ابتدائی اسکول کے نصاب میں فلٹر کیا گیا، اور پھر جانچا کہ آیا کچھ بھی — مزید پیرامیٹرز، زیادہ پوسٹ ٹریننگ، ہوشیاری سے ماضی کے اعداد و شمار کو آگے بڑھایا جا سکتا ہے۔ جواب، وہ رپورٹ کرتے ہیں، نہیں ہے.
پیپر، "لٹل لرنر: لینگویج ماڈلز انڈر پیڈاگوجیکل کنٹرولڈ نالج ایکسپوزر،" کو 13 اگست کو فنفی لی، جانا زیلر، مینوئل پراڈا کورل، تھاڈاس ویڈیمر، پرسنا مییلواہان، ریان کوٹرل، اور وائیلینڈ بیرینڈیل نے arXiv کو پیش کیا تھا۔ 16 اگست تک یہ 200 سے زیادہ ووٹوں کے ساتھ تیزی سے چڑھنے والی ہیکر نیوز کی بحث کا موضوع تھا، کیونکہ محققین اور پریکٹیشنرز نے بحث کی کہ صنعت کے پسندیدہ مفروضے کے لیے اس کا کیا مطلب ہے — کہ تربیت کے بعد کی صلاحیتوں کو ہوا سے باہر نکال سکتا ہے۔ یہ بالکل اسی قسم کا محتاط، متضاد تجربہ ہے جسے ہم اپنی [AI ریسرچ کوریج] (https://aibuzzwire.news) میں دیکھتے ہیں۔
نالج بارڈر والا سینڈ باکس
جدید LLMs کو بنیادی طور پر ہر چیز پر تربیت دی جاتی ہے، جس کی وجہ سے یہ بتانا تقریباً ناممکن ہو جاتا ہے کہ آیا تربیت کے دوران عملی مہارت کو حقیقی طور پر سیکھا گیا تھا یا محض صحیح اشارہ سے حاصل کیا گیا تھا۔ ٹیم کا حل خود تربیت کی تقسیم کو محدود کرنا تھا۔ FineWeb-Edu سے شروع کرتے ہوئے، انہوں نے 88-بلین ٹوکن کارپس — جسے Little Curriculum ڈب کیا گیا — ایک پانچ مراحل کی فلٹرنگ پائپ لائن کے ذریعے کشادہ کیا جو کہ کنڈرگارٹن کے لیے گریڈ 5 تک کامن کور معیارات کے مطابق ہے۔
اس کارپس پر انہوں نے ماڈلز کو شروع سے تین پیمانے پر تربیت دی (0.6B، 1.3B، اور 5B پیرامیٹرز)، ہر ایک کو ایک ہی فن تعمیر اور ٹوکن بجٹ کے ساتھ غیر فلٹر شدہ ڈیٹا پر تربیت یافتہ مماثل کنٹرول ماڈل کے ساتھ بھیج دیا گیا۔ نتیجہ ایک ایسا ماڈل ہے جو اوپن اینڈ ایویلیویشن کے لیے کافی روانی ہے — آپ براؤزر میں میزبان 5B ورژن کے ساتھ چیٹ کر سکتے ہیں — اس کے باوجود ایک تیز، قابل تشریح علم کی حد ہے: اگر یہ ابتدائی نصاب میں نہیں تھا، تو ماڈل نے اسے کبھی نہیں دیکھا۔
ایلیٹیشن، حصول نہیں۔
بنیادی کھوج دو ٹوک ہے: ماڈلز کو بہتر بنانے کے لیے معیاری ٹول کٹ نے اس چیز کو بڑھا دیا جو لٹل لرنر کو پہلے سے معلوم تھا، لیکن اس میں سے کسی نے بھی معنی خیز طور پر دائرہ کار سے باہر کی کارکردگی کو بہتر نہیں کیا۔
اسکیلنگ نے ماڈل کے کنٹرول شدہ علم کے اندر درستگی کو بہتر بنایا اور اسی سیکھنے کی رفتار کے ساتھ معمولی طور پر توسیع کی، لیکن گریڈ-5 کے مواد سے آگے کی صلاحیتوں کی ضرورت کے لیے بہت کم کام کیا۔ GRPO کے ساتھ پوسٹ ٹریننگ — زیادہ تر استدلال ماڈل بوم کے پیچھے کمک سیکھنے کا طریقہ — نے دائرہ کار میں K-5 صلاحیتوں کو نمایاں طور پر بڑھایا، پھر بھی دائرہ کار سے باہر ڈیٹا کے ساتھ تربیت کے باوجود K-5 سے باہر کی صلاحیتوں کو بحال کرنے میں ناکام رہا۔ اور سیاق و سباق میں سیکھنے، علم کو ایک پرامپٹ میں بھرنے کا روزمرہ کا جادو، نے ماڈل کو جو کچھ اس کے پاس تھا اسے استعمال کرنے میں مدد کی لیکن حد سے باہر نئی استدلال کو غیر مقفل نہیں کیا۔مختصراً، پہلے سے تربیت دینے والا فلٹر مؤثر صلاحیت کی حد متعین کرتا ہے۔ مصنفین نتیجہ کو اس امتیاز کے ثبوت کے طور پر مرتب کرتے ہیں جو فیلڈ مسلسل دھندلا جاتا ہے: پوسٹ ٹریننگ اور پرمپٹنگ ایلیٹ؛ pretraining حاصل کرتا ہے.
صاف کنٹرول، عوامی چوکیاں
طریقہ کار وہ ہے جو دعوؤں کو ان کی طاقت دیتا ہے۔ کیونکہ ہر لٹل لرنر ماڈل ایک مماثل غیر فلٹر شدہ کنٹرول کے ساتھ بھیجتا ہے — وہی فن تعمیر، وہی ٹوکن کاؤنٹ، وہی تربیتی نسخہ — ٹیم کسی بھی طرز عمل کے فرق کو صرف نصاب کے فلٹر سے منسوب کر سکتی ہے۔ MathCAMPS بینچ مارک پر تربیت یافتہ ریاضی کے ماہرین محققین کو اسکول کے گریڈ کے لحاظ سے کارکردگی کا درجہ دیتے ہیں، اس بات کا پتہ لگاتے ہیں کہ دائرہ کار کی صلاحیت کہاں ختم ہوتی ہے۔ اور زیادہ تر فرنٹیئر پیپرز کے برعکس، سب کچھ پبلک ہے: HuggingFace پر تینوں اسکیلوں پر کارپس، بیس اور پوسٹ ٹرینڈ چوکیاں، اور ایک میزبان چیٹ ڈیمو، لہذا آزاد ٹیمیں خود باؤنڈری کی جانچ کر سکتی ہیں۔
یہ کشادگی ہیکر نیوز کی بحث کو ہوا دے رہی ہے۔ تبصرہ کرنے والے میزبان ماڈل کے رویے کو اس کے علمی کنارے پر جانچ رہے ہیں — چاہے وہ پرہیز کرتا ہے، اندازہ لگاتا ہے، یا جب گریڈ 5 کو آگے بڑھایا جاتا ہے — اور اس کے مضمرات پر بحث کرتے ہیں: کچھ نتائج کو استدلال-ماڈل ہائپ کے لیے بری خبر کے طور پر پڑھتے ہیں، دوسرے یہ بتاتے ہیں کہ ویب پیمانے پر پری ٹریننگ ڈیٹا پر مشتمل ہوتا ہے- سامنے والے ماڈل کے سیٹنگز سے کہیں زیادہ اسی طرح زیادہ. اس مقالے کے مصنفین خود اس نکتے پر محتاط ہیں: ان کا دعویٰ اس بارے میں ہے کہ معیاری مداخلتیں ایک معروف، کنٹرول شدہ تعلیم کے ساتھ ماڈل کے لیے کیا نہیں کر سکتیں، نہ کہ فرنٹیئر لیبز کے بارے میں براہ راست پیش گوئی۔
یہ کلاس روم سے آگے کیوں اہم ہے۔
تجربہ AI میں براہ راست مباحثوں سے بات کرتا ہے۔ AI لیبز اس خیال پر مبنی تربیت کے بعد کے طرز عمل پر اربوں خرچ کرتی ہیں کہ کمک سیکھنے سے بنیادی ماڈل کو اس کی خام صلاحیتوں سے آگے بڑھایا جا سکتا ہے۔ لٹل لرنر تجویز کرتا ہے کہ وہ فوائد بڑی حد تک اندر رہ سکتے ہیں — اور اس کے پابند ہوں گے — جس کی تربیت کا ڈیٹا سپورٹ کرتا ہے۔ یہ ڈیٹا کیوریشن کے بارے میں بہت زیادہ خیال رکھنے کی دلیل ہے، اور شکوک و شبہات کے ساتھ "ابھرتی ہوئی" تربیت کے بعد کی صلاحیتوں کے دعووں کا علاج کرنے کی دلیل ہے۔
ریلیز بھی ایک حقیقی تحقیقی آلہ ہے، نہ کہ صرف ایک کاغذ۔ ٹیم نے Little Curriculum اور تمام ماڈل چیک پوائنٹس کو کھلے عام جاری کیا، اور پراجیکٹ کا صفحہ ان تجربات کا خاکہ بناتا ہے جو سینڈ باکس کو قابل بناتا ہے: آیا RL اسے انعام دینے کے بجائے واقعی صلاحیت پیدا کر سکتا ہے، نمونہ کے لحاظ سے ایک ماڈل کس طرح حقیقی طور پر نئے تصور کو سیکھتا ہے جیسے کہ منفی نمبر متعارف کرایا جاتا ہے، اور آیا مشینوں اور بچوں کو ایک جیسی غلطیوں کی ضرورت ہوتی ہے — جب سیکھنے کی غلطی ہوتی ہے۔
ایک ایسے شعبے کے لیے جو شاذ و نادر ہی صاف کنٹرول حاصل کرتا ہے، واضح طور پر مخصوص تعلیم والا ماڈل ایک نادر تحفہ ہے۔ اور باقی سب کے لیے، یہ ڈیسک کے اوپر پن کرنے کے قابل ایک یاد دہانی ہے: کوئی بھی ماڈل — یا شخص — اس سے باہر نکلنے کا راستہ نہیں بتا سکتا جو انھیں کبھی نہیں سکھایا گیا تھا۔
AI سے آگے رہیں
AI کو نئی شکل دینے والی تحقیق کی پیر ریویو-گریڈ کوریج، روزانہ ڈیلیور کی جاتی ہے۔ تازہ ترین AI پیش رفت کے لیے ہمارے مرکز کو بُک مارک کریں۔
مزید AI خبریں پڑھیں →
