ایک اوپن سورس پروجیکٹ نے 28.9-ملین پیرامیٹر لینگویج ماڈل کو ایک مائیکرو کنٹرولر پر نچوڑ دیا ہے جس کی لاگت تقریباً $8 ہے، جس سے چپ پر مکمل طور پر ٹیکسٹ تقریباً نو ٹوکن فی سیکنڈ کے حساب سے تیار ہوتا ہے جس کا کوئی نیٹ ورک کنکشن نہیں ہے۔ GitHub پر شائع ہونے والا اور ہیکر نیوز کے صفحہ اول پر تیزی سے چڑھنے والا مظاہرہ، دکھاتا ہے کہ چھوٹے، مقامی AI کی سرحد صرف تھوڑے ہی وقت میں کتنی آگے بڑھ گئی ہے۔

کام کا مرکز ESP32-S3 پر ہے، ایک سستی ایمبیڈڈ چپ جو شوق رکھنے والوں اور ہارڈ ویئر بنانے والوں میں مقبول ہے۔ سلیکون کے اتنے چھوٹے ٹکڑے پر 28.9-ملین پیرامیٹر ماڈل چلانا کچھ دیر پہلے ہی ناقابل فہم معلوم ہوتا تھا، اور یہ پروجیکٹ آن ڈیوائس AI کی طرف وسیع تر دباؤ کی ایک واضح مثال پیش کرتا ہے جسے ہم اپنی روزانہ [AI انڈسٹری کوریج] (https://aibuzzwire.news) میں ٹریک کرتے ہیں۔ جہاں بادل کسی بھی حقیقی زبان کے ماڈل کے لیے ایک بار لازمی محسوس کرتا تھا، وہاں تیزی سے قابل نظام گھر تلاش کر رہے ہیں۔

تعمیر کے پیچھے نمبر

پروجیکٹ اپنی وضاحتیں واضح طور پر بیان کرتا ہے۔ ماڈل 28.9 ملین پیرامیٹرز کو اسٹور کرتا ہے، جن میں سے تقریباً 25 ملین فلیش تلاش کرنے کی میز میں رہتے ہیں۔ یہ 512KB تیز SRAM، 8MB PSRAM، اور 16MB فلیش اسٹوریج کے ساتھ ESP32-S3 چپ پر چلتا ہے۔ عملی طور پر یہ تقریباً 9.5 ٹوکن فی سیکنڈ اینڈ ٹو اینڈ تک، یا خالص کمپیوٹ کے 9.7 ٹوکن فی سیکنڈ تک پہنچتا ہے، اور جب 4 بٹ درستگی پر ذخیرہ کیا جاتا ہے تو پورا ماڈل صرف 14.9 میگا بائٹس پر قابض ہوتا ہے۔

سب سے حیران کن وہ موازنہ ہے جو مصنف نے پہلے کام کے ساتھ کھینچا ہے۔ اس کلاس میں چپ پر چلنے والا آخری لینگویج ماڈل جس میں صرف 260,000 پیرامیٹرز تھے۔ نئی تعمیر تقریباً سو گنا زیادہ رکھتی ہے، ایک چھلانگ جو کسی بڑی چپ سے نہیں بلکہ اس پر دوبارہ غور کرنے سے آتی ہے کہ ماڈل کا ڈیٹا اصل میں کہاں رہتا ہے۔

جیما سے مستعار میموری کی چال

بنیادی مسئلہ یہ ہے کہ مائکروکنٹرولر میں تقریباً کوئی تیز میموری نہیں ہوتی۔ ESP32-S3 صرف 512KB کا SRAM پیش کرتا ہے، اور روایتی طور پر پورے ماڈل کو وہاں سے قابل رسائی ہونے کی ضرورت ہوگی، یہی وجہ ہے کہ پچھلی کوششیں چند لاکھ پیرامیٹرز پر پھنس گئی تھیں۔

حل ایک سادہ مشاہدے پر منحصر ہے۔ لینگویج ماڈل کے زیادہ تر پیرامیٹرز ایمبیڈنگ ٹیبل میں بیٹھتے ہیں، جسے ماڈل کمپیوٹ کرنے کے بجائے پڑھتا ہے۔ لہٰذا اس 25 ملین قطار والے ٹیبل کو نایاب تیز رفتار میموری پر مجبور کرنے کے بجائے، پروجیکٹ اسے سست فلیش اسٹوریج میں چھوڑ دیتا ہے اور ہر ٹوکن کو درحقیقت ایک وقت میں تقریباً 450 بائٹس کی صرف مٹھی بھر قطاریں کھینچتا ہے۔ ماڈل کا چھوٹا حصہ جو حقیقی حساب کتاب کرتا ہے وہ تیز یادداشت میں رہتا ہے، جبکہ وزن کا بڑا حصہ صرف فلیش میں انتظار کرتا ہے، ایک وقت میں تھوڑا سا نمونہ لیا جاتا ہے۔

اس تکنیک کو Per-Layer Embeddings کے نام سے جانا جاتا ہے، اور اس کی ابتدا گوگل کے Gemma ماڈلز سے ہوئی، خاص طور پر Gemma 3n اور Gemma 4، جہاں اسے فونز اور GPUs کے لیے ڈیزائن کیا گیا تھا۔ پروجیکٹ کے مصنف کے مطابق، اس سے پہلے کسی نے بھی اس چھوٹی چپ پر اپروچ آزمائی نہیں تھی۔

یہ کیا کر سکتا ہے اور کیا نہیں کر سکتا

ماڈل کو TinyStories پر تربیت دی گئی تھی، جو بچوں کی سادہ کہانیوں کا ڈیٹاسیٹ ہے، اس لیے اس کی صلاحیتیں جان بوجھ کر تنگ ہیں۔ یہ مختصر، زیادہ تر مربوط کہانیاں لکھتا ہے، لیکن یہ حقائق پر مبنی سوالات کا جواب نہیں دے گا، پیچیدہ ہدایات پر عمل نہیں کرے گا، کوڈ لکھے گا، یا دنیا کے بارے میں دلیل نہیں دے گا۔ مصنف واضح ہے کہ یہ حد ماڈل کے چھوٹے استدلال والے حصے سے پیدا ہوتی ہے، اور یہ کہ میموری کی چال اسے تبدیل نہیں کرتی ہے۔

جو چیز پروجیکٹ کو دلچسپ بناتی ہے وہ اس کا آؤٹ پٹ کوالٹی نہیں بلکہ اس کا فن تعمیر ہے۔ کامیابی ایک چھوٹے سے چپ پر اتنے بڑے ماڈل کو فٹ کر رہی ہے، یہ ثابت کرتی ہے کہ فون اور سرورز پر موثر ماڈلز کو طاقت فراہم کرنے والی وہی تکنیکوں کو ہارڈ ویئر تک پہنچایا جا سکتا ہے جس کی قیمت ایک سینڈوچ سے بھی کم ہے۔

ڈیوائس پر AI کیوں اہمیت رکھتا ہے۔

مضمرات صاف تکنیکی ڈیمو سے آگے تک پہنچتے ہیں۔ چونکہ ماڈل مکمل طور پر چپ پر چلتا ہے، اس لیے سرور کو کچھ بھی نہیں بھیجا جاتا ہے۔ اس کا مطلب ہے کہ تعمیر کے لحاظ سے مکمل رازداری، کوئی ڈیٹا ڈیوائس سے نہیں نکلتا، اور ادا کرنے کے لیے کوئی کلاؤڈ بل نہیں ہے۔ دور دراز علاقوں میں ایپلی کیشنز، کم پاور ڈیوائسز، یا سیٹنگز کے لیے جہاں کنیکٹیویٹی ناقابل بھروسہ ہے، یہ مجموعہ حقیقی طور پر مفید ہے۔

یہ ایک ایسے مستقبل کی طرف بھی اشارہ کرتا ہے جس میں چھوٹے، خصوصی ماڈلز کو مٹھی بھر بڑے ڈیٹا سینٹرز میں مرکوز کرنے کے بجائے اربوں سستے ایمبیڈڈ ڈیوائسز میں تقسیم کیا جاتا ہے۔ وہی دباؤ جو لیپ ٹاپس اور فونز پر مقامی AI میں دلچسپی پیدا کرتے ہیں، یعنی کم تاخیر، کم قیمت، اور مضبوط رازداری، مائیکرو کنٹرولر پیمانے پر اور بھی زیادہ زور سے لاگو ہوتے ہیں۔

ٹنکر کی کھلی دعوت

یہ پروجیکٹ اجازت یافتہ MIT لائسنس کے تحت جاری کیا گیا ہے، اور مصنف نے تفصیلی دستاویزات اور بینچ مارک کے نتائج کے ساتھ GitHub پر مکمل کوڈ شیئر کیا ہے۔ اس کھلے پن کا مطلب ہے کہ دوسرے ہارڈویئر ڈویلپرز اس نقطہ نظر کا مطالعہ کر سکتے ہیں، اسے دوسرے چپس کے مطابق ڈھال سکتے ہیں، یا پیرامیٹر کی گنتی کو اور بھی بلند کر سکتے ہیں۔

ہینڈل slvDev کے تحت جاری کیا گیا، یہ کام ڈویلپر کمیونٹی کے ساتھ مضبوطی سے گونج اٹھا، جس نے Hacker News پر سیکڑوں اپووٹ جمع کیے اور اس بارے میں بات چیت کا اشارہ کیا کہ یہ تکنیک کہاں آگے بڑھ سکتی ہے۔ اگر رجحان برقرار رہتا ہے تو، "زبان کے ماڈل" اور ایمبیڈڈ سافٹ ویئر کے ایک عام ٹکڑے کے درمیان لائن بہت زیادہ دھندلی ہونے والی ہے۔

AI سے آگے رہیں

$8 چپس سے لے کر بلین ڈالر کے ڈیٹا سینٹرز تک، یہ سوال اتنا ہی اہم ہوتا جا رہا ہے کہ AI کہاں چلتا ہے۔ ہارڈ ویئر کی پرت زیادہ تر لوگوں کے احساس سے زیادہ تیزی سے تیار ہو رہی ہے، اور ایسے منصوبے جو آج تجسس کی طرح نظر آتے ہیں اکثر کل مرکزی دھارے کی وضاحت کرتے ہیں۔ AI Buzz Wire پر AI کی مزید خبریں پڑھیں ایج کمپیوٹنگ، ماڈل کی کارکردگی، اور آن ڈیوائس انٹیلی جنس میں ہر پیش رفت کی پیروی کرنے کے لیے۔

AI ہارڈ ویئر کے انقلاب کو جاری رکھیں — AI Buzz Wire ملاحظہ کریں