एक ओपन-सोर्स प्रोजेक्ट ने एक माइक्रोकंट्रोलर पर 28.9 मिलियन-पैरामीटर भाषा मॉडल को निचोड़ा है, जिसकी लागत लगभग 8 डॉलर है, जो बिना किसी नेटवर्क कनेक्शन के लगभग नौ टोकन प्रति सेकंड पर चिप पर पूरी तरह से टेक्स्ट उत्पन्न करता है। प्रदर्शन, GitHub पर प्रकाशित हुआ और तेजी से हैकर न्यूज़ के फ्रंट पेज पर चढ़ गया, यह दर्शाता है कि छोटे, स्थानीय AI की सीमा कुछ ही समय में कितनी आगे बढ़ गई है।
कार्य ESP32-S3 पर केंद्रित है, जो शौकीनों और हार्डवेयर निर्माताओं के बीच लोकप्रिय एक सस्ती एम्बेडेड चिप है। सिलिकॉन के इतने छोटे टुकड़े पर 28.9 मिलियन-पैरामीटर मॉडल चलाना बहुत पहले असंभव लगता था, और यह परियोजना ऑन-डिवाइस एआई की ओर व्यापक धक्का का एक ज्वलंत उदाहरण प्रस्तुत करती है जिसे हम अपने दैनिक [एआई उद्योग कवरेज] (https://aibuzzwire.news) में ट्रैक करते हैं। जहां एक समय क्लाउड को किसी भी वास्तविक भाषा मॉडल के लिए अनिवार्य माना जाता था, वहां तेजी से सक्षम सिस्टम किनारे पर घर ढूंढ रहे हैं।
निर्माण के पीछे की संख्याएँ
परियोजना अपनी विशिष्टताओं को स्पष्ट रूप से प्रस्तुत करती है। मॉडल 28.9 मिलियन पैरामीटर संग्रहीत करता है, जिनमें से लगभग 25 मिलियन फ्लैश लुकअप तालिका में रहते हैं। यह 512KB तेज SRAM, 8MB PSRAM और 16MB फ्लैश स्टोरेज के साथ ESP32-S3 चिप पर चलता है। व्यवहार में यह अंत से अंत तक लगभग 9.5 टोकन प्रति सेकंड, या शुद्ध गणना के प्रति सेकंड 9.7 टोकन तक पहुंचता है, और 4-बिट परिशुद्धता पर संग्रहीत होने पर पूरा मॉडल केवल 14.9 मेगाबाइट लेता है।
सबसे उल्लेखनीय वह तुलना है जो लेखक ने पिछले काम से की है। इस वर्ग में चिप पर चलने के लिए ज्ञात अंतिम भाषा मॉडल में केवल 260,000 पैरामीटर थे। नया निर्माण लगभग सौ गुना अधिक है, एक छलांग जो किसी बड़ी चिप से नहीं बल्कि इस बात पर पुनर्विचार करने से आती है कि मॉडल का डेटा वास्तव में कहां रहता है।
जेम्मा से उधार ली गई एक मेमोरी ट्रिक
मुख्य समस्या यह है कि माइक्रोकंट्रोलर में लगभग कोई तेज़ मेमोरी नहीं होती है। ESP32-S3 केवल 512KB SRAM प्रदान करता है, और परंपरागत रूप से पूरे मॉडल को वहां से पहुंचने की आवश्यकता होगी, यही कारण है कि पिछले प्रयास कुछ सौ हजार मापदंडों पर अटके हुए थे।
समाधान एक साधारण अवलोकन पर आधारित है। किसी भाषा मॉडल के अधिकांश पैरामीटर एक एम्बेडिंग तालिका में होते हैं, जिसे मॉडल गणना करने के बजाय पढ़ता है। इसलिए उस विशाल 25-मिलियन-पंक्ति तालिका को दुर्लभ तेज़ मेमोरी में डालने के बजाय, प्रोजेक्ट इसे धीमी फ्लैश स्टोरेज में छोड़ देता है और प्रत्येक टोकन को वास्तव में आवश्यक केवल मुट्ठी भर पंक्तियों को खींचता है, एक समय में लगभग 450 बाइट्स। मॉडल का छोटा हिस्सा जो वास्तविक गणना करता है वह तेज मेमोरी में रहता है, जबकि वजन का बड़ा हिस्सा बस फ्लैश में प्रतीक्षा करता है, एक समय में थोड़ा सा नमूना लिया जाता है।
उस तकनीक को पेर-लेयर एंबेडिंग के रूप में जाना जाता है, और इसकी उत्पत्ति Google के जेम्मा मॉडल, विशेष रूप से जेम्मा 3एन और जेम्मा 4 से हुई, जहां इसे फोन और जीपीयू के लिए डिज़ाइन किया गया था। परियोजना के लेखक के अनुसार, पहले किसी ने भी इतनी छोटी चिप पर इस दृष्टिकोण का प्रयास नहीं किया था।
यह क्या कर सकता है, और क्या नहीं
मॉडल को टिनीस्टोरीज़ पर प्रशिक्षित किया गया था, जो सरल बच्चों की कहानियों का एक डेटासेट है, इसलिए इसकी क्षमताएं जानबूझकर संकीर्ण हैं। यह छोटी, अधिकतर सुसंगत कहानियाँ लिखता है, लेकिन यह तथ्यात्मक प्रश्नों का उत्तर नहीं देगा, जटिल निर्देशों का पालन नहीं करेगा, कोड नहीं लिखेगा, या दुनिया के बारे में तर्क नहीं देगा। लेखक स्पष्ट है कि यह सीमा मॉडल के छोटे तर्क वाले हिस्से से उत्पन्न होती है, और मेमोरी ट्रिक इसे नहीं बदलती है।
इसलिए जो चीज़ परियोजना को दिलचस्प बनाती है वह इसकी आउटपुट गुणवत्ता नहीं बल्कि इसकी वास्तुकला है। उपलब्धि इतने बड़े मॉडल को इतनी छोटी चिप पर फिट करना है, जिससे यह साबित होता है कि फोन और सर्वर पर कुशल मॉडल को शक्ति देने वाली वही तकनीक हार्डवेयर तक पहुंचाई जा सकती है जिसकी लागत एक सैंडविच से भी कम है।
ऑन-डिवाइस AI क्यों मायने रखता है
निहितार्थ एक साफ-सुथरे तकनीकी डेमो से कहीं आगे तक पहुंचते हैं। क्योंकि मॉडल पूरी तरह से चिप पर चलता है, सर्वर पर कभी कुछ नहीं भेजा जाता है। इसका मतलब है कि निर्माण द्वारा पूर्ण गोपनीयता, कोई डेटा डिवाइस नहीं छोड़ता है, और भुगतान करने के लिए कोई क्लाउड बिल नहीं है। दूरदराज के क्षेत्रों, कम-शक्ति वाले उपकरणों, या ऐसी सेटिंग्स में अनुप्रयोगों के लिए जहां कनेक्टिविटी अविश्वसनीय है, यह संयोजन वास्तव में उपयोगी है।
यह एक ऐसे भविष्य की ओर भी इशारा करता है जिसमें छोटे, विशेष मॉडल मुट्ठी भर विशाल डेटा केंद्रों में केंद्रित होने के बजाय अरबों सस्ते एम्बेडेड उपकरणों में वितरित किए जाएंगे। लैपटॉप और फोन पर स्थानीय एआई में रुचि बढ़ाने वाले वही दबाव, अर्थात् कम विलंबता, कम लागत और मजबूत गोपनीयता, माइक्रोकंट्रोलर पैमाने पर और भी अधिक मजबूती से लागू होते हैं।
टिंकर को खुला निमंत्रण
परियोजना अनुमेय एमआईटी लाइसेंस के तहत जारी की गई है, और लेखक ने विस्तृत दस्तावेज़ीकरण और बेंचमार्क परिणामों के साथ GitHub पर पूरा कोड साझा किया है। उस खुलेपन का मतलब है कि अन्य हार्डवेयर डेवलपर दृष्टिकोण का अध्ययन कर सकते हैं, इसे अन्य चिप्स के लिए अनुकूलित कर सकते हैं, या पैरामीटर गिनती को और भी अधिक बढ़ा सकते हैं।
slvDev हैंडल के तहत जारी किया गया, यह कार्य डेवलपर समुदाय के साथ दृढ़ता से प्रतिध्वनित हुआ, हैकर न्यूज़ पर सैकड़ों अपवोट एकत्र हुए और इस बारे में चर्चा हुई कि तकनीक आगे कहाँ तक जा सकती है। यदि प्रवृत्ति कायम रहती है, तो "भाषा मॉडल" और एम्बेडेड सॉफ़्टवेयर के एक साधारण टुकड़े के बीच की रेखा काफी हद तक धुंधली होने वाली है।
एआई से आगे रहें
8 डॉलर के चिप्स से लेकर अरबों डॉलर के डेटा केंद्रों तक, एआई कहां चलता है यह सवाल उतना ही महत्वपूर्ण होता जा रहा है जितना कि एआई क्या कर सकता है। हार्डवेयर परत अधिकांश लोगों की समझ से कहीं अधिक तेज़ी से विकसित हो रही है, और जो परियोजनाएँ आज जिज्ञासा की तरह दिखती हैं वे अक्सर कल की मुख्यधारा को परिभाषित करती हैं। एआई बज़ वायर पर अधिक एआई समाचार पढ़ें एज कंप्यूटिंग, मॉडल दक्षता और ऑन-डिवाइस इंटेलिजेंस में हर सफलता का अनुसरण करने के लिए।
एआई हार्डवेयर क्रांति के साथ बने रहें - एआई बज़ वायर पर जाएं
