একটি ওপেন-সোর্স প্রজেক্ট একটি মাইক্রোকন্ট্রোলারে একটি 28.9-মিলিয়ন-প্যারামিটার ল্যাঙ্গুয়েজ মডেল চেপেছে যার দাম প্রায় $8, কোন নেটওয়ার্ক সংযোগ ছাড়াই প্রতি সেকেন্ডে প্রায় নয়টি টোকেনে চিপে সম্পূর্ণ পাঠ্য তৈরি করে৷ GitHub-এ প্রকাশিত এবং দ্রুত হ্যাকার নিউজের প্রথম পৃষ্ঠায় আরোহণ করা এই প্রদর্শনী দেখায় যে ছোট, স্থানীয় এআই-এর সীমানা অল্প সময়ের মধ্যে কতটা এগিয়ে গেছে।
কাজটি ESP32-S3-তে কেন্দ্র করে, একটি সস্তা এমবেডেড চিপ যা শখের মানুষ এবং হার্ডওয়্যার নির্মাতাদের কাছে জনপ্রিয়। সিলিকনের এত ছোট অংশে 28.9-মিলিয়ন-প্যারামিটার মডেল চালানো খুব বেশি দিন আগে অসম্ভব বলে মনে হয়েছিল, এবং এই প্রকল্পটি ডিভাইসে AI এর দিকে বিস্তৃত ধাক্কার একটি প্রাণবন্ত দৃষ্টান্ত প্রদান করে যা আমরা আমাদের দৈনন্দিন AI শিল্প কভারেজ এ ট্র্যাক করি। যেখানে ক্লাউড একবার যেকোন বাস্তব ভাষার মডেলের জন্য বাধ্যতামূলক মনে করেছিল, ক্রমবর্ধমান সক্ষম সিস্টেমগুলি প্রান্তে বাড়িগুলি খুঁজে পাচ্ছে।
বিল্ড পিছনে সংখ্যা
প্রকল্পটি তার স্পেসিফিকেশনগুলি স্পষ্টভাবে তুলে ধরে। মডেলটি 28.9 মিলিয়ন প্যারামিটার সঞ্চয় করে, যার মধ্যে প্রায় 25 মিলিয়ন একটি ফ্ল্যাশ লুকআপ টেবিলে থাকে। এটি 512KB দ্রুত SRAM, 8MB PSRAM এবং 16MB ফ্ল্যাশ স্টোরেজ সহ একটি ESP32-S3 চিপে চলে৷ বাস্তবে এটি প্রতি সেকেন্ড থেকে শেষ পর্যন্ত প্রায় 9.5 টোকেন বা বিশুদ্ধ গণনার প্রতি সেকেন্ডে 9.7 টোকেন পর্যন্ত পৌঁছায় এবং 4-বিট নির্ভুলতায় সংরক্ষণ করা হলে পুরো মডেলটি মাত্র 14.9 মেগাবাইট দখল করে।
সবচেয়ে আকর্ষণীয় হল লেখক পূর্বের কাজের সাথে তুলনা করা। এই শ্রেণীতে একটি চিপে চালানোর জন্য পরিচিত সর্বশেষ ভাষা মডেলটিতে শুধুমাত্র 260,000 প্যারামিটার ছিল। নতুন বিল্ডটি মোটামুটি একশ গুণ বেশি ধারণ করে, একটি লাফ যা একটি বড় চিপ থেকে নয় বরং মডেলের ডেটা আসলে কোথায় থাকে তা পুনর্বিবেচনা থেকে আসে।
একটি মেমরি ট্রিক জেমার কাছ থেকে ধার করা হয়েছে
মূল সমস্যা হল যে একটি মাইক্রোকন্ট্রোলারের প্রায় কোন দ্রুত মেমরি নেই। ESP32-S3 মাত্র 512KB SRAM অফার করে, এবং প্রচলিতভাবে পুরো মডেলটি সেখান থেকে পৌঁছাতে হবে, এই কারণেই আগের প্রচেষ্টা কয়েক লাখ প্যারামিটারে আটকে গিয়েছিল।
সমাধান একটি সাধারণ পর্যবেক্ষণের উপর নির্ভর করে। একটি ভাষা মডেলের বেশিরভাগ প্যারামিটার একটি এম্বেডিং টেবিলে বসে, যা মডেলটি গণনা করার পরিবর্তে পড়ে। তাই সেই বিশাল 25-মিলিয়ন-সারি টেবিলটিকে দুর্লভ দ্রুত মেমরিতে বাধ্য করার পরিবর্তে, প্রকল্পটি এটিকে ধীর গতির ফ্ল্যাশ স্টোরেজে রেখে দেয় এবং প্রতিটি টোকেনের প্রকৃতপক্ষে প্রায় 450 বাইট এক সময়ে প্রয়োজনীয় সারিগুলিকে টেনে নেয়। মডেলের ছোট অংশ যা প্রকৃত গণনা সম্পাদন করে তা দ্রুত মেমরিতে থাকে, যখন ওজনের বেশিরভাগ অংশ কেবল ফ্ল্যাশের জন্য অপেক্ষা করে, এক সময়ে একটু নমুনা করা হয়।
এই কৌশলটি পার-লেয়ার এমবেডিংস নামে পরিচিত, এবং এটি গুগলের জেমা মডেলগুলির সাথে উদ্ভূত হয়েছে, বিশেষ করে জেমা 3n এবং জেমা 4, যেখানে এটি ফোন এবং জিপিইউগুলির জন্য ডিজাইন করা হয়েছিল। প্রকল্পের লেখকের মতে, কেউ এর আগে এত ছোট চিপে পদ্ধতির চেষ্টা করেনি।
এটা কি করতে পারে, আর কি পারে না
মডেলটিকে টিনিস্টোরিজ-এ প্রশিক্ষিত করা হয়েছিল, সাধারণ শিশুদের গল্পের ডেটাসেট, তাই এর ক্ষমতা ইচ্ছাকৃতভাবে সংকীর্ণ। এটি সংক্ষিপ্ত, বেশিরভাগ সুসংগত গল্প লেখে, কিন্তু এটি বাস্তব প্রশ্নের উত্তর দেয় না, জটিল নির্দেশাবলী অনুসরণ করে, কোড লিখতে বা বিশ্ব সম্পর্কে যুক্তি দেয় না। লেখক স্পষ্ট যে এই সীমাবদ্ধতা মডেলের ছোট যুক্তি অংশ থেকে উদ্ভূত, এবং মেমরি কৌশল এটি পরিবর্তন করে না।
যা প্রকল্পটিকে আকর্ষণীয় করে তোলে তাই এর আউটপুট গুণমান নয় বরং এর স্থাপত্য। এই কৃতিত্বটি এই ছোট একটি চিপের উপর এত বড় একটি মডেল ফিট করা, প্রমাণ করে যে একই কৌশলগুলি ফোন এবং সার্ভারে দক্ষ মডেলগুলিকে শক্তি প্রদান করে এমন হার্ডওয়্যারের দিকে ঠেলে দেওয়া যেতে পারে যার দাম একটি স্যান্ডউইচের চেয়েও কম।
ডিভাইসে AI কেন গুরুত্বপূর্ণ
প্রভাবগুলি একটি ঝরঝরে প্রযুক্তিগত ডেমোর বাইরেও পৌঁছায়। যেহেতু মডেলটি সম্পূর্ণভাবে চিপে চলে, তাই সার্ভারে কিছুই পাঠানো হয় না। এর মানে নির্মাণের মাধ্যমে সম্পূর্ণ গোপনীয়তা, ডিভাইস থেকে কোনো ডেটা নেই এবং পরিশোধ করার জন্য কোনো ক্লাউড বিল নেই। প্রত্যন্ত অঞ্চলে অ্যাপ্লিকেশনের জন্য, কম-পাওয়ার ডিভাইস বা সেটিংস যেখানে সংযোগ অবিশ্বস্ত, সেই সংমিশ্রণটি সত্যিকারের দরকারী।
এটি এমন একটি ভবিষ্যতের দিকেও ইঙ্গিত করে যেখানে ছোট, বিশেষায়িত মডেলগুলি মুষ্টিমেয় বিশাল ডেটা সেন্টারগুলিতে কেন্দ্রীভূত না হয়ে বিলিয়ন বিলিয়ন সস্তা এমবেডেড ডিভাইসগুলিতে বিতরণ করা হয়। একই চাপ ল্যাপটপ এবং ফোনে স্থানীয় AI-তে আগ্রহ বাড়ায়, যেমন কম লেটেন্সি, কম খরচ এবং শক্তিশালী গোপনীয়তা, মাইক্রোকন্ট্রোলার স্কেলে আরও জোরে প্রয়োগ করে।
টিঙ্কারের জন্য একটি খোলা আমন্ত্রণ
প্রকল্পটি অনুমোদিত এমআইটি লাইসেন্সের অধীনে প্রকাশ করা হয়েছে, এবং লেখক বিস্তারিত ডকুমেন্টেশন এবং বেঞ্চমার্ক ফলাফল সহ GitHub-এ সম্পূর্ণ কোড ভাগ করেছেন। এই উন্মুক্ততার অর্থ হল অন্যান্য হার্ডওয়্যার বিকাশকারীরা পদ্ধতিটি অধ্যয়ন করতে পারে, এটিকে অন্যান্য চিপগুলির সাথে খাপ খাইয়ে নিতে পারে বা পরামিতি গণনাকে আরও বেশি ঠেলে দিতে পারে।
slvDev হ্যান্ডেলের অধীনে প্রকাশিত, কাজটি বিকাশকারী সম্প্রদায়ের সাথে দৃঢ়ভাবে অনুরণিত হয়েছে, হ্যাকার নিউজে শত শত আপভোট সংগ্রহ করেছে এবং কৌশলটি পরবর্তীতে কোথায় যেতে পারে সে সম্পর্কে আলোচনার প্ররোচনা দিয়েছে। প্রবণতা ধরে রাখলে, একটি "ভাষা মডেল" এবং এমবেডেড সফ্টওয়্যারের একটি সাধারণ অংশের মধ্যে লাইনটি অনেক বেশি অস্পষ্ট হতে চলেছে৷
এআই থেকে এগিয়ে থাকুন
$8 চিপ থেকে বিলিয়ন-ডলার ডেটা সেন্টারে, AI কোথায় চলে সেই প্রশ্নটি AI কী করতে পারে তার মতো গুরুত্বপূর্ণ হয়ে উঠছে। হার্ডওয়্যার স্তরটি বেশিরভাগ লোকের উপলব্ধির চেয়ে দ্রুত বিকশিত হচ্ছে এবং আজকে কৌতূহলের মতো দেখায় এমন প্রকল্পগুলি প্রায়শই আগামীকালের মূলধারাকে সংজ্ঞায়িত করে। AI Buzz Wire-এ আরও AI খবর পড়ুন এজ কম্পিউটিং, মডেলের দক্ষতা এবং ডিভাইসে বুদ্ধিমত্তার প্রতিটি অগ্রগতি অনুসরণ করতে।
এআই হার্ডওয়্যার বিপ্লবের সাথে থাকুন — এআই বাজ ওয়্যার দেখুন
