একটি মুহুর্তে যখন ফ্রন্টিয়ার ল্যাবগুলি ট্রিলিয়ন-প্যারামিটার মডেলগুলি তৈরি করতে দৌড়াচ্ছে যা ডেটা কেন্দ্রগুলি পূরণ করে, একজন বিকাশকারী সম্পূর্ণভাবে অন্য দিকে চলে গেছে: একটি কার্যকরী প্রশ্ন-উত্তর দেওয়ার ভাষা মডেল যা একটি একক 1980-এর ফ্লপি ডিস্কে ফিট করে এবং একটি 486DX এর ভিতরে পাঠানোর জন্য যথেষ্ট পুরানো CPU-তে চলে৷

Tiny 2.1 নামক প্রকল্পটি Hackaday দ্বারা দেখা গেছে এবং এই সপ্তাহে ফিউচারিজম এবং টমস হার্ডওয়্যার দ্বারা বাছাই করা হয়েছে। এর গিটহাব প্রকল্পের পৃষ্ঠা অনুসারে, সম্পূর্ণ মডেলটির ওজন প্রায় 380 KB 8-বিট ওজনের - একটি MS-DOS-ফরম্যাটেড ফ্লপি ডিস্কে আরামদায়কভাবে ফিট করার জন্য যথেষ্ট ছোট - এবং চালানোর জন্য মাত্র 540 KB মেমরির প্রয়োজন৷ টমের হার্ডওয়্যার রিপোর্ট করে যে এটি নম্র পিসি স্পিকারের মাধ্যমে তার উত্তরগুলিও বলে। আপনি যদি AI ব্রেকিং প্রত্যাশার গল্পগুলি উপভোগ করেন, তাহলে আমাদের সর্বশেষ AI উন্নয়ন এজ ইনফারেন্স থেকে ট্রিলিয়ন-প্যারামিটার ফ্রন্টিয়ার সিস্টেম পর্যন্ত সবকিছুই কভার করে।

367,000 প্যারামিটার সহ একটি প্রশ্ন-উত্তরকারী ট্রান্সফরমার

Tiny 2.1 হল একটি ছোট ট্রান্সফরমার আর্কিটেকচার যার প্রায় 367,000 প্যারামিটার রয়েছে - "হালকা" মডেলগুলির আকারের একটি ভগ্নাংশ যা সাধারণত কম বিলিয়নে পরিমাপ করে। এটি Turbo C 2.0-এ লেখা ছিল এবং MS-DOS-এ চলে, অপারেটিং সিস্টেম যা 1980 এবং 1990-এর দশকের গোড়ার দিকে ব্যক্তিগত কম্পিউটিং-এ আধিপত্য বিস্তার করেছিল, Intel 486DX এবং প্রথম দিকের পেন্টিয়াম প্রজন্মের মতো পুরানো মেশিনগুলিকে লক্ষ্য করে।

এর প্রশিক্ষণের ডেটা অনুরূপভাবে ক্ষুদ্র: মাত্র 3,500টি তথ্য। সেই সীমাবদ্ধতা এটি ব্যবহারের অভিজ্ঞতাকে সংজ্ঞায়িত করে। প্রকল্পের পৃষ্ঠায় ভাগ করা একটি স্ক্রিনশটে, মডেলটি সঠিকভাবে উত্তর দেয় যে তিমিরা মাছের চেয়ে স্তন্যপায়ী প্রাণী এবং টেলিফোন আবিষ্কারের জন্য আলেকজান্ডার গ্রাহাম বেলকে সঠিকভাবে কৃতিত্ব দেয়। 17 বার 23 গণনা করতে বলা হলেও, এটি "96" উত্তর দেয়। এবং ফ্রান্সের রাজা কে জিজ্ঞাসা করা হয়েছিল, এটি আত্মবিশ্বাসের সাথে উত্তর দেয় "এটি ছিল আন্টারস নিউটন" - 100 শতাংশের আত্মবিশ্বাসের স্তরের সাথে।

ক্লডের মতো পারফরম্যান্স আশা করবেন না

যেমন ফিউচারিজম স্পষ্টভাবে নোট করে, মডেলটি "সব সময় উত্তর দেয়," কারণ এটি কেবল বিশ্ব সম্পর্কে খুব বেশি কিছু জানে না। কোনও পুনরুদ্ধার স্তর নেই, কোনও সরঞ্জাম ব্যবহার নেই, কোনও ওয়েব অনুসন্ধান নেই — কেবল একটি কমপ্যাক্ট নিউরাল নেটওয়ার্ক এবং এটির 3,500-ফ্যাক্ট ট্রেনিং সেট থেকে যে কোনও প্যাটার্ন শোষিত হয়েছে৷

যেটি প্রকল্পটিকে উল্লেখযোগ্য করে তোলে তার অস্তিত্ব যা প্রদর্শন করে তার চেয়ে মডেলটি যা করতে পারে তা কম। আধুনিক LLM অনুমান গিগাবাইট মেমরি, GPU ত্বরণ এবং কিলোওয়াট শক্তির সাথে যুক্ত। Tiny 2.1 এর পরিবর্তে এই ধারণাটি প্রমাণ করে যে একটি ট্রান্সফরমার হার্ডওয়্যারে কাঠামোগত, প্রশ্ন-উত্তর মিথস্ক্রিয়া তৈরি করতে পারে যার কথা বলার জন্য কোনও ফ্লোটিং-পয়েন্ট ইউনিট নেই, ফ্লপির বাইরে কোনও হার্ড ড্রাইভের প্রয়োজনীয়তা নেই এবং একটি মাদারবোর্ড স্পিকারের মতো আদিম অডিও আউটপুট পথ।

এআই এআই দিয়ে তৈরি

এছাড়াও একটি মেটা টুইস্ট আছে। প্রকল্পের পৃষ্ঠা অনুসারে, বিকাশকারী প্রতিটি লাইন হাতে লেখেননি: তারা মডেলের কোড লিখতে সাহায্য করার জন্য অ্যানথ্রপিকস ফেবল 5.2 এবং প্রশিক্ষণ প্রক্রিয়াটিকে সমর্থন করার জন্য ওপাস 5.5 ব্যবহার করেছিল। অন্য কথায়, ফ্লপি ডিস্কে ফিট করার জন্য যথেষ্ট ছোট একটি মডেল নিজেই রচিত হয়েছিল এবং ফ্রন্টিয়ার-স্কেল এআই সিস্টেমের সহায়তায় প্রশিক্ষিত হয়েছিল - খুব বড় পিতামাতার একটি ক্ষুদ্র বংশধর।

সেই ওয়ার্কফ্লোটি AI ইঞ্জিনিয়ারিং-এ একটি বিস্তৃত প্রবণতাকে প্রতিফলিত করে, যেখানে বড় মডেলগুলি ক্রমবর্ধমানভাবে তৈরি করে, ডিবাগ করে এবং সিস্টেমগুলিকে অপ্টিমাইজ করে যা অনেক ছোট হার্ডওয়্যারে চলে। একই প্যাটার্ন আধুনিক এজ-এআই টুলচেইনগুলিতে দেখা যায়, যেখানে ক্লাউড-স্কেল মডেলগুলি ফোন, মাইক্রোকন্ট্রোলার এবং এমবেডেড ডিভাইসগুলির জন্য নেটওয়ার্কগুলিকে সংকুচিত এবং পরিমাপ করতে সহায়তা করে।

কেন ক্ষুদ্র মডেলগুলি গুরুত্বপূর্ণ

Tiny 2.1 কোনো বাণিজ্যিক চ্যাটবটকে হুমকি দেবে না। কিন্তু এর মতো প্রকল্পগুলি মডেল কম্প্রেশন কতদূর এসেছে তার একটি দরকারী অনুস্মারক হিসাবে কাজ করে - এবং প্রয়োজনের পরিবর্তে কতটা ফোলা পছন্দ। রেট্রো-কম্পিউটিং উত্সাহীরা কয়েক বছর ধরে দেখিয়েছেন যে কয়েক দশক পুরানো হার্ডওয়্যার ব্রাউজার-সক্ষম অ্যামিগাস থেকে নেটওয়ার্কযুক্ত 8-বিট মেশিন পর্যন্ত বিস্ময়কর কাজ করতে সক্ষম। সেই বংশে যোগদানকারী একটি ভাষা মডেল প্রথম, এবং একটি কৌতুকপূর্ণ।

প্রকৌশলগত সীমাবদ্ধতাগুলি যা টিনি 2.1কে আকার দিয়েছে তাও দক্ষতার একটি ক্র্যাশ কোর্স। একটি 8-বিট ওজন বিন্যাস, একটি শব্দভাণ্ডার এবং কাজের আকারের আর্কিটেকচার, এবং হার্ডওয়্যার সীমাবদ্ধতার চারপাশে ডিজাইন করা একটি আউটপুট পথ এমন একটি সিস্টেমে যোগ করে যেখানে প্রতিটি কিলোবাইটের জন্য হিসাব করা হয়। মূলধারার স্থাপনার সাথে তুলনা করুন, যেখানে পরিমাপকরণ, ছাঁটাই এবং পাতন অনেক বড় স্কেলে নির্মিত মডেলগুলিতে প্রয়োগ করা হয় পূর্ববর্তী সংশোধন - এবং যেখানে একটি একক চ্যাট সেশন সমগ্র ক্ষুদ্র 2.1 রানটাইম প্রয়োজনের চেয়ে বেশি মেমরি গ্রহণ করতে পারে, ওজন অন্তর্ভুক্ত।

এটি AI এর পাওয়ার ক্ষুধা ঘিরে বাস্তব পরিবেশগত যাচাই-বাছাইয়ের সময়েও অবতরণ করে, গবেষকরা এবং নিয়ন্ত্রকরা ক্রমবর্ধমানভাবে বৃহৎ-স্কেল প্রশিক্ষণ এবং অনুমানের শক্তি ব্যয়ের উপর দৃষ্টি নিবদ্ধ করে এবং মার্কিন যুক্তরাষ্ট্র জুড়ে ডেটা সেন্টার সাইটিং মারামারি চলছে। একটি মডেল যা 540 KB মেমরি এবং 1980-এর দশকের পাওয়ার সাপ্লাইতে চলে তা সেই সমস্যার সমাধান নয় — তবে এটি বর্ণালীর অন্য প্রান্তের একটি প্রাণবন্ত দৃষ্টান্ত: মেগাওয়াট নয়, ওয়াটে পরিমাপ করা পায়ের ছাপের সাহায্যে অনুমান। ফ্লপি ডিস্ক থেকে গিগাওয়াট ক্যাম্পাস পর্যন্ত ক্ষেত্রটি কতদূর প্রসারিত হয়েছে তা ট্র্যাক করা পাঠকরা আমাদের ব্রেকিং এআই নিউজ এ উভয় প্রান্ত খুঁজে পেতে পারেন।

আপাতত, Tiny 2.1 এর নির্মাতা একটি সত্যিকারের বিরল কৃতিত্ব দাবি করতে পারে: একটি নিউরাল নেটওয়ার্ক যা আপনি একই মাধ্যম থেকে ইনস্টল করতে পারেন যা আপনি একটি ওয়ার্ড প্রসেসর ডকুমেন্ট সংরক্ষণ করতে ব্যবহার করবেন, এমন একটি মেশিনে যা ওয়েবের পূর্ববর্তী। এটি ক্রমাগত হ্যালুসিনেশন করে, সম্পূর্ণ আত্মবিশ্বাসের সাথে ফরাসি রাজপরিবারের পরিচয় ভুল উদ্ধৃত করে এবং দুই-অঙ্কের সংখ্যাকে নির্ভরযোগ্যভাবে গুণ করতে পারে না। এটি সম্পূর্ণভাবে একটি ফ্লপি ডিস্কে চলে।

এআই থেকে এগিয়ে থাকুন

ফ্লপি-ডিস্ক মডেল থেকে ফ্রন্টিয়ার ল্যাব পর্যন্ত, আমরা এটি সব ট্র্যাক করি। আরও এআই খবর পড়ুন →