एका क्षणी जेव्हा फ्रंटियर लॅब डेटा सेंटर्स भरणारे ट्रिलियन-पॅरामीटर मॉडेल तयार करण्यासाठी धाव घेत आहेत, तेव्हा एक विकासक पूर्णपणे दुसऱ्या दिशेने गेला आहे: एक कार्यरत प्रश्न-उत्तर देणारे भाषा मॉडेल जे एका 1980 च्या फ्लॉपी डिस्कवर बसते आणि 486DX मध्ये पाठवण्याइतपत जुन्या CPU वर चालते.

Tiny 2.1 नावाचा हा प्रकल्प Hackaday ने पाहिला आणि या आठवड्यात फ्युचरिझम आणि टॉम्स हार्डवेअरने उचलला. त्याच्या GitHub प्रकल्प पृष्ठानुसार, संपूर्ण मॉडेलचे वजन अंदाजे 380 KB 8-बिट वजन आहे — एका MS-DOS-स्वरूपित फ्लॉपी डिस्कवर आरामात बसू शकेल इतके लहान — आणि चालवण्यासाठी फक्त 540 KB मेमरी आवश्यक आहे. टॉमच्या हार्डवेअरने अहवाल दिला आहे की ते नम्र पीसी स्पीकरद्वारे त्याची उत्तरे देखील बोलतात. तुम्हाला AI ब्रेकिंग अपेक्षांबद्दलच्या कथा आवडत असल्यास, आमच्या नवीनतम AI घडामोडी एज इन्फरन्सपासून ट्रिलियन-पॅरामीटर फ्रंटियर सिस्टमपर्यंत सर्व काही कव्हर करते.

367,000 पॅरामीटर्ससह प्रश्न-उत्तर देणारा ट्रान्सफॉर्मर

लहान 2.1 हे अंदाजे 367,000 पॅरामीटर्ससह एक लहान ट्रान्सफॉर्मर आर्किटेक्चर आहे - "हलके" मॉडेल्सच्या आकाराचा एक अंश जो सामान्यत: कमी अब्जावधींमध्ये मोजला जातो. हे टर्बो सी 2.0 मध्ये लिहिलेले होते आणि MS-DOS वर चालते, 1980 आणि 1990 च्या दशकाच्या सुरुवातीस वैयक्तिक संगणनावर वर्चस्व गाजवणारी ऑपरेटिंग सिस्टम, इंटेल 486DX आणि सुरुवातीच्या पेंटियम पिढ्यांपेक्षा जुन्या मशीन्सना लक्ष्य करते.

त्याचा प्रशिक्षण डेटा अनुरुप लहान आहे: फक्त 3,500 तथ्ये. ती मर्यादा वापरण्याच्या अनुभवाची व्याख्या करते. प्रोजेक्ट पेजवर शेअर केलेल्या स्क्रीनशॉटमध्ये, मॉडेल अचूकपणे उत्तर देते की व्हेल माशांपेक्षा सस्तन प्राणी आहेत आणि टेलिफोनचा शोध लावण्याचे श्रेय अलेक्झांडर ग्रॅहम बेल यांना देते. 17 वेळा 23 ची गणना करण्यास सांगितले, तथापि, ते "96" असे उत्तर देते. आणि फ्रान्सचा राजा कोण आहे असे विचारले असता, तो आत्मविश्वासाने "तो अंटार्स न्यूटन होता" असे उत्तर देतो - 100 टक्के आत्मविश्वास पातळीसह.

क्लॉड सारख्या कामगिरीची अपेक्षा करू नका

फ्युचरिझम स्पष्टपणे नमूद करतो की, मॉडेल "सर्व वेळ खूप उत्तरे बनवते," कारण त्याला जगाबद्दल फारशी माहिती नसते. कोणताही पुनर्प्राप्ती स्तर नाही, कोणतेही साधन वापर नाही, वेब शोध नाही — फक्त एक कॉम्पॅक्ट न्यूरल नेटवर्क आणि जे काही पॅटर्न त्याच्या 3,500-फॅक्ट ट्रेनिंग सेटमधून शोषले गेले.

मॉडेल जे काही करू शकते त्यापेक्षा प्रकल्पाला लक्षणीय बनवते ते त्याचे अस्तित्व दाखवते. आधुनिक LLM अनुमान गिगाबाइट्स मेमरी, GPU प्रवेग आणि किलोवॅट पॉवरशी संबंधित आहे. लहान 2.1 त्याऐवजी ट्रान्सफॉर्मर हार्डवेअरवर संरचित, प्रश्न-उत्तर परस्परसंवाद निर्माण करू शकतो, ज्याबद्दल बोलण्यासाठी फ्लोटिंग-पॉइंट युनिट नाही, फ्लॉपीपलीकडे हार्ड ड्राइव्हची आवश्यकता नाही आणि मदरबोर्ड स्पीकर प्रमाणेच ऑडिओ आउटपुट मार्ग तयार करू शकतो ही संकल्पना सिद्ध करते.

AI सह बनवलेले

एक मेटा ट्विस्ट देखील आहे. प्रकल्प पृष्ठानुसार, विकसकाने प्रत्येक ओळ हाताने लिहिली नाही: त्यांनी मॉडेलचा कोड लिहिण्यास मदत करण्यासाठी अँथ्रोपिकचे फेबल 5.2 आणि प्रशिक्षण प्रक्रियेस समर्थन देण्यासाठी ओपस 5.5 वापरले. दुस-या शब्दात, फ्लॉपी डिस्कवर बसण्याइतपत लहान मॉडेल स्वतःच तयार केले गेले आणि फ्रंटियर-स्केल एआय सिस्टमच्या मदतीने प्रशिक्षित केले गेले - खूप मोठ्या पालकांचे एक लहान वंशज.

तो वर्कफ्लो एआय अभियांत्रिकीमधील एक व्यापक ट्रेंड प्रतिबिंबित करतो, जेथे मोठ्या मॉडेल्स मोठ्या प्रमाणात निर्माण करतात, डीबग करतात आणि सिस्टम ऑप्टिमाइझ करतात जे खूप लहान हार्डवेअरवर चालतात. हाच नमुना आधुनिक एज-एआय टूलचेन्समध्ये दिसून येतो, जेथे क्लाउड-स्केल मॉडेल फोन, मायक्रोकंट्रोलर्स आणि एम्बेडेड उपकरणांसाठी नेटवर्क संकुचित आणि परिमाणित करण्यात मदत करतात.

लहान मॉडेल्स महत्त्वाचे का आहेत

Tiny 2.1 कोणत्याही व्यावसायिक चॅटबॉटला धोका देणार नाही. परंतु यासारखे प्रकल्प मॉडेल कॉम्प्रेशन किती दूर आले आहेत - आणि आवश्यकतेपेक्षा किती ब्लोट निवडले आहे याची एक उपयुक्त आठवण म्हणून काम करतात. ब्राउझर-सक्षम Amigas पासून नेटवर्क केलेल्या 8-बिट मशीनपर्यंत अनेक दशके जुने हार्डवेअर आश्चर्यकारक कार्य करण्यास सक्षम आहे हे दाखवण्यासाठी रेट्रो-कंप्युटिंग उत्साहींनी वर्षे घालवली आहेत. त्या वंशात सामील होणारे भाषा मॉडेल हे पहिले आणि खेळकर आहे.

Tiny 2.1 ला आकार देणारी अभियांत्रिकी मर्यादा देखील कार्यक्षमतेचा क्रॅश कोर्स आहे. 8-बिट वेट फॉरमॅट, शब्दसंग्रह आणि आर्किटेक्चर आकाराचे कार्य आणि हार्डवेअर मर्यादांभोवती डिझाइन केलेले आउटपुट मार्ग अशा सिस्टममध्ये जोडतात जिथे प्रत्येक किलोबाइटचा हिशोब केला जातो. मेनस्ट्रीम डिप्लॉयमेंट्सच्या तुलनेत, जिथे क्वांटायझेशन, छाटणी आणि डिस्टिलेशन हे मोठ्या प्रमाणावर तयार केलेल्या मॉडेल्सवर लागू केलेले पूर्वलक्षी निराकरण आहेत — आणि जिथे एकल चॅट सत्र संपूर्ण टिनी 2.1 रनटाइम गरजांपेक्षा जास्त मेमरी वापरू शकते, त्यात वजन समाविष्ट आहे.

हे AI च्या पॉवर ॲपीटीटच्या आसपास वास्तविक पर्यावरणीय छाननीच्या वेळी देखील उतरते, संशोधक आणि नियामक मोठ्या प्रमाणात प्रशिक्षण आणि अनुमानांच्या ऊर्जा खर्चावर अधिक लक्ष केंद्रित करतात आणि संपूर्ण युनायटेड स्टेट्समध्ये डेटा सेंटर साइटिंग मारामारी सुरू होते. 540 KB मेमरीवर चालणारे मॉडेल आणि 1980 चा वीज पुरवठा हा त्या समस्येवर उपाय नाही — परंतु ते स्पेक्ट्रमच्या दुसऱ्या टोकाचे स्पष्ट उदाहरण आहे: वॅट्समध्ये मोजलेले फूटप्रिंटसह अनुमान, मेगावाट नाही. फ्लॉपी डिस्कपासून गिगावॅट कॅम्पसपर्यंत फील्ड किती लांब आहे याचा मागोवा घेणारे वाचक आमच्या ब्रेकिंग एआय न्यूज मध्ये दोन्ही टोके शोधू शकतात.

आत्तासाठी, Tiny 2.1 चे निर्माते खरोखर दुर्मिळ कामगिरीचा दावा करू शकतात: एक न्यूरल नेटवर्क जे तुम्ही वर्ड प्रोसेसर दस्तऐवज जतन करण्यासाठी वापरत असलेल्या त्याच माध्यमातून स्थापित करू शकता, वेबच्या आधीच्या मशीनवर. हे सतत भ्रमित होते, संपूर्ण आत्मविश्वासाने फ्रेंच राजघराण्यांची ओळख चुकीच्या पद्धतीने मांडते आणि दोन-अंकी संख्यांचा विश्वासार्हपणे गुणाकार करू शकत नाही. हे पूर्णपणे फ्लॉपी डिस्कवर देखील चालते.

AI च्या पुढे रहा

फ्लॉपी-डिस्क मॉडेल्सपासून ते फ्रंटियर लॅबपर्यंत, आम्ही ते सर्व ट्रॅक करतो. अधिक एआय बातम्या वाचा →