ஒரு திறந்த மூல திட்டமானது 28.9 மில்லியன் அளவுரு மொழி மாதிரியை மைக்ரோகண்ட்ரோலரில் பிழிந்துள்ளது, அதன் விலை சுமார் $8 ஆகும், நெட்வொர்க் இணைப்பு இல்லாமல் ஒரு நொடிக்கு சுமார் ஒன்பது டோக்கன்களில் உரையை முழுவதுமாக சிப்பில் உருவாக்குகிறது. GitHub இல் வெளியிடப்பட்ட இந்த ஆர்ப்பாட்டம் மற்றும் ஹேக்கர் நியூஸ் முதல் பக்கத்தில் வேகமாக ஏறியது, சிறிய, உள்ளூர் AI இன் எல்லை குறுகிய காலத்தில் எவ்வளவு தூரம் நகர்ந்துள்ளது என்பதைக் காட்டுகிறது.
பொழுதுபோக்காளர்கள் மற்றும் வன்பொருள் தயாரிப்பாளர்கள் மத்தியில் பிரபலமான ஒரு மலிவான உட்பொதிக்கப்பட்ட சிப், ESP32-S3 இல் வேலை மையங்கள். 28.9-மில்லியன் அளவுரு மாதிரியை இவ்வளவு சிறிய சிலிக்கானில் இயக்குவது நீண்ட காலத்திற்கு முன்பே நம்பமுடியாததாகத் தோன்றியிருக்கும், மேலும் எங்கள் தினசரி AI இன்டண்டஸ்ட் கவரேஜ் இல் நாம் கண்காணிக்கும் சாதனத்தில் AI ஐ நோக்கிய பரந்த உந்துதலைப் பற்றிய தெளிவான விளக்கத்தை இந்தத் திட்டம் வழங்குகிறது. எந்தவொரு உண்மையான மொழி மாதிரிக்கும் மேகம் ஒருமுறை கட்டாயமாக உணர்ந்தால், பெருகிய முறையில் திறமையான அமைப்புகள் விளிம்பில் வீடுகளைக் கண்டறிகின்றன.
கட்டமைப்பின் பின்னால் உள்ள எண்கள்
திட்டம் அதன் விவரக்குறிப்புகளை தெளிவாக வழங்குகிறது. மாடல் 28.9 மில்லியன் அளவுருக்களை சேமிக்கிறது, அதில் சுமார் 25 மில்லியன் ஃபிளாஷ் தேடுதல் அட்டவணையில் வாழ்கிறது. இது 512KB வேகமான SRAM, 8MB PSRAM மற்றும் 16MB ஃபிளாஷ் சேமிப்பகத்துடன் ESP32-S3 சிப்பில் இயங்குகிறது. நடைமுறையில், இது ஒரு நொடிக்கு 9.5 டோக்கன்கள் அல்லது தூய கணக்கீட்டின் ஒரு நொடிக்கு 9.7 டோக்கன்களை அடைகிறது, மேலும் 4-பிட் துல்லியத்தில் சேமிக்கப்படும் போது முழு மாதிரியும் வெறும் 14.9 மெகாபைட்களை மட்டுமே ஆக்கிரமிக்கிறது.
ஆசிரியர் முந்தைய படைப்புகளுடன் ஒப்பிடுவது மிகவும் குறிப்பிடத்தக்கது. இந்த வகுப்பில் சிப்பில் இயங்கும் கடைசி மொழி மாதிரியானது 260,000 அளவுருக்களை மட்டுமே கொண்டிருந்தது. புதிய உருவாக்கம் ஏறக்குறைய நூறு மடங்கு அதிகமாக உள்ளது, இது ஒரு பெரிய சிப்பில் இருந்து அல்ல, ஆனால் மாடலின் தரவு உண்மையில் எங்கு வாழ்கிறது என்பதை மறுபரிசீலனை செய்வதிலிருந்து வருகிறது.
ஒரு நினைவாற்றல் தந்திரம் ஜெம்மாவிடம் இருந்து கடன் வாங்கப்பட்டது
முக்கிய பிரச்சனை என்னவென்றால், மைக்ரோகண்ட்ரோலருக்கு வேகமான நினைவகம் இல்லை. ESP32-S3 வெறும் 512KB SRAM ஐ வழங்குகிறது, மேலும் வழக்கமாக முழு மாடலையும் அங்கிருந்து அடைய வேண்டும், அதனால்தான் முந்தைய முயற்சிகள் சில லட்சம் அளவுருக்களில் சிக்கிக்கொண்டன.
தீர்வு ஒரு எளிய கவனிப்பில் தங்கியுள்ளது. ஒரு மொழி மாதிரியின் பெரும்பாலான அளவுருக்கள் ஒரு உட்பொதிவு அட்டவணையில் அமர்ந்திருக்கும், அந்த மாதிரியானது கணக்கிடுவதற்குப் பதிலாக படிக்கும். எனவே 25 மில்லியன் வரிசை அட்டவணையை பற்றாக்குறையான வேகமான நினைவகத்தில் கட்டாயப்படுத்துவதற்குப் பதிலாக, திட்டமானது அதை மெதுவான ஃபிளாஷ் சேமிப்பகத்தில் விட்டுவிட்டு, ஒவ்வொரு டோக்கனுக்கும் உண்மையில் தேவைப்படும் ஒரு சில வரிசைகளை மட்டுமே இழுக்கிறது, அதாவது ஒரு நேரத்தில் 450 பைட்டுகள். உண்மையான கணக்கீட்டைச் செய்யும் மாதிரியின் சிறிய பகுதி வேகமான நினைவகத்தில் இருக்கும், அதே நேரத்தில் எடைகளின் பெரும்பகுதி ஃபிளாஷ் காத்திருக்கிறது, ஒரு நேரத்தில் சிறிது மாதிரியாக இருக்கும்.
அந்த நுட்பம் பெர்-லேயர் எம்பெடிங்ஸ் என்று அழைக்கப்படுகிறது, மேலும் இது கூகிளின் ஜெம்மா மாடல்களில் இருந்து உருவானது, குறிப்பாக ஜெம்மா 3n மற்றும் ஜெம்மா 4, இது ஃபோன்கள் மற்றும் GPUகளுக்காக வடிவமைக்கப்பட்டது. திட்டத்தின் ஆசிரியரின் கூற்றுப்படி, இதற்கு முன்பு யாரும் இந்த சிறிய சிப்பில் அணுகுமுறையை முயற்சித்ததில்லை.
அது என்ன செய்ய முடியும், என்ன செய்ய முடியாது
எளிய குழந்தைகளின் கதைகளின் தரவுத்தொகுப்பான TinyStories இல் இந்த மாதிரி பயிற்சியளிக்கப்பட்டது, எனவே அதன் திறன்கள் வேண்டுமென்றே குறுகியதாக இருக்கும். இது குறுகிய, பெரும்பாலும் ஒத்திசைவான கதைகளை எழுதுகிறது, ஆனால் அது உண்மை கேள்விகளுக்கு பதிலளிக்காது, சிக்கலான வழிமுறைகளைப் பின்பற்றாது, குறியீட்டை எழுதாது அல்லது உலகத்தைப் பற்றிய காரணத்தை எழுதாது. இந்த வரம்பு மாதிரியின் சிறிய பகுத்தறிவு பகுதியிலிருந்து உருவாகிறது என்றும், நினைவக தந்திரம் அதை மாற்றாது என்றும் ஆசிரியர் நேர்மையாக இருக்கிறார்.
திட்டத்தை சுவாரஸ்யமாக்குவது அதன் வெளியீட்டுத் தரம் அல்ல, ஆனால் அதன் கட்டமைப்பு. ஃபோன்கள் மற்றும் சர்வர்களில் திறமையான மாடல்களை இயக்கும் அதே நுட்பங்கள் சாண்ட்விச்சைக் காட்டிலும் குறைவான விலையுள்ள வன்பொருளுக்குத் தள்ளப்படலாம் என்பதை நிரூபிப்பதன் மூலம், இந்தச் சிறிய சிப்பில் ஒரு மாடலைப் பொருத்துவதுதான் சாதனை.
ஏன் சாதனத்தில் AI முக்கியமானது
ஒரு நேர்த்தியான தொழில்நுட்ப டெமோவிற்கு அப்பால் தாக்கங்கள் அடையும். மாடல் முழுவதும் சிப்பில் இயங்குவதால், சர்வருக்கு எதுவும் அனுப்பப்படாது. அதாவது கட்டுமானத்தின் மூலம் மொத்த தனியுரிமை, சாதனத்திலிருந்து தரவு எதுவும் வெளியேறவில்லை, மேலும் செலுத்துவதற்கு கிளவுட் பில் எதுவும் இல்லை. தொலைதூரப் பகுதிகளில் உள்ள பயன்பாடுகள், குறைந்த சக்தி சாதனங்கள் அல்லது இணைப்பு நம்பகத்தன்மையற்ற அமைப்புகளுக்கு, அந்த கலவை உண்மையிலேயே பயனுள்ளதாக இருக்கும்.
ஒரு சில மாபெரும் தரவு மையங்களில் கவனம் செலுத்துவதற்குப் பதிலாக பில்லியன் கணக்கான மலிவான உட்பொதிக்கப்பட்ட சாதனங்களில் சிறிய, சிறப்பு மாதிரிகள் விநியோகிக்கப்படும் எதிர்காலத்தையும் இது சுட்டிக்காட்டுகிறது. மடிக்கணினிகள் மற்றும் ஃபோன்களில் உள்ளூர் AI மீதான ஆர்வத்தைத் தூண்டும் அதே அழுத்தங்கள், அதாவது குறைந்த தாமதம், குறைந்த விலை மற்றும் வலுவான தனியுரிமை, மைக்ரோகண்ட்ரோலர் அளவில் இன்னும் வலுவாகப் பொருந்தும்.
டிங்கருக்கு ஒரு திறந்த அழைப்பு
இந்த திட்டம் அனுமதிக்கப்பட்ட MIT உரிமத்தின் கீழ் வெளியிடப்பட்டது, மேலும் விரிவான ஆவணங்கள் மற்றும் முக்கிய முடிவுகளுடன் GitHub இல் முழு குறியீட்டையும் ஆசிரியர் பகிர்ந்துள்ளார். அந்த திறந்தநிலை என்பது மற்ற வன்பொருள் டெவலப்பர்கள் அணுகுமுறையைப் படிக்கலாம், மற்ற சில்லுகளுக்கு மாற்றியமைக்கலாம் அல்லது அளவுரு எண்ணிக்கையை இன்னும் அதிகமாகத் தள்ளலாம்.
slvDev கைப்பிடியின் கீழ் வெளியிடப்பட்டது, இந்த வேலை டெவலப்பர் சமூகத்துடன் வலுவாக எதிரொலித்தது, ஹேக்கர் செய்திகளில் நூற்றுக்கணக்கான ஆதரவை சேகரித்து, நுட்பம் அடுத்து எங்கு பயணிக்கலாம் என்பது பற்றிய விவாதத்தைத் தூண்டியது. இந்த போக்கு தொடர்ந்தால், "மொழி மாதிரி" மற்றும் ஒரு சாதாரண உட்பொதிக்கப்பட்ட மென்பொருளுக்கு இடையே உள்ள கோடு மிகவும் மங்கலாகிவிடும்.
AIக்கு முன்னால் இருங்கள்
$8 சில்லுகள் முதல் பில்லியன் டாலர் தரவு மையங்கள் வரை, AI என்ன செய்ய முடியும் என்பதைப் போலவே AI எங்கு இயங்குகிறது என்ற கேள்வியும் முக்கியமானது. வன்பொருள் அடுக்கு பெரும்பாலான மக்கள் உணர்ந்ததை விட வேகமாக உருவாகி வருகிறது, மேலும் இன்று ஆர்வமாக இருக்கும் திட்டங்கள் பெரும்பாலும் நாளை முக்கிய நீரோட்டத்தை வரையறுக்கின்றன. AI Buzz Wire இல் மேலும் AI செய்திகளைப் படிக்கவும் எட்ஜ் கம்ப்யூட்டிங், மாடல் செயல்திறன் மற்றும் சாதனத்தில் உள்ள நுண்ணறிவு ஆகியவற்றின் ஒவ்வொரு முன்னேற்றத்தையும் பின்பற்றவும்.
AI வன்பொருள் புரட்சியுடன் தொடர்ந்து இருங்கள் — AI Buzz Wire ஐப் பார்வையிடவும்
