ஒரு புதிய திறந்த மூலத் திட்டம் இயந்திரக் கற்றலின் பிடிவாதமான வரம்புகளில் ஒன்றைச் சமாளிப்பதற்கான கவனத்தை ஈர்க்கிறது: கற்றலை நிறுத்தாத மொழி மாதிரியை உருவாக்குதல். மினி-ஏஜிஐ என அழைக்கப்படும் இந்த திட்டம் தன்னை ஒரு தொடர்ச்சியான கற்றல், பைட்-நிலை மொழி மாதிரியாக விவரிக்கிறது, இது அதன் சொந்த கட்டமைப்பை ஒருங்கிணைக்கிறது, 8 ஜிபி VRAM உடன் ஒரு GPU இல் புதிதாக பயிற்சியளிக்கிறது, மேலும் அது படிக்கும் எல்லாவற்றிலிருந்தும் தொடர்ந்து கற்றுக்கொள்கிறது.

இந்த திட்டம் வார இறுதியில் ஹேக்கர் செய்திகளில் வெளிவந்தது, அங்கு அது நூற்றுக்கும் மேற்பட்ட புள்ளிகளை எட்டியது, மேலும் GitHub இல் அதன் களஞ்சியம் MIT உரிமத்தின் கீழ் வெளியிடப்பட்டது. திட்டத்தின் README இன் படி, ஒரு தரவின் தொடர்ச்சியான கற்றல் - பேரழிவு தரும் மறதி இல்லாமல் - மிதமான, நுகர்வோர் தர வன்பொருளில் கூட சாத்தியம் என்பதை நிரூபிப்பதே குறிக்கோள். For more context on this story, see our ongoing artificial intelligence updates.

வட்டில் உள்ள எடைகள், VRAM இல் இல்லை

மினி-ஏஜிஐயின் மைய தந்திரம் வழக்கத்திற்கு மாறான நினைவக மேலாண்மை திட்டமாகும். GPU நினைவகத்தில் அனைத்து மாதிரி அளவுருக்களையும் வைத்திருப்பதற்குப் பதிலாக, கணினி அதன் எடைகளை வட்டில் சாதாரண கோப்புகளாகச் சேமித்து, அவற்றை கிராபிக்ஸ் கார்டில் பக்கங்களுக்குத் தேவைப்படும்.

அந்த வடிவமைப்பு தேர்வு ஒரு குறிப்பிடத்தக்க விளைவைக் கொண்டுள்ளது: மாதிரியின் அளவுரு எண்ணிக்கை VRAM ஐ விட இலவச வட்டு இடத்தால் கட்டுப்படுத்தப்படுகிறது. README ஆனது பயிற்சியின் போது மாடல் புதிய திறனை வளர்த்துக்கொள்ள முடியும் என்று கூறுகிறது. பயிற்சியும் அனுமானமும் ஒரே குறியீட்டுப் பாதையில் இயங்குகின்றன, எனவே தனித்தனியான ஃபைன்-ட்யூனிங் ஆட்சியும் இல்லை மற்றும் உறைந்த அடிப்படை மாதிரியும் இல்லை - படிப்பதும் பயிற்சி பெறுவதும், திட்டத்தின் வார்த்தைகளில், ஒரே நிகழ்வு.

சிஸ்டம் குறைந்தபட்சம் 8ஜிபி VRAM GPU கொண்ட PC அல்லது லேப்டாப்பை இலக்காகக் கொண்டுள்ளது, பல டெவலப்பர்கள் ஏற்கனவே வைத்திருக்கும் வன்பொருள்.

ஏன் தொடர்ந்து கற்றல் கடினமாக உள்ளது

இன்று கிடைக்கும் பெரும்பாலான மொழி மாதிரிகள் அதே வாழ்க்கைச் சுழற்சியைப் பின்பற்றுகின்றன: ஒரு ஆய்வகம் ஒரு மாதிரியைப் பயிற்றுவிக்கிறது, அதை உறைய வைக்கிறது மற்றும் அனுப்புகிறது. பயனர்கள் விளிம்புகளைச் சுற்றி நன்றாக டியூன் செய்யலாம், ஆனால் அடிப்படை எடைகள் மீண்டும் மாறாது. இது தனிப்பட்ட முறையில் சொந்தமான ஒவ்வொரு மாடலையும் "உங்கள் மேல் ஒரு மெல்லிய அடுக்குடன் வேறொருவரின் மாதிரியாக" ஆக்குகிறது என்று திட்டத்தின் ஊக்கப் பிரிவு வாதிடுகிறது - இது அனுப்பப்படும் நாளில் கற்றுக்கொள்வதை நிறுத்துகிறது.

இயந்திர கற்றல் ஆராய்ச்சியில் தடையானது நன்கு அறியப்பட்ட ஒன்றாகும்: பேரழிவு மறதி, புதிய தரவுகளில் பயிற்சியளிக்கப்படும் போது முன்னர் கற்ற அறிவை மேலெழுதும் நரம்பியல் நெட்வொர்க்குகளின் போக்கு. தினசரி தகவலின் மூலம் தொடர்ந்து கற்றுக் கொள்ளும் ஒரு மாதிரியானது, முன்பு அறிந்த அனைத்தையும் பொதுவாகக் குறைக்கிறது.

வடிவமைப்பை வடிவமைத்த கட்டுப்பாடுகளை README கோடிட்டுக் காட்டுகிறது. மாடல் 8 ஜிபி VRAM இல் பொருந்த வேண்டும் - அளவீடுகளுடன் அல்ல, ஏனெனில் பயிற்சிக்கு சாய்வு மற்றும் உகப்பாக்கி நிலை தேவைப்படுகிறது, இது எடையின் நினைவகத்தை விட மூன்று மடங்கு அதிகமாக சேர்க்கிறது. முடிவில்லாத உரையிலிருந்து புதிய விஷயங்களை உள்வாங்கும் போது ஏற்கனவே கற்றுக்கொண்டவற்றைப் பிடித்துக் கொண்டு அதை மறந்துவிடக் கூடாது.

தன்னை உருவாக்கிக் கொள்ளும் ஒரு பைட்-நிலை மாதிரி

மினி-ஏஜிஐ டோக்கன்களை விட பைட் மட்டத்தில் இயங்குகிறது, ஒரு நேரத்தில் ஒரு துண்டாக எழுத்துக்களைப் படிக்கிறது மற்றும் ஒவ்வொரு துண்டிலும் ஒரு சாய்வு படியை எடுக்கிறது. இந்த மாதிரியானது "அதன் சொந்த கட்டிடக்கலையை ஒருங்கிணைக்கிறது" என்று கூறுகிறது, இது வழக்கமான மாடல்களில் இருந்து வேறுபடுத்தி, பயிற்சி தொடங்கும் முன் அதன் கட்டமைப்பை உருவாக்குபவர்களால் நிர்ணயிக்கப்பட்டது.

அணுகுமுறை வேண்டுமென்றே சோதனைக்குரியது. இது ஒரு பயிற்சி முறையின் சிறிய அளவிலான ஆர்ப்பாட்டம், எல்லை அமைப்புகளுக்கு ஒரு சவால் அல்ல.

முக்கியமான எச்சரிக்கைகள்

திட்டத்தின் ஆசிரியர் கணினியின் தற்போதைய நிலையைப் பற்றி வெளிப்படையாகக் கூறுகிறார். README இன் சொந்த வார்த்தைகளில், mini-AGI என்பது "ஒரு சிறிய பொம்மை-நிலை மாதிரி" மற்றும் வாசகர்கள் எல்லை-நிலை திறன்களை எதிர்பார்க்கக்கூடாது. பேரழிவு தரும் மறதி இல்லாமல் ஒரு தரவு ஸ்ட்ரீமில் இருந்து தொடர்ந்து கற்றல் சாத்தியம் - மற்றும் கிட்டத்தட்ட எவரும் அணுகக்கூடிய வன்பொருளில் சாத்தியம் என்பதை காட்டுவதே பயிற்சியின் முக்கிய அம்சமாகும்.

மாடலின் எடைகள் இன்னும் வெளியிடப்படவில்லை. பயிற்சி ஓட்டம் அது கற்றுக்கொண்ட கார்பஸ் மீது அதன் முதல் தேர்ச்சியை இன்னும் நிறைவு செய்கிறது, மேலும் அந்த பாஸ் முடிந்ததும் எடைகள் வெளியிடப்படும் என்று ஆசிரியர் கூறுகிறார், இது தற்போதைய விகிதத்தில் இரண்டு வாரங்கள் ஆகும். அதுவரை, படிப்பின் போது மாதிரி எவ்வாறு மேம்பட்டுள்ளது என்பதைப் பார்க்க, பார்வையாளர்கள் திட்டப் பக்கத்தில் உள்ள பயிற்சியின் வரலாற்றிலிருந்து மாதிரிகளை ஆய்வு செய்யலாம்.

அது ஏன் முக்கியம்

இந்த அணுகுமுறையானது மாடல் அதிக திறன் கொண்ட அளவுகளில் இருந்தால், அது வேறு வகையான AI உரிமையை நோக்கிச் செல்கிறது: உங்கள் சொந்த கணினியில் வாழும் தனிப்பட்ட மாதிரிகள், நீங்கள் அவர்களுக்கு உணவளிக்கும் ஆவணங்கள் மற்றும் தரவுகளிலிருந்து கற்றுக்கொண்டே இருங்கள், மேலும் விற்பனையாளரின் வெளியீட்டு அட்டவணையால் அவற்றின் எடைகள் ஒருபோதும் முடக்கப்படாது.

AI இல் உள்ள அனைத்து சுவாரஸ்யமான வேலைகளும் எல்லையில் நடக்கவில்லை என்பதை இந்த திட்டம் நினைவூட்டுகிறது. ஒரு ஒற்றை நுகர்வோர் GPU, சாதாரண வட்டு இடம் மற்றும் MIT உரிமத்துடன், mini-AGI ஆனது, பெரிய ஆய்வகங்கள் பெருமளவில் ஒதுங்கிவிட்ட கேள்விக்கு பதிலளிக்க முயற்சிக்கிறது - மக்கள் செய்யும் விதத்தை அறிய ஒரு மாதிரியை உருவாக்க முடியுமா: தொடர்ந்து, அது அடுத்து என்ன சந்திக்கிறதோ அதிலிருந்து.

இணக்கமான வன்பொருளைக் கொண்ட எவருக்கும், ப்ராஜெக்ட்டைப் பின்தொடர, அல்லது தங்களுக்குத் தேவையான மாதிரியை தொடர்ந்து பயிற்சி செய்ய விரும்பும் எவருக்கும் குறியீடு மற்றும் ஆவணங்கள் GitHub இல் கிடைக்கின்றன.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →