Mradi mpya wa programu huria unavutia umakini wa kushughulikia mojawapo ya vizuizi vikali vya kujifunza kwa mashine: kuunda muundo wa lugha ambao hauachi kujifunza. Mradi huu unaoitwa mini-AGI, unajieleza kama mtindo wa kujifunza kila mara, wa kiwango kidogo wa lugha ambao unakusanya usanifu wake, kutoa mafunzo kutoka mwanzo kwenye GPU moja yenye 8GB ya VRAM, na kuendelea kujifunza kutokana na kila kitu inachosoma.
Mradi huo ulionekana kwenye Habari za Hacker mwishoni mwa wiki, ambapo ulipanda hadi zaidi ya alama mia moja, na hazina yake kwenye GitHub imetolewa chini ya leseni ya MIT. Kulingana na README ya mradi, lengo ni kuonyesha kwamba kujifunza kila mara kutoka kwa mtiririko mmoja wa data - bila kusahau kwa janga - kunawezekana hata kwenye maunzi ya kawaida, ya kiwango cha watumiaji. For more context on this story, see our ongoing AI trends.
Uzito kwenye diski, sio kwenye VRAM
Ujanja mkuu nyuma ya mini-AGI ni mpango usio wa kawaida wa usimamizi wa kumbukumbu. Badala ya kushikilia vigezo vyote vya mfano kwenye kumbukumbu ya GPU, mfumo huhifadhi uzani wake kama faili za kawaida kwenye diski na kuziweka kwenye kadi ya michoro kadri zinavyohitajika.
Chaguo hilo la muundo lina matokeo muhimu: hesabu ya parameta ya mfano imefungwa na nafasi ya bure ya diski badala ya VRAM. README inasema kwamba modeli inaweza kukuza uwezo mpya wakati wa mafunzo inapoisha, na kupogoa uwezo ambao hakuna kitu kinachouliza. Mafunzo na makisio hupitia njia ile ile ya msimbo, kwa hivyo hakuna utaratibu tofauti wa kupanga vizuri na hakuna modeli ya msingi iliyogandishwa - kusoma na kufunzwa, kwa maneno ya mradi, ni tukio sawa.
Mfumo huu unalenga Kompyuta au kompyuta ya mkononi iliyo na angalau 8GB VRAM GPU, maunzi ambayo wasanidi wengi tayari wanamiliki.
Kwa nini kuendelea kujifunza ni kugumu
Miundo mingi ya lugha inayopatikana leo hufuata mzunguko wa maisha sawa: maabara hufunza kielelezo, kuifunga na kuisafirisha. Watumiaji wanaweza kurekebisha vizuri kingo, lakini uzani wa msingi hautabadilika tena. Sehemu ya uhamasishaji wa mradi huo inasema kwamba hii inafanya kila modeli inayomilikiwa na mtu binafsi "mfano wa mtu mwingine na safu nyembamba yako juu" - ambayo huacha kujifunza siku ambayo itasafirishwa.
Kikwazo ni kinachojulikana sana katika utafiti wa kujifunza kwa mashine: kusahau kwa janga, tabia ya mitandao ya neural kubatilisha maarifa uliyojifunza hapo awali wakati wa mafunzo juu ya data mpya. Muundo ambao hujifunza kila siku kutoka kwa mtiririko wa kila siku wa habari kwa kawaida huharibu kila kitu ulichojua hapo awali.
README inaangazia vikwazo vilivyounda muundo. Muundo lazima utoshee 8GB ya VRAM - sio kwa ujanibishaji, kwani mafunzo yanahitaji viwango vya juu na hali ya kiboreshaji ambayo huongeza takriban mara tatu ya kumbukumbu ya uzani wenyewe. Na haina budi kusahau, kushikilia kile ambacho tayari imejifunza wakati wa kuchukua nyenzo mpya kutoka kwa mkondo usioisha wa maandishi.
Muundo wa kiwango kidogo unaojijenga
mini-AGI hufanya kazi katika kiwango cha baiti badala ya tokeni, kusoma mtiririko wa herufi kipande kimoja kwa wakati na kuchukua hatua ya upinde rangi kwenye kila fungu. Mradi huo pia unasema mtindo "hukusanya usanifu wake mwenyewe," ukitofautisha na mifano ya kawaida ambayo muundo wao umewekwa na waundaji wao kabla ya mafunzo kuanza.
Njia hiyo ni ya majaribio kwa makusudi. Ni maonyesho madogo ya mfumo wa mafunzo, sio changamoto kwa mifumo ya mipaka.
##Tahadhari muhimu
Mwandishi wa mradi anaelezea kwa uwazi hali ya sasa ya mfumo. Kwa maneno ya README yenyewe, mini-AGI ni "modeli ndogo ya kiwango cha toy," na wasomaji hawapaswi kutarajia uwezo wa kiwango cha mpaka. Lengo la zoezi hilo ni kuonyesha kwamba kujifunza kila mara kutoka kwa mtiririko mmoja wa data bila kusahau kwa janga kunawezekana hata kidogo - na inawezekana kwenye maunzi ambayo karibu kila mtu anaweza kufikia.
Uzito wa modeli bado haujachapishwa. Uendeshaji wa mafunzo bado unakamilisha kibali chake cha kwanza juu ya corpus anayojifunza kutoka, na mwandishi anasema uzito utatolewa mara tu pasi hiyo itakapokamilika, ambayo kwa kiwango cha sasa ni wiki kadhaa kabla. Hadi wakati huo, waangalizi wanaweza kukagua sampuli kutoka kwa historia ya uendeshaji wa mafunzo kwenye ukurasa wa mradi ili kuona jinsi mtindo huo ulivyoboreshwa wakati wa usomaji.
Kwa nini ni muhimu
Iwapo mbinu hiyo itadumu huku kielelezo kikiwa na ukubwa wa uwezo zaidi, inaelekeza kwenye aina tofauti ya umiliki wa AI: miundo ya kibinafsi inayoishi kwenye mashine yako mwenyewe, endelea kujifunza kutoka kwa hati na data unayowalisha, na kamwe usiwe na uzito wao kugandishwa na ratiba ya kutolewa kwa muuzaji.
Mradi pia ni ukumbusho kwamba sio kazi zote za kuvutia katika AI zinazofanyika kwenye mpaka. Na GPU moja ya watumiaji, nafasi ya diski ya kawaida na leseni ya MIT, mini-AGI inajaribu kujibu swali ambalo maabara kubwa zimekwepa - ikiwa mfano unaweza kujengwa ili kujifunza jinsi watu wanavyofanya: mfululizo, kutoka kwa chochote kinachofuata.
Nambari na hati zinapatikana kwenye GitHub kwa mtu yeyote aliye na maunzi yanayolingana ambaye anataka kufuata, kubadilisha mradi, au kuendelea kutoa mafunzo kwa mtindo kama anavyoona inafaa.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
