Mradi wa programu huria umebana modeli ya lugha ya kigezo cha milioni 28.9 kwenye kidhibiti kidogo kinachogharimu takriban $8, na kutengeneza maandishi kwenye chipu kwa takriban tokeni tisa kwa sekunde bila muunganisho wa mtandao hata kidogo. Maonyesho hayo, yaliyochapishwa kwenye GitHub na kupanda kwa kasi ukurasa wa mbele wa Hacker News, yanaonyesha jinsi mpaka wa AI ndogo ya ndani umesogea kwa muda mfupi tu.
Vituo vya kazi ni ESP32-S3, chipu iliyopachikwa ya bei nafuu inayopendwa na wapenda hobby na waundaji maunzi. Kuendesha kielelezo cha kigezo cha milioni 28.9 kwenye kipande kidogo kama hicho cha silikoni kungeonekana kuwa jambo lisilowezekana muda mrefu uliopita, na mradi unatoa kielelezo wazi cha msukumo mpana kuelekea AI ya kifaa ambayo tunafuatilia katika utangazaji wetu wa kila siku wa tasnia ya AI. Ambapo wingu lilihisi kuwa la lazima kwa muundo wowote wa lugha halisi, mifumo inayozidi uwezo inapata nyumba ukingoni.
Nambari nyuma ya muundo
Mradi unaweka wazi maelezo yake. Mfano huo huhifadhi vigezo milioni 28.9, ambavyo karibu milioni 25 huishi kwenye meza ya kuangalia flash. Inatumia chipu ya ESP32-S3 yenye 512KB ya SRAM ya haraka, 8MB ya PSRAM, na 16MB ya hifadhi ya flash. Kwa mazoezi hufikia takriban tokeni 9.5 kwa kila mwisho wa pili hadi mwisho, au ishara 9.7 kwa sekunde ya compute safi, na mtindo mzima unachukua megabytes 14.9 tu wakati umehifadhiwa kwa usahihi wa 4-bit.
La kushangaza zaidi ni ulinganisho ambao mwandishi huchota na kazi ya hapo awali. Muundo wa mwisho wa lugha unaojulikana kutumia chip katika darasa hili ulikuwa na vigezo 260,000 pekee. Muundo mpya unashikilia takriban mara mia zaidi, mruko ambao hautokani na chip kubwa zaidi lakini kutokana na kufikiria upya ni wapi data ya modeli hiyo inaishi.
Mbinu ya kumbukumbu iliyokopwa kutoka kwa Gemma
Tatizo la msingi ni kwamba microcontroller ina karibu hakuna kumbukumbu ya haraka. ESP32-S3 inatoa 512KB tu ya SRAM, na kwa kawaida modeli nzima ingehitaji kufikiwa kutoka hapo, ndiyo sababu majaribio ya hapo awali yalikwama katika vigezo laki chache.
Suluhu hutegemea uchunguzi rahisi. Vigezo vingi vya modeli ya lugha hukaa katika jedwali la kupachika, ambalo modeli husoma kutoka badala ya kukokotoa. Kwa hivyo badala ya kulazimisha jedwali hilo kubwa la safu mlalo milioni 25 kuwa kumbukumbu adimu ya haraka, mradi huiacha katika hifadhi ya polepole ya flash na kuvuta safu mlalo chache tu ambazo kila tokeni huhitaji, takriban baiti 450 kwa wakati mmoja. Sehemu ndogo ya modeli inayofanya hesabu halisi hukaa katika kumbukumbu ya haraka, huku wingi wa uzani ukingoja tu katika mweko, sampuli kidogo kwa wakati mmoja.
Mbinu hiyo inajulikana kama Upachikaji kwa kila Tabaka, na ilitokana na miundo ya Gemma ya Google, hasa Gemma 3n na Gemma 4, ambapo iliundwa kwa ajili ya simu na GPU. Kulingana na mwandishi wa mradi huo, hakuna mtu ambaye hapo awali alikuwa amejaribu mbinu kwenye chip ndogo kama hii.
Nini inaweza kufanya, na nini haiwezi
Mfano huo ulifunzwa kwenye TinyStories, mkusanyiko wa data wa hadithi rahisi za watoto, kwa hivyo uwezo wake ni finyu kimakusudi. Huandika hadithi fupi, nyingi zikiwa thabiti, lakini haitajibu maswali ya kweli, kufuata maagizo changamano, kuandika msimbo, au sababu kuhusu ulimwengu. Mwandishi ni wazi kwamba kizuizi hiki kinatokana na sehemu ndogo ya hoja ya mfano, na kwamba hila ya kumbukumbu haibadilishi.
Kinachofanya mradi kuvutia kwa hivyo sio ubora wake wa pato lakini usanifu wake. Mafanikio hayo yanatosheleza kielelezo kikubwa kwenye chipu kidogo kiasi hiki, na kuthibitisha kuwa mbinu zile zile zinazotumia miundo bora kwenye simu na seva zinaweza kusukumwa hadi kwenye maunzi ambayo yanagharimu chini ya sandwich.
Kwa nini AI kwenye kifaa ni muhimu
Athari hufikia zaidi ya onyesho safi la kiufundi. Kwa sababu modeli inaendesha kabisa kwenye chip, hakuna kitu kinachotumwa kwa seva. Hiyo inamaanisha faragha kamili kwa ujenzi, hakuna data inayoondoka kwenye kifaa, na hakuna bili ya wingu ya kulipa. Kwa programu zilizo katika maeneo ya mbali, vifaa vya nguvu kidogo, au mipangilio ambapo muunganisho hauwezi kutegemewa, mchanganyiko huo ni muhimu sana.
Pia inaangazia siku zijazo ambapo miundo midogo, maalum husambazwa katika mabilioni ya vifaa vya bei nafuu vilivyopachikwa badala ya kujilimbikizia katika vituo vingi vikubwa vya data. Shinikizo zile zile zinazochochea shauku ya AI ya ndani kwenye kompyuta za mkononi na simu, yaani, muda wa chini wa kusubiri, gharama ya chini, na ufaragha thabiti zaidi, hutumika kwa nguvu zaidi katika kiwango cha udhibiti mdogo.
Mwaliko wazi wa kucheza
Mradi huo umetolewa chini ya leseni ya MIT inayoruhusiwa, na mwandishi ameshiriki nambari kamili kwenye GitHub pamoja na nyaraka za kina na matokeo ya alama. Uwazi huo unamaanisha kuwa wasanidi programu wengine wa maunzi wanaweza kusoma mbinu, kuirekebisha ilingane na chip zingine, au kusukuma hesabu ya vigezo juu zaidi.
Iliyotolewa chini ya mpini wa slvDev, kazi hiyo iliguswa sana na jumuiya ya wasanidi programu, ikikusanya mamia ya kura za kuunga mkono kuhusu Habari za Hacker na kuibua majadiliano kuhusu mahali mbinu hiyo itakapofuata. Ikiwa mtindo huo utaendelea, mstari kati ya "mfano wa lugha" na kipande cha kawaida cha programu iliyopachikwa unakaribia kupata ukungu mkubwa.
Kaa Mbele ya AI
Kuanzia chipsi za $8 hadi vituo vya data vya dola bilioni, swali la wapi AI inaendesha linakuwa muhimu kama vile AI inaweza kufanya. Safu ya maunzi inabadilika haraka zaidi kuliko watu wengi wanavyotambua, na miradi inayoonekana kama udadisi leo mara nyingi hufafanua kesho kuu. Soma habari zaidi za AI kwenye AI Buzz Wire ili kufuata kila mafanikio katika kompyuta makali, ufanisi wa muundo na akili kwenye kifaa.
Endelea na mapinduzi ya maunzi ya AI — tembelea AI Buzz Wire
