Kampuni ya Ujerumani ya AI Aleph Alpha imetoa Kolibri, mtindo wa lugha ya Mchanganyiko wa Wataalamu wa uzito wazi uliojengwa kutoka chini hadi kwa Kijerumani na Kiingereza. Muundo huo una jumla ya vigezo bilioni 78.1 lakini huwasha bilioni 3.46 pekee kwa kila tokeni - takriban asilimia 4.4 - na husafirishwa chini ya leseni ya Apache 2.0 inayoruhusu kwenye Hugging Face. Inakubali hadi tokeni 1,048,576 za muktadha na huwaruhusu watumiaji kuweka juhudi za hoja kwa kila ombi. Kwa wasomaji wanaofuatilia mfumo wa uzani huria, hii hutua kando ya maendeleo yetu ya hivi punde ya AI.
Toleo hili ni taarifa ya kimakusudi kuhusu mahali ambapo Aleph Alpha inaona soko lake: uwekaji huru katika sekta zinazodhibitiwa kama vile utawala wa umma, tasnia na anga, ambapo kujua haswa ni wapi modeli ilifunzwa, juu ya data gani, na chini ya mfumo gani wa kisheria sio mzuri kuwa- lakini ni hitaji la ununuzi.
Kolibri ni nini hasa
Kolibri, inayojulikana kama Kolibri-1 katika nyenzo za kiufundi, ni transfoma ya lugha mbili ya Kiingereza-Kijerumani MoE ambayo Aleph Alpha anasema ilitengenezwa mwisho hadi mwisho na timu nchini Ujerumani. Kulingana na ripoti ya utafiti wa kiufundi wa kampuni, timu ilidhibiti bomba kamili - data, usanifu, miundombinu ya mafunzo, mafunzo ya baada ya mafunzo na tathmini - badala ya kuanza kutoka kwa ukaguzi wa maabara nyingine.
Mafunzo yaliendeshwa kwa miundombinu iliyoko Ujerumani na Ufini. Mchakato wa kubuni ulilenga kwa uwazi utiifu wa Kanuni za Matendo za Madhumuni ya Jumla za EU, Sheria ya AI ya EU, na GDPR, na Aleph Alpha ni mtiaji saini wa Kanuni hiyo. Kampuni hiyo inasema bomba lake la data hurekebisha data ya kibinafsi kabla ya mafunzo, maelezo yanayolenga moja kwa moja wanunuzi wa sekta ya umma ambao hawawezi kulisha data za raia kihalali katika mifano ya asili isiyoeleweka.
Inatumia GPU moja
Utumiaji kwa wazi ulikuwa kizuizi cha muundo, sio mawazo ya baadaye. Kitengo cha ukaguzi cha FP8 kina uzito wa takriban 78GB na kinatumia NVIDIA B200, B300, au H200 moja - au kwenye H100 SXM5 GPU mbili - zinazotolewa kupitia vLLM na vichanganuzi mahususi vya kutoa hoja za Kolibri na simu za zana. Kwa kielelezo cha kigezo cha bilioni 78, hiyo ni alama ya kawaida ya maunzi, na ni malipo ya moja kwa moja ya muundo mdogo wa MoE: ikiwa na vigezo bilioni 3.46 pekee vinavyotumika kwa kila tokeni, gharama ya makisio hufuatilia hesabu ya vigezo vinavyotumika badala ya jumla.
Wataalam wachache na umakini mseto
Chini ya kofia, Kolibri huweka vitalu 50 vya transfoma na upana wa mfano wa 2,560. Kila safu ya MoE hupata wataalam wote 384 wanaotumia kipanga njia cha sigmoid, hutuma kila tokeni hadi 6 bora, na huwa na mtaalam 1 anayeshirikiwa pamoja nao. Mzigo wa kitaalamu unasawazishwa kwa kutumia mbinu mbili zenye majina ya supu ya kialfabeti - Usawazishaji wa Kiasi Halisi na Uingizaji wa Hitilafu ya Mzigo - ambao huzuia kipanga njia dhidi ya kuangusha trafiki yote kwa wataalamu wachache.
Tahadhari ni pale usanifu unapovutia zaidi. Kolibri hutumia uangalizi wa swala la makundi na vichwa vya swala 48 na vichwa 4 vya KV, lakini tabaka si sawa: kila kizuizi cha tano hutumia tahadhari kamili bila usimbaji wa nafasi, wakati vitalu vingine 40 vinatumia tahadhari ya dirisha la sliding juu ya ishara 512 zilizotangulia, na kamba. Matokeo ya vitendo ni ufanisi wa kumbukumbu - safu za madirisha ya kuteleza hushikilia kashe ya KV ya ukubwa usiobadilika, kwa hivyo ni safu 10 tu kati ya 50 zinazokua na urefu wa muktadha. Katika hesabu zinazolingana, Aleph Alpha anaripoti kuwa muundo wa mseto unaauni mifuatano ndefu mara nne kuliko modeli sawa ya umakini kamili. Hivyo ndivyo mfano wa ukubwa huu unavyodai dirisha la muktadha la ishara ya milioni moja bila miundombinu ya kigeni.
Kiashiria kilichoundwa kwa ajili ya Kijerumani
Viashiria vingi vya mipakani huchukulia Kijerumani kama wazo la baadaye, na kugawanya maneno yake marefu ya mchanganyiko katika vipande ambavyo huongeza hesabu za tokeni na gharama zinazofaa. Aleph Alpha alishambulia hii moja kwa moja na UniBPE, msamiati wa ishara 128,000 ambao huunda kuunganisha jinsi BPE hufanya lakini hupata alama za kila unganisho kwa upotezaji wa Unigram.
Nambari hufanya kesi. Kwenye maandishi ya Kijerumani, kiashiria cha Kolibri kinafikia baiti 4.90 kwa kila tokeni, dhidi ya 4.35 kwa kiashiria cha GPT-5 - kumaanisha asilimia 11.2 ya tokeni chache kwenye maandishi ya wavuti ya Ujerumani. Kwa Kiingereza, Kolibri inatoka mbele pia, kwa baiti 4.58 kwa tokeni dhidi ya GPT-5's 4.67. Kwa wateja wa biashara wanaolipa kwa tokeni, hilo ni punguzo la moja kwa moja kwa kila mzigo wa kazi wa lugha ya Kijerumani.
Amefunzwa kwa kiwango cha mpaka
Mafunzo yanayoendeshwa nyuma ya Kolibri ni makubwa. Mafunzo ya awali yalifunika tokeni trilioni 20 kwenye 768 NVIDIA B200 GPUs, ikifuatiwa na tokeni trilioni 3.44 za mafunzo ya kati kwa urefu wa mfuatano wa tokeni 65,536. Bomba hilo lilipitia hatua za urekebishaji na uimarishaji unaosimamiwa ili kutoa kielelezo cha mwisho cha kufuata maelekezo, na uwezo wa kufikiri. Kampuni imechapisha ripoti ya utafiti wa kiufundi inayoangazia mchakato huo, kiwango kisicho cha kawaida cha ufichuzi kwa maabara ya Uropa na inayolenga kwa uwazi kujenga uaminifu kwa wateja wanaodhibitiwa.
Inamaanisha nini kwa msukumo wa AI wa Ulaya
Kolibri inaingia kwenye soko ambapo matoleo ya uzani huria kutoka kwa maabara za Marekani na Uchina hutawala mazungumzo, na ambapo serikali za Ulaya zimekua zikitoa sauti kuhusu uhuru wa kidijitali. Madau ya Aleph Alpha ni kwamba kipande cha soko hilo - wizara, sekta inayopakana na ulinzi, miundombinu muhimu - italipia kielelezo ambacho si cha uzani wa wazi tu bali ni cha Ulaya kwa uthibitisho katika utunzaji wake wa data, eneo la mafunzo, na mkao wa kisheria.
Ikiwa dau hilo linalipa inategemea maswali ambayo toleo bado halijajibu: jinsi Kolibri inavyoweka alama dhidi ya miundo iliyo wazi ya mipaka kwenye tathmini za kawaida, na jinsi mfumo ikolojia wa zana unavyounda karibu nayo. Kile ambacho toleo hili linathibitisha ni kwamba uwezo kamili wa mafunzo, ulio karibu na mipaka sasa upo ndani ya EU, pamoja na makaratasi ya kuendana. Kwa mashirika yanayofungwa na GDPR na Sheria ya AI, mchanganyiko huo unaweza kuwa na umuhimu zaidi kuliko nafasi za ubao wa wanaoongoza.
---
Kaa Mbele ya AIPata habari za hivi punde za AI, uchanganuzi na mafanikio - yote katika sehemu moja.
Soma habari zaidi za AI →
