Muungano wa Ujerumani Watoa Soofi S, Modeli ya Open 30B Inayoongoza kwa Vigezo vya Kiingereza na Kijerumani

Muungano wa taasisi za utafiti za Ujerumani na kampuni za AI zimetoa Soofi S 30B-A3B, modeli ya lugha huria ambayo mradi unasema inapata alama za juu zaidi kwa alama za Kiingereza na Kijerumani kati ya miundo iliyo wazi kabisa. Ikiratibiwa na KI Bundesverband, chama cha kitaifa cha AI cha Ujerumani, toleo hilo ni mojawapo ya modeli za kwanza za lugha kubwa zilizofunzwa kikamilifu kwenye Wingu la AI la Viwanda la Deutsche Telekom mjini Munich na limewekwa kama mbadala huru ya Uropa kwa Marekani na Uchina wa uzani huria. Kwa wasanidi programu wanaofuatilia maendeleo ya hivi punde ya AI, uzinduzi hauonekani kwa kiwango kibichi kuliko ufanisi usio wa kawaida na mkazo wa lugha unaohusishwa na usanifu.

Muundo mseto wenye vigezo amilifu bilioni 3.2 pekee

Soofi S ni mfano wa mchanganyiko wa wataalam (MoE) na vigezo vya bilioni 31.6 kwa jumla, lakini huwasha tu kuhusu bilioni 3.2 kwa tokeni inayozalishwa. Hiyo inaweka gharama yake ya kukokotoa karibu na kielelezo cha kigezo cha bilioni 3 kuliko kielelezo mnene cha kigezo cha bilioni 30, chaguo la muundo linalolenga kuweka makisio kuwa nafuu ya kutosha kuendesha miundombinu ya Uropa bila kutegemea watoa huduma za wingu nje ya nchi.

Usanifu huo ukopwa kutoka kwa Nemotron 3 Nano ya Nvidia, ikichanganya tabaka za Mamba-2 na tabaka za kawaida za umakini katika mpangilio wa mseto. Kulingana na ripoti ya utayarishaji wa mradi, ni tabaka 6 pekee kati ya 52 za ​​modeli zinazodumisha kashe ya thamani-msingi (KV) - muundo wa kumbukumbu ambao huhifadhi tokeni za awali kwa hesabu ya umakini. Katika vibadilishaji vya kawaida, akiba hiyo hukua kulingana na urefu wa muktadha na kuwa kizuizi kikubwa wakati wa uelekezaji wa muktadha mrefu.

Malipo ya vitendo yanaonekana katika matokeo. Katika urefu wa muktadha wa tokeni 40,000 zilizo na maombi 32 sambamba, Soofi S huzalisha takriban tokeni mara nane kwa sekunde kwa kila GPU kuliko miundo mnene katika anuwai ya vigezo vya 14 hadi 24-bilioni. Ingawa kasi ya uzalishaji kwa miundo ya kawaida inashuka sana kadiri muktadha unavyokua, Soofi S hukaa karibu tambarare kutoka tokeni 4,000 hadi tokeni 256,000. Muundo wa pekee unaoweza kulinganishwa katika vipimo vya muungano huo ni Qwen3.5 35B-A3B ya Alibaba, ambayo pia hutumia usanifu mseto.

Amefunzwa Kijerumani, bila kuacha Kiingereza

Mtazamo wa makusudi wa Kijerumani ni msingi wa mradi. Katika awamu ya kwanza ya mafunzo, Kijerumani hufanya asilimia 7.2 ya mchanganyiko wa data; katika awamu ya pili, hisa hiyo inapanda hadi asilimia 15.3. Kwa kulinganisha, katika kichocheo cha marejeleo cha Nemotron cha Nvidia lugha zote zisizo za Kiingereza zinachangia karibu asilimia 5 tu ya mchanganyiko wa mafunzo.

Vyanzo vya data ni pamoja na maandishi ya wavuti ya Kijerumani kutoka kwa shirika la HPLT, shirika la German Commons lenye leseni wazi, sehemu za Kijerumani za FinePDFs na FineWiki, na hifadhi ya kumbukumbu ya Genios yenye leseni ya kibiashara ya makala milioni 193 za magazeti yaliyotolewa kutoka machapisho 916 ya Kijerumani. Maandishi ya Kijerumani yaliyotafsiriwa na mashine na kusanisi yanakamilisha mchanganyiko.

Muundo huu ulichakatwa takriban tokeni trilioni 27 katika awamu tatu za mafunzo: takriban tokeni trilioni 20 za mtandao mpana, msimbo, hesabu, na maandishi mahususi ya kikoa katika awamu ya kwanza; karibu trilioni 6 za ubora wa ishara katika pili; na awamu fupi ya tatu ya kupanua kidirisha cha muktadha kwa kutumia hati hadi tokeni milioni moja kwa urefu.

Matokeo ya kulinganisha: mbele kwa Kijerumani na Kiingereza, dhaifu zaidi kwenye hesabu

Katika tathmini dhidi ya miundo mingine 16 iliyo wazi, Soofi S anaongoza miundo yote iliyo wazi kabisa kwenye alama za jumla za Kijerumani na Kiingereza, kulingana na muungano. Hiyo inajumuisha OLMo 3 32B kutoka Taasisi ya Allen ya AI na Apertus 70B kutoka ETH Zurich na EPFL. Kinyume na kila msingi huru wa Uropa, modeli hutoka mbele kwa alama zote za Kijerumani kwenye safu, wakati mwingine kwa ukingo wa tarakimu mbili.

Kwenye majukumu ya msimbo, Soofi S amepata asilimia 73.8 kwenye HumanEval, 70.2 kwenye MBPP na 84.2 kwenye kibadala cha MBPP cha Ujerumani — matokeo bora zaidi kati ya programu huria. Kwenye INCLUDE-DE, jaribio la maarifa ya eneo mahususi la Ujerumani, Soofi S anashika nafasi ya kwanza kwa pointi 61.2 na Qwen3.5 35B-A3B kubwa zaidi. Ikilinganishwa na msingi wa Nemotron, kichocheo cha data kilicho na uzito wa Kijerumani huboresha ustadi wa lugha kwa pointi 15.1 na kiwango cha sayansi cha GPQA-Diamond kwa pointi 9.6, bila kuathiri utendakazi wa Kiingereza.

Kuna udhaifu ulio wazi. Kwenye hisabati ya mashindano ya Ujerumani (Minerva MATH-DE), Soofi S anapata pointi 56, nyuma ya Qwen3.5 35B-A3B kwa 76.5 na Gemma 3 27B kwa 65.6. Pia inafuatilia urejeshaji wazi wa ukweli katika NaturalQuestions, ambayo timu inahusisha kuwa na vigezo amilifu takribani bilioni 3 pekee na kwa hivyo maarifa ya ulimwengu yaliyohifadhiwa kidogo kuliko muundo mnene wa 27B. Mtihani wa muktadha wa muda mrefu wa RULE huleta pengo lingine: modeli inapolazimika kutoa maneno yanayotokea mara kwa mara kutoka kwa maandishi marefu, kiwango chake cha mpigo hushuka hadi karibu asilimia 3 zaidi ya tokeni 32,000, huku muundo unaolinganishwa wa Nemotron bado unadhibiti asilimia 60 hadi 64.

Alipata mafunzo kwenye GPU 512 za Nvidia B200 mjini Munich

Mbio za mafunzo zilifanyika kati ya Machi na Mei 2026 kwa hadi 512 Nvidia B200 GPUs katika Wingu la AI la Viwanda la Deutsche Telekom huko Munich, jumla ya saa 253,000 za GPU. Kituo hiki kinatumia nishati mbadala, kupozwa na maji kutoka kwa mfereji wa Eisbach, na kulisha joto la taka katika kitongoji cha Tucherpark, kulingana na ripoti hiyo. Soofi S ilikuwa mojawapo ya mafunzo makuu ya kwanza yaliyoendeshwa kwenye miundombinu hii.

Muungano unaounga mkono muundo huo unafadhiliwa na Wizara ya Shirikisho la Ujerumani ya Masuala ya Kiuchumi na Nishati kama sehemu ya mpango wa Ulaya wa IPCEI-CIS. Washiriki ni pamoja na Taasisi za Fraunhofer IAIS na IIS, Kituo cha Utafiti cha Ujerumani cha Ujasusi Bandia (DFKI), TU Darmstadt, Chuo Kikuu cha Würzburg, Kituo cha Utafiti cha L3S, Chuo Kikuu cha Berlin cha Sayansi Inayotumika, na kampuni za AI Elamind na Merantix Momentum.

Mjadala juu ya 'mafunzo kupita kiasi'

Mara tu baada ya kuzinduliwa, wakosoaji walidai kuwa Soofi S alifunzwa kupita kiasi kwa viwango vya sheria za kiwango cha Chinchilla zilizochapishwa na Google DeepMind mnamo 2022, ambayo ilipendekeza mahali pazuri pa tokeni 20 kwa kila kigezo. Na tokeni trilioni 27 na takribani vigezo bilioni 30, Soofi S ardhi katika ishara mia kadhaa kwa parameter; kuhesabu tu bilioni 3.2 vigezo hai husukuma uwiano katika maelfu.

Michael Fromm, sehemu ya uongozi wa kiufundi wa mradi huo, alirudisha nyuma ukosoaji huo, akisema kuwa sheria hizo hazielekei kwenye usanifu wa MoE. "Kuna utafiti mpya unaoonyesha kuwa sheria za zamani za kuongeza viwango kutoka kwa mifano mnene hazitumiki tena kwa usanifu wa MoE," Fromm alisema, akibainisha kuwa wataalam binafsi wananufaika kwa kuona hati sawa mara kwa mara katika hifadhidata kubwa, yenye ubora wa juu. Kama hatua ya kulinganisha, aliashiria Nvidia, ambayo imefunza mifano yake mwenyewe hadi tokeni 25 trilioni.

Kinachotolewa, na kisichotolewa

Watafiti wanatoa uzani wa mfano pamoja na vituo vya ukaguzi vya kati vilivyochaguliwa, nambari kamili ya mafunzo na tathmini, na hesabu ya kina ya data inayoorodhesha hesabu za tokeni mbichi, nambari za enzi, na michango bora kwa kila chanzo. Kulingana na timu, hii inamaanisha kuwa Soofi S hukutana na Ufafanuzi wa Open Source AI 1.0 kutoka kwa Mpango wa Open Source.

Pendekezo kali zaidi la ufafanuzi wa data huria wa Uropa, ambao utahitaji kila tokeni moja ya mafunzo iweze kusambazwa kwa uhuru, halijafikiwa kwa sababu asilimia 1.3 ya mchanganyiko huo hutoka kwa shirika la Genios lenye leseni ya kibiashara. Ripoti inasema takriban asilimia 99 ya data ya mafunzo bado inaweza kutengenezwa upya kwa kujitegemea. Leseni kamili ya kutolewa kwa mtindo huo haikuwa imekamilika wakati wa kuchapishwa.

Muungano sasa unatafuta washirika wa sekta hiyo kwa awamu inayofuata ili kufanyia majaribio Soofi S katika programu zinazohusisha hati za kiufundi, kutengeneza misimbo, na mifumo inayotegemea mawakala. Kwa zaidi kuhusu matoleo ya modeli za uzani huria, miundombinu huru ya AI, na mfumo ikolojia wa AI wa Ulaya, endelea na uenezi wa sekta ya AI iliyochapishwa hapa.

Endelea kutumia AI ya chanzo huria

Matoleo ya uzani huria yanawasili karibu kila wiki kutoka kwa maabara nchini Marekani, Uchina, na sasa Ulaya, na pengo kati ya miundo mikubwa zaidi ya wamiliki na mbadala bora zaidi zilizo wazi inaendelea kupungua. Fuata habari zinazochipuka za AI na uchanganuzi wa kuigwa hapa kwa picha kamili.

Soma maelezo zaidi ya muundo wa AI →