Německá společnost AI Aleph Alpha vydala Kolibri, otevřený jazykový model Mixture-of-Experts vytvořený od základů pro němčinu a angličtinu. Model obsahuje 78,1 miliardy celkových parametrů, ale aktivuje pouze 3,46 miliardy z nich na token – asi 4,4 procenta – a dodává se pod permisivní licencí Apache 2.0 na Hugging Face. Přijímá až 1 048 576 tokenů kontextu a umožňuje uživatelům nastavit uvažování pro každý požadavek. Pro čtenáře, kteří sledují ekosystém otevřených vah, to přistane vedle našeho [nejnovějšího vývoje AI] (https://aibuzzwire.news).
Vydání je záměrným prohlášením o tom, kde vidí Aleph Alpha svůj trh: suverénní nasazení v regulovaných sektorech, jako je veřejná správa, průmysl a letectví, kde přesně vědět, kde byl model vyškolen, na jakých datech a podle jakého právního rámce není příjemné mít, ale požadavek na nákup.
Co to vlastně Kolibri je
Kolibri, v technických materiálech označovaný jako Kolibri-1, je dvojjazyčný anglicko-německý transformátor ministerstva životního prostředí, o kterém Aleph Alpha říká, že byl vyvinut týmy v Německu. Podle zprávy o technickém výzkumu společnosti tým kontroloval celý kanál – data, architekturu, školicí infrastrukturu, post-školení a hodnocení – spíše než začínal z kontrolního bodu jiné laboratoře.
Školení probíhalo na infrastruktuře umístěné v Německu a Finsku. Proces návrhu se výslovně zaměřoval na soulad s kodexem EU General-Purpose AI Code of Practice, EU AI Act a GDPR a Aleph Alpha je signatářem tohoto kodexu. Společnost tvrdí, že její datový kanál rediguje osobní údaje před školením, což je detail zaměřený přímo na kupující z veřejného sektoru, kteří nemohou legálně vkládat občanská data do modelů nejasného původu.
Běží na jediném GPU
Nasaditelnost byla zjevně omezením návrhu, nikoli dodatečným nápadem. Kontrolní bod FP8 váží zhruba 78 GB a běží na jedné NVIDIA B200, B300 nebo H200 — nebo na dvou GPU H100 SXM5 — obsluhovaných prostřednictvím vLLM s vyhrazeným uvažováním Kolibri a analyzátory volání nástrojů. U modelu se 78 miliardami parametrů je to skromná hardwarová stopa a je to přímá odměna za řídký design MoE: s pouze 3,46 miliardami aktivních parametrů na token, odvozené náklady sledují počet aktivních parametrů spíše než celkové.
Spoří odborníci a hybridní pozornost
Pod kapotou Kolibri naskládá 50 transformátorových bloků s modelovou šířkou 2 560. Každá vrstva MoE hodnotí všech 384 směrovaných expertů se sigmoidním routerem, posílá každý token 6 nejlepším a vždy vedle nich provozuje 1 sdíleného experta. Expertní zátěž je vyrovnávána pomocí dvou technik s názvy polévek v abecedním pořadí – Exact Quantile Balancing a Load-Error Injection – které brání routeru zhroutit veškerý provoz na hrstku specialistů.
Pozornost je místo, kde se architektura stává zajímavější. Kolibri používá pozornost seskupených dotazů se 48 hlavami dotazů a 4 hlavami KV, ale vrstvy nejsou jednotné: každý pátý blok využívá plnou pozornost bez pozičního kódování, zatímco dalších 40 bloků využívá pozornost pomocí posuvného okna nad 512 předchozími tokeny s RoPE. Praktickým důsledkem je efektivita paměti – vrstvy s posuvnými okny obsahují mezipaměť KV s pevnou velikostí, takže pouze 10 z 50 vrstev roste s délkou kontextu. Při porovnaném výpočtu Aleph Alpha uvádí, že hybridní design podporuje sekvence čtyřikrát delší než ekvivalentní model s plnou pozorností. Takto si model této velikosti nárokuje kontextové okno v hodnotě jednoho milionu tokenů bez exotické infrastruktury.
Tokenizer vytvořený pro němčinu
Většina hraničních tokenizátorů považuje němčinu za dodatečný nápad a rozděluje její dlouhá složená slova na fragmenty, které zvyšují počet tokenů a efektivní náklady. Aleph Alpha na to zaútočil přímo pomocí UniBPE, slovníku se 128 000 tokeny, který vytváří sloučení tak, jak to dělá BPE, ale hodnotí každé sloučení ztrátou Unigramu.
Čísla tomu říkají. U německého textu dosahuje tokenizér Kolibri 4,90 bajtů na token oproti 4,35 u tokenizéru GPT-5 – což znamená o 11,2 procenta méně tokenů na německém webovém textu. Co se týče angličtiny, Kolibri ve skutečnosti také vychází dopředu, a to 4,58 bajtů na token oproti 4,67 GPT-5. Pro podnikové zákazníky platící tokenem je to přímá sleva na každou práci v německém jazyce.
Školení na hranici
Tréninkový běh za Kolibri je značný. Předškolní příprava zahrnovala 20 bilionů tokenů na 768 GPU NVIDIA B200, následovalo 3,44 bilionu tokenů středního trénování při délce sekvence 65 536 tokenů. Potrubí pak prošlo řízenými fázemi jemného ladění a učení se zesílením, aby vytvořilo finální model podle instrukcí, schopný uvažování. Společnost zveřejnila zprávu o technickém výzkumu, která se zabývá tímto procesem, neobvyklou úrovní zveřejnění pro evropskou laboratoř a která je jasně zaměřena na budování důvěry u regulovaných zákazníků.
Co to znamená pro evropský tlak umělé inteligence
Kolibri vstupuje na trh, kde konverzaci dominují zprávy s otevřenou váhou z amerických a čínských laboratoří a kde evropské vlády stále více hlasitě hovoří o digitální suverenitě. Aleph Alpha sází na to, že část tohoto trhu – ministerstva, obranný průmysl, kritická infrastruktura – zaplatí za model, který není pouze otevřený, ale je prokazatelně evropský, pokud jde o zpracování dat, umístění školení a právní postavení.
Zda se tato sázka vyplatí, závisí na otázkách, které vydání zatím nezodpovědělo: jak se Kolibri srovnává s hraničními otevřenými modely na standardních hodnoceních a jak rychle se kolem něj vytvoří ekosystém nástrojů. To, co zpráva ukazuje, je, že v rámci EU nyní existuje kompletní školicí schopnost na hranicích, s odpovídajícími papíry. Pro organizace vázané GDPR a zákonem o umělé inteligenci může tato kombinace záležet více než na pozicích v žebříčku.
---
Stay Ahead of AIZískejte nejnovější zprávy, analýzy a průlomové informace o umělé inteligenci – vše na jednom místě.
Přečtěte si další zprávy o AI →
