Compania germană de inteligență artificială Aleph Alpha a lansat Kolibri, un model de limbă deschis de amestec de experți, construit de la zero pentru germană și engleză. Modelul împachetează 78,1 miliarde de parametri în total, dar activează doar 3,46 miliarde dintre ei pe token - aproximativ 4,4% - și este livrat sub licența permisivă Apache 2.0 pe Hugging Face. Acceptă până la 1.048.576 de simboluri de context și permite utilizatorilor să stabilească efortul de raționament pentru fiecare cerere. Pentru cititorii care urmăresc ecosistemul cu greutăți deschise, aceasta aterizează alături de [cele mai recente evoluții AI] (https://aibuzzwire.news).
Comunicarea este o declarație deliberată despre locul în care Aleph Alpha își vede piața: desfășurare suverană în sectoare reglementate, cum ar fi administrația publică, industria și industria aerospațială, unde se știe exact unde a fost instruit un model, pe ce date și în ce cadru legal nu este o cerință plăcută, ci o cerință de achiziție.
Ce este de fapt Kolibri
Kolibri, denumit Kolibri-1 în materialele tehnice, este un transformator bilingv englez-german MoE despre care Aleph Alpha spune că a fost dezvoltat cap la cap de echipe din Germania. Conform raportului de cercetare tehnică al companiei, echipa a controlat întreaga conductă - date, arhitectură, infrastructură de formare, post-formare și evaluare - în loc să înceapă de la punctul de control al altui laborator.
Instruirea s-a desfășurat pe infrastructura situată în Germania și Finlanda. Procesul de proiectare a vizat în mod explicit conformitatea cu Codul de practică AI cu scop general al UE, Actul UE AI și GDPR, iar Aleph Alpha este semnatar al acelui cod. Compania spune că canalul său de date elimină datele personale înainte de instruire, un detaliu care vizează direct cumpărătorii din sectorul public care nu pot introduce legal datele cetățenilor în modele de proveniență neclară.
Funcționează pe un singur GPU
Posibilitatea de implementare a fost în mod clar o constrângere de proiectare, nu o idee ulterioară. Punctul de control FP8 cântărește aproximativ 78 GB și rulează pe un singur NVIDIA B200, B300 sau H200 - sau pe două GPU-uri H100 SXM5 - deservite prin vLLM cu raționament Kolibri și analizoare de apeluri de instrumente dedicate. Pentru un model cu 78 de miliarde de parametri, aceasta este o amprentă hardware modestă și este răsplata directă a designului rar MoE: cu doar 3,46 miliarde de parametri activi per token, costul de inferență urmărește numărul de parametri activi mai degrabă decât totalul.
Experți rari și atenție hibridă
Sub capotă, Kolibri stivuește 50 de blocuri transformatoare cu o lățime a modelului de 2.560. Fiecare strat MoE punctează toți cei 384 de experți direcționați cu un router sigmoid, trimite fiecare token în primii 6 și rulează întotdeauna 1 expert partajat alături de ei. Încărcarea expertului este echilibrată folosind două tehnici cu nume de supă alfabetică — Exact Quantile Balancing și Load-Error Injection — care împiedică routerul să restrângă tot traficul către o mână de specialiști.
Atenția este acolo unde arhitectura devine mai interesantă. Kolibri folosește atenția de interogare grupată cu 48 de capete de interogare și 4 capete KV, dar straturile nu sunt uniforme: fiecare al cincilea bloc folosește atenția deplină fără codificare pozițională, în timp ce celelalte 40 de blocuri folosesc atenție cu fereastră glisante peste cele 512 jetoane precedente, cu RoPE. Consecința practică este eficiența memoriei - straturile cu fereastră glisante dețin un cache KV de dimensiune fixă, astfel încât doar 10 din cele 50 de straturi cresc odată cu lungimea contextului. La calculul potrivit, Aleph Alpha raportează că designul hibrid acceptă secvențe de patru ori mai lungi decât un model echivalent cu atenție totală. Așa se face că un model de această dimensiune pretinde o fereastră de context de un milion de token fără infrastructură exotică.
Un tokenizer construit pentru germană
Majoritatea tokenizatorilor de frontieră tratează limba germană ca pe o idee ulterioară, împărțind cuvintele sale lungi compuse în fragmente care măresc numărul de jetoane și costurile efective. Aleph Alpha a atacat acest lucru direct cu UniBPE, un vocabular de 128.000 de jetoane care creează fuziuni așa cum o face BPE, dar punctează fiecare îmbinare prin pierderea Unigram.
Cifrele fac cazul. Pe text în limba germană, tokenizer-ul lui Kolibri atinge 4,90 octeți per token, față de 4,35 pentru tokenizer GPT-5 - adică cu 11,2% mai puține jetoane pe textul web german. În limba engleză, Kolibri iese și el înainte, cu 4,58 octeți per token față de 4,67 de la GPT-5. Pentru clienții întreprinderi care plătesc prin simbol, aceasta este o reducere directă la fiecare volum de lucru în limba germană.
Antrenat la scară de frontieră
Antrenamentul în spatele lui Kolibri este substanțial. Pre-antrenamentul a acoperit 20 de trilioane de jetoane pe 768 de GPU-uri NVIDIA B200, urmate de 3,44 trilioane de jetoane la mijlocul antrenamentului la o lungime a secvenței de 65.536 de jetoane. Conducta a trecut apoi prin etape de reglare fină supravegheată și de învățare de întărire pentru a produce modelul final de urmărire a instrucțiunilor și capabil de raționament. Compania a publicat un raport de cercetare tehnică care acoperă procesul, un nivel neobișnuit de dezvăluire pentru un laborator european și unul care vizează în mod clar construirea încrederii cu clienții reglementați.
Ce înseamnă pentru impulsul AI al Europei
Kolibri intră pe o piață în care lansările deschise de la laboratoarele americane și chineze domină conversația și unde guvernele europene au devenit din ce în ce mai vorbite despre suveranitatea digitală. Pariul lui Aleph Alpha este că o porțiune din acea piață - ministere, industria adiacentă apărării, infrastructură critică - va plăti pentru un model care nu este doar deschis, ci și verificabil european în gestionarea datelor, locația de formare și postura legală.
Dacă acest pariu are roade depinde de întrebările la care lansarea nu răspunde încă: cum se evaluează Kolibri față de modelele deschise de frontieră în evaluările standard și cât de repede se formează un ecosistem de instrumente în jurul acestuia. Ceea ce stabilește versiunea este că o capacitate de antrenament completă, adiacentă frontierei, există acum în interiorul UE, cu documentele pe măsură. Pentru organizațiile obligate de GDPR și Legea AI, acea combinație poate conta mai mult decât pozițiile în clasament.
---
Rămâneți înaintea AIObțineți cele mai recente știri, analize și descoperiri despre AI - toate într-un singur loc.
Citiți mai multe știri AI →
