Німецька компанія штучного інтелекту Aleph Alpha випустила Kolibri, відкриту мовну модель Mixture of Experts, створену з нуля для німецької та англійської мов. Модель містить 78,1 мільярда параметрів, але активує лише 3,46 мільярда з них на токен — близько 4,4 відсотка — і поставляється під дозвільною ліцензією Apache 2.0 на Hugging Face. Він приймає до 1 048 576 маркерів контексту та дозволяє користувачам встановлювати міркування для кожного запиту. Для читачів, які відстежують екосистему відкритих ваг, це місце поруч із нашими останніми розробками ШІ.
Реліз є навмисною заявою про те, де Aleph Alpha бачить свій ринок: суверенне розгортання в регульованих секторах, таких як державне управління, промисловість і авіакосмічна промисловість, де знати, де саме була навчена модель, на яких даних і згідно з якою правовою базою, це не приємно мати, а вимога до закупівель.
Що таке Колібрі насправді
Kolibri, який у технічних матеріалах згадується як Kolibri-1, є двомовним англо-німецьким трансформатором MoE, який, за словами Aleph Alpha, був розроблений групами в Німеччині. Відповідно до звіту про технічне дослідження компанії, команда контролювала весь конвеєр — дані, архітектуру, навчальну інфраструктуру, післянавчання та оцінку — замість того, щоб починати з контрольної точки іншої лабораторії.
Навчання проходило на інфраструктурі Німеччини та Фінляндії. Процес проектування чітко націлений на дотримання Кодексу практики штучного інтелекту ЄС загального призначення, Закону ЄС щодо штучного інтелекту та GDPR, і Aleph Alpha підписала цей Кодекс. Компанія стверджує, що її конвеєр даних редагує особисті дані перед навчанням, деталь спрямована безпосередньо на покупців з державного сектору, які не можуть законно передавати дані громадян у моделі нечіткого походження.
Він працює на одному GPU
Можливість розгортання явно була обмеженням дизайну, а не запізнілою думкою. Контрольна точка FP8 важить приблизно 78 ГБ і працює на одному NVIDIA B200, B300 або H200 — або на двох графічних процесорах H100 SXM5 — які обслуговуються через vLLM зі спеціальним аналізатором Kolibri і аналізатором викликів інструментів. Для моделі з 78 мільярдами параметрів це скромний обсяг апаратного забезпечення, і це прямий результат розрідженого дизайну MoE: з лише 3,46 мільярдами активних параметрів на токен вартість висновків відстежує кількість активних параметрів, а не загальну кількість.
Рідкісні експерти та гібридна увага
Під капотом Kolibri розміщено 50 трансформаторних блоків із шириною моделі 2560. Кожен рівень MoE оцінює всі 384 маршрутизованих експертів за допомогою сигмоїдного маршрутизатора, надсилає кожен маркер до 6 найкращих і завжди запускає 1 спільного експерта разом із ними. Експертне навантаження балансується за допомогою двох методів із алфавітними назвами — точного квантильного балансування та ін’єкції помилок навантаження — які не дозволяють маршрутизатору згортати весь трафік на кілька спеціалістів.
Увага – це те, де архітектура стає цікавішою. Kolibri використовує увагу згрупованого запиту з 48 головками запиту та 4 головками KV, але шари не однакові: кожен п’ятий блок використовує повну увагу без позиційного кодування, тоді як інші 40 блоків використовують увагу у ковзному вікні над 512 попередніми маркерами з RoPE. Практичним наслідком є ефективність пам’яті — шари ковзного вікна містять KV-кеш фіксованого розміру, тому лише 10 із 50 шарів зростають разом із довжиною контексту. У відповідних обчисленнях Aleph Alpha повідомляє, що гібридний дизайн підтримує послідовності в чотири рази довші, ніж еквівалентна модель повної уваги. Ось чому модель такого розміру претендує на контекстне вікно в один мільйон токенів без екзотичної інфраструктури.
Токенізатор, створений для німецької мови
Більшість прикордонних токенізаторів сприймають німецьку як запізнілу думку, розбиваючи її довгі складні слова на фрагменти, що збільшує кількість токенів і ефективну вартість. Aleph Alpha атакував це безпосередньо за допомогою UniBPE, словника з 128 000 токенів, який будує злиття так, як це робить BPE, але оцінює кожне злиття за втратою Unigram.
Справу свідчать цифри. У німецькому тексті токенізер Kolibri досягає 4,90 байтів на токен проти 4,35 для токенізера GPT-5, тобто на 11,2 відсотка менше токенів у німецькому веб-тексті. Англійською мовою Колібрі також випереджає: 4,58 байта на маркер проти 4,67 у GPT-5. Для корпоративних клієнтів, які платять токеном, це пряма знижка на кожне німецькомовне робоче навантаження.
Навчання в прикордонному масштабі
Тренувальний заїзд за «Колібрі» значний. Попереднє навчання охопило 20 трильйонів токенів на 768 графічних процесорах NVIDIA B200, а потім 3,44 трильйона маркерів середнього навчання з довжиною послідовності 65 536 токенів. Далі конвеєр пройшов через етапи контрольованого тонкого налаштування та підкріплення, щоб створити остаточну модель, яка виконує інструкції та здатна до міркування. Компанія опублікувала звіт про технічне дослідження процесу, незвичайний рівень розкриття інформації для європейської лабораторії та явно спрямований на зміцнення довіри з регульованими клієнтами.
Що це означає для розвитку ШІ в Європі
Kolibri виходить на ринок, де домінують відкриті випуски американських і китайських лабораторій, і де європейські уряди дедалі активніше заявляють про цифровий суверенітет. Aleph Alpha робить ставку на те, що частина цього ринку — міністерства, суміжна з оборонною промисловістю, критична інфраструктура — заплатить за модель, яка є не просто відкритою, але й достовірно європейською за обробкою даних, місцем навчання та правовою позицією.
Чи окупиться ця ставка, залежить від питань, на які реліз ще не відповів: як Kolibri порівнює граничні відкриті моделі на стандартних оцінках і як швидко навколо нього формується екосистема інструментів. У релізі встановлено, що в ЄС зараз існує повноцінна навчальна програма, що прилягає до кордону, із відповідними документами. Для організацій, які зобов’язані дотримуватися GDPR і Закону про штучний інтелект, ця комбінація може мати більше значення, ніж позиції в таблиці лідерів.
---
Будьте попереду ШІОтримуйте останні новини штучного інтелекту, аналіз і прориви — усе в одному місці.
Читати більше новин AI →
