La empresa alemana de inteligencia artificial Aleph Alpha ha lanzado Kolibri, un modelo de lenguaje abierto de mezcla de expertos creado desde cero para alemán e inglés. El modelo incluye 78,1 mil millones de parámetros totales, pero activa solo 3,46 mil millones de ellos por token (alrededor del 4,4 por ciento) y se envía bajo la permisiva licencia Apache 2.0 en Hugging Face. Acepta hasta 1.048.576 tokens de contexto y permite a los usuarios establecer el esfuerzo de razonamiento por solicitud. Para los lectores que siguen el ecosistema de pesos abiertos, esto llega junto con nuestros últimos desarrollos de IA.
El comunicado es una declaración deliberada sobre dónde ve Aleph Alpha su mercado: el despliegue soberano en sectores regulados como la administración pública, la industria y el aeroespacial, donde saber exactamente dónde se entrenó un modelo, con qué datos y bajo qué marco legal no es algo agradable, sino un requisito de adquisición.
Qué es realmente Kolibri
Kolibri, denominado Kolibri-1 en los materiales técnicos, es un transformador MoE bilingüe inglés-alemán que, según Aleph Alpha, fue desarrollado de principio a fin por equipos en Alemania. Según el informe de investigación técnica de la compañía, el equipo controló todo el proceso (datos, arquitectura, infraestructura de capacitación, capacitación posterior y evaluación) en lugar de comenzar desde el punto de control de otro laboratorio.
La formación se desarrolló en infraestructuras ubicadas en Alemania y Finlandia. El proceso de diseño apuntó explícitamente al cumplimiento del Código de prácticas de IA de uso general de la UE, la Ley de IA de la UE y el RGPD, y Aleph Alpha es signatario de ese Código. La compañía dice que su canal de datos redacta datos personales antes de la capacitación, un detalle dirigido directamente a compradores del sector público que no pueden legalmente introducir datos de ciudadanos en modelos de procedencia poco clara.
Se ejecuta en una sola GPU
La capacidad de implementación era claramente una limitación de diseño, no una idea de último momento. El punto de control FP8 pesa aproximadamente 78 GB y se ejecuta en una sola NVIDIA B200, B300 o H200, o en dos GPU H100 SXM5, servidas a través de vLLM con analizadores de llamada de herramientas y razonamiento Kolibri dedicados. Para un modelo de 78 mil millones de parámetros, esa es una huella de hardware modesta, y es la recompensa directa del escaso diseño del MoE: con sólo 3,46 mil millones de parámetros activos por token, el costo de inferencia rastrea el recuento de parámetros activos en lugar del total.
Escasos expertos y atención híbrida
Debajo del capó, Kolibri apila 50 bloques de transformadores con un ancho de modelo de 2.560. Cada capa de MoE califica a los 384 expertos enrutados con un enrutador sigmoideo, envía cada token al top 6 y siempre ejecuta 1 experto compartido junto a ellos. La carga de expertos se equilibra mediante dos técnicas con nombres alfabéticos (equilibrio de cuantiles exactos e inyección de errores de carga) que evitan que el enrutador colapse todo el tráfico en un puñado de especialistas.
La atención es donde la arquitectura se vuelve más interesante. Kolibri utiliza atención de consultas agrupadas con 48 cabezales de consulta y 4 cabezales KV, pero las capas no son uniformes: cada quinto bloque utiliza atención completa sin codificación posicional, mientras que los otros 40 bloques utilizan atención de ventana deslizante sobre los 512 tokens anteriores, con RoPE. La consecuencia práctica es la eficiencia de la memoria: las capas de ventanas deslizantes contienen una caché KV de tamaño fijo, por lo que sólo 10 de las 50 capas crecen con la longitud del contexto. En cálculo emparejado, Aleph Alpha informa que el diseño híbrido admite secuencias cuatro veces más largas que un modelo equivalente de atención total. Así es como un modelo de este tamaño reclama una ventana de contexto de un millón de tokens sin una infraestructura exótica.
Un tokenizador creado para alemán
La mayoría de los tokenizadores fronterizos tratan el alemán como una ocurrencia tardía, dividiendo sus largas palabras compuestas en fragmentos que inflan el número de tokens y los costos efectivos. Aleph Alpha atacó esto directamente con UniBPE, un vocabulario de 128.000 tokens que crea fusiones como lo hace BPE, pero califica cada fusión según la pérdida de Unigram.
Los números lo demuestran. En el texto en alemán, el tokenizador de Kolibri alcanza los 4,90 bytes por token, frente a los 4,35 del tokenizador GPT-5, lo que significa un 11,2 por ciento menos de tokens en el texto web en alemán. En inglés, Kolibri también sale adelante, con 4,58 bytes por token frente a los 4,67 de GPT-5. Para los clientes empresariales que pagan por token, se trata de un descuento directo en cada carga de trabajo en alemán.
Capacitado a escala de frontera
El entrenamiento detrás de Kolibri es sustancial. El entrenamiento previo cubrió 20 billones de tokens en 768 GPU NVIDIA B200, seguido de 3,44 billones de tokens a mitad del entrenamiento con una longitud de secuencia de 65,536 tokens. Luego, el proceso pasó por etapas supervisadas de ajuste fino y aprendizaje de refuerzo para producir el modelo final capaz de razonar y seguir instrucciones. La compañía ha publicado un informe de investigación técnica que cubre el proceso, un nivel de divulgación inusual para un laboratorio europeo y claramente destinado a generar confianza con los clientes regulados.
Qué significa para el impulso de la IA en Europa
Kolibri ingresa a un mercado donde los lanzamientos de peso abierto de laboratorios estadounidenses y chinos dominan la conversación, y donde los gobiernos europeos se han vuelto cada vez más vocales sobre la soberanía digital. La apuesta de Aleph Alpha es que una porción de ese mercado (ministerios, industria adyacente a la defensa, infraestructura crítica) pagará por un modelo que no sea simplemente abierto sino verificablemente europeo en su manejo de datos, ubicación de capacitación y postura legal.
Si esa apuesta vale la pena depende de preguntas que el lanzamiento aún no responde: cómo Kolibri se compara con modelos abiertos de frontera en evaluaciones estándar y qué tan rápido se forma un ecosistema de herramientas a su alrededor. Lo que sí establece el comunicado es que ahora existe dentro de la UE una capacidad de capacitación completa y adyacente a las fronteras, con el papeleo correspondiente. Para las organizaciones sujetas al RGPD y la Ley de IA, esa combinación puede ser más importante que las posiciones en las tablas de clasificación.
---
Manténgase a la vanguardia de la IAObtenga las últimas noticias, análisis y avances en IA, todo en un solo lugar.
Leer más noticias sobre IA →
