Cerebras ha publicado un desglose de ingeniería detallado de cómo implementa modelos de inteligencia artificial de billones de parámetros en su hardware a escala de oblea: una rara mirada pública a las tuberías detrás de la inferencia ultrarrápida para modelos cuyos pesos por sí solos requieren terabytes de memoria.
La publicación, escrita por Sarah Chieng y publicada en el blog Cerebras el 22 de octubre de 2026, atrajo una renovada atención durante el fin de semana después de llegar a la portada de Hacker News. Su pregunta central es simple: una sola oblea Cerebras WSE-3T tiene 44 GB de memoria en el chip, pero los modelos fronterizos de billones de parámetros necesitan terabytes solo para almacenar sus pesos. ¿Cómo se cierra esa brecha? Para más contexto sobre esta historia, consulta nuestra noticias de IA.
Por qué los modelos de billones de parámetros rompen el hardware normal
La respuesta comienza con una verdad incómoda para los aceleradores convencionales: con total precisión, un modelo con tres billones de parámetros no cabe en la memoria de ningún chip del mercado. Los clústeres de GPU resuelven esto dividiendo los modelos en muchos dispositivos y enviando constantemente pesos y activaciones a través de interconexiones de alta velocidad: una gran parte de por qué la inferencia en modelos enormes es costosa y lenta.
Cerebras adopta un enfoque diferente. Sus chips a escala de oblea contienen enormes cantidades de SRAM en el chip (44 GB por oblea WSE-3T), lo que significa que el objetivo de la compañía es mantener los pesos residentes en el chip, donde el acceso a la memoria es dramáticamente más rápido que cualquier enlace fuera del chip.
La compañía dice que esta arquitectura le permite ejecutar modelos de parámetros multimillonarios a entre 1000 y más de 2000 tokens por segundo.
Kimi K3 como ejemplo resuelto
Para concretar la explicación, Cerebras explica la implementación de Kimi K3, un modelo de código abierto con aproximadamente 3 billones de parámetros. El modelo utiliza una arquitectura híbrida: 69 capas de atención lineal y 24 capas densas.
Citando resultados de referencia, el blog dice que Kimi K3 obtiene una puntuación del 88,3 % en Terminal-Bench 2.1, justo detrás del 88,8 % de GPT-5.6 Sol, y del 91,2 % en BrowseComp, por delante del 90,4 % de GPT-5.6 Sol. Cerebras sostiene que esos números muestran una codificación a nivel de frontera y capacidad agente en un modelo de pesos abiertos, lo que lo convierte en un buen objetivo de demostración.
El ejemplo trabajado supone un tamaño de solicitud promedio de 256.000 tokens, una cuantificación de peso de 4 bits (que coincide con la implementación de Hugging Face) y una caché KV de 8 bits.
Cortar un modelo 3T en piezas de 44 GB
La aritmética es la parte más esclarecedora del post. Con 4 bits por parámetro, los 3 billones de parámetros de Kimi K3 equivalen aproximadamente a 1,5 TB de pesos brutos. Dividida en las 93 capas del modelo, cada capa necesita alrededor de 16 GB.
Eso encaja perfectamente en los 44 GB disponibles en cada oblea, pero los dos tipos de capas se dividen de manera diferente:
- Las capas densas necesitan espacio para una caché KV, porque la atención total almacena claves y valores para cada token en cada solicitud activa. Cerebras coloca una capa densa por oblea, dejando la SRAM restante para ese caché.
- Las capas de atención lineal mantienen solo un estado pequeño y de tamaño fijo por solicitud, independientemente de la longitud del contexto, por lo que no se necesita caché KV. Eso deja espacio para dos capas lineales por oblea.
Con 69 capas lineales y 24 capas densas, el modelo se asigna a 35 obleas para capas lineales más 24 obleas para capas densas: 59 obleas en total para una sola copia de Kimi K3.
Las pesas nunca se mueven: solo lo hacen las activaciones
La segunda idea clave es lo que Cerebras envía (y no envía) entre esas 59 obleas. La compañía ejecuta modelos como una tubería: después de que el compilador asigna capas a regiones de obleas, el tiempo de ejecución traza la ruta que toman los tokens de una oblea a otra.
Fundamentalmente, debido a que cada capa encaja completamente en una oblea (o dos, para capas lineales), los pesos del modelo nunca tienen que moverse. Las capas no se dividen en obleas. Solo las activaciones pasan de una oblea a la siguiente, transmitidas por RDMA en Ethernet estándar con un tiempo de salto de aproximadamente 2 microsegundos.
Ese punto de diseño explica mucho sobre las afirmaciones de rendimiento de Cerebras. En las implementaciones de GPU, el cuello de botella suele ser el movimiento de pesos o el estado de fragmentación entre dispositivos; En el hardware de Cerebras, la interconexión solo lleva tensores de activación mucho más pequeños.
Por qué es importante para el mercado de inferencia
La publicación es en parte una explicación de ingeniería y en parte un argumento: que la SRAM a escala de oblea es una forma creíble de servir a los modelos cada vez más enormes que envía la industria. A medida que los lanzamientos de peso abierto como Kimi K3 se acercan a los tres billones de parámetros, el muro de memoria se convierte en la limitación definitoria de la economía de inferencia, y los enfoques que mantienen los pesos estacionarios tienen una ventaja estructural en la velocidad por token.
También subraya cuánto depende de la cuantificación. Toda la implementación depende de pesos de 4 bits y una caché KV de 8 bits, técnicas que reducen el uso de memoria en aproximadamente un 75 % o más en comparación con las líneas base de 16 bits, al tiempo que preservan el rendimiento de referencia. Sin ellos, ni siquiera 59 obleas serían suficientes.
Las compensaciones también son reales. Un sistema de 59 obleas es una máquina grande y especializada, y el enfoque de canalización supone que las solicitudes se pueden agrupar por lotes en todo el sistema de manera eficiente. El blog de Cerebras aborda la concurrencia como uno de sus temas principales y señala que la arquitectura está diseñada para manejar una gran cantidad de solicitudes simultáneas.
Por ahora, la publicación es una de las explicaciones públicas más claras de lo que realmente se necesita para servir un modelo abierto a escala de frontera a velocidades de token de cuatro cifras, y una señal de que la conversación sobre hardware de inferencia está cambiando de chips a sistemas de obleas completas.
Fuente: blog de Cerebras, “Cómo implementamos modelos de frontera de billones de parámetros en Cerebras” (22 de octubre de 2026).---
Mantente al Día con la IALas últimas noticias, análisis y avances de inteligencia artificial, en un solo lugar.
Leer más noticias de IA →
