Thinking Machines Lab, la compañía de investigación fundada por la ex directora de tecnología de OpenAI, Mira Murati, ha publicado una explicación técnica detallada de cómo entrena modelos de lenguaje grandes casi en su totalidad con precisión de 4 bits, una técnica que, según la compañía, desbloquea importantes ahorros de velocidad y memoria en el hardware de centro de datos más nuevo de Nvidia.

La publicación del blog, titulada "Entrenamiento de 4 bits de extremo a extremo" y publicada en el sitio web de la compañía el 13 de noviembre, analiza las compensaciones numéricas detrás del entrenamiento de baja precisión y describe cómo el equipo las gestionó mientras entrenaba su modelo Inkling 2 Small. Para los lectores que siguen los últimos desarrollos de IA, la publicación ofrece una mirada pública poco común a las decisiones de ingeniería que determinan cuánto cuesta realmente una ejecución de entrenamiento a escala fronteriza.

Por qué menos bits significa un entrenamiento más rápido

Entrenar un modelo de lenguaje grande implica calcular y almacenar enormes cantidades de números. Usar menos bits para cada valor reduce el uso de memoria y permite que las GPU realicen aritméticas más rápido. El costo es la precisión: menos bits significan menos números representables, por lo que los valores deben redondearse de manera más agresiva.

La empresa ilustra el problema con un ejemplo sencillo. Si un formato sólo puede representar los números 3 y 4, almacenar 3,2 requiere redondear a 3, introduciendo un error de cuantificación de 0,2. Un solo error de redondeo es trivial, pero durante el entrenamiento estos errores se acumulan en las capas y pasos de optimización, y pueden interferir con el proceso de aprendizaje en sí.

"Este es el desafío central del entrenamiento de baja precisión: ¿cómo podemos beneficiarnos de una aritmética más rápida sin introducir errores que interfieran con el aprendizaje?" escribió la empresa en la publicación.

Tres formatos, un entrenamiento

En lugar de comprometerse con un único nivel de precisión, Thinking Machines utiliza tres formatos numéricos en diferentes etapas de entrenamiento: BF16, MXFP8 y NVFP4. Cada formato tiene una precisión fija, pero su velocidad depende del hardware que lo ejecuta.

La empresa se entrena en la plataforma Grace Blackwell Ultra de Nvidia, la GB300, que está diseñada específicamente para acelerar las multiplicaciones de matrices en NVFP4. Según la publicación, NVFP4 almacena valores con 3,6 veces menos bits que BF16 y se ejecuta hasta 6 veces más rápido en sistemas GB300. En términos de rendimiento bruto, la compañía enumera el rendimiento del GB300 en aproximadamente 15 PFLOPS en NVFP4, 5 PFLOPS en MXFP8 y 2,5 PFLOPS en BF16.

El problema es que la compresión agresiva de NVFP4 introduce muchos más errores de cuantificación que los formatos más amplios. Ese error es aceptable en algunas etapas de la formación e inaceptable en otras, por lo que la empresa trata cada etapa por separado.

Diferentes etapas, diferentes reglas

La publicación del blog divide el entrenamiento en cuatro etapas (los pases hacia adelante y hacia atrás del preentrenamiento, la muestra de aprendizaje por refuerzo y el entrenador RL) y asigna a cada una un equilibrio diferente de prioridades entre minimizar el error, minimizar el sesgo, aumentar la velocidad y reducir el uso de la memoria.

La velocidad es más importante en los pasos de gran volumen: el entrenamiento previo, que ejecuta billones de tokens, y el muestreo de RL, que genera grandes volúmenes de implementaciones. Los pases hacia atrás, sin embargo, son un caso especial. La publicación explica que los pases hacia atrás promedian muchos tokens en un lote, lo que diluye el impacto de los errores de redondeo distribuidos aleatoriamente, pero son muy sensibles al sesgo de cuantificación, la deriva sistemática que ocurre cuando los valores se redondean consistentemente en una dirección. A diferencia del ruido aleatorio, ese sesgo puede agravarse entre capas, muestras y pasos de entrenamiento.

La compañía dice que logró estas compensaciones mientras entrenaba a Inkling 2 Small, el modelo de mezcla de expertos de peso abierto que lanzó a principios de este mes bajo una licencia Apache 2.0. La publicación no afirma que cada parte de la ejecución se haya ejecutado en 4 bits; más bien, describe una estrategia de extremo a extremo en la que la precisión de cada componente se elige deliberadamente en lugar de heredarse de forma predeterminada.

Por qué es importante el entrenamiento de baja precisión

La economía aquí es sencilla. La computación es el costo dominante en el desarrollo de modelos de vanguardia, y los proveedores de hardware han estado compitiendo para agregar aceleración de baja precisión a cada nueva generación de chips. Nvidia ha posicionado la compatibilidad con NVFP4 en su plataforma Blackwell Ultra como una característica principal, y los aceleradores rivales de AMD, Google y otros anuncian sus propios formatos de precisión reducida.

Si los laboratorios de investigación pueden impulsar de manera segura una mayor parte del proceso de capacitación hacia la aritmética de 4 bits, el mismo presupuesto de hardware compra más experimentos, más tokens o modelos más grandes. Esta es una ventaja significativa en un mercado donde el acceso a aceleradores de vanguardia es escaso y costoso. También se suma al impulso más amplio de la industria hacia técnicas de eficiencia como la inferencia consciente de la cuantificación y la decodificación especulativa, las cuales exprimen más capacidad del hardware fijo.

La publicación también es una señal de hacia dónde se dirige la comunidad investigadora. Durante mucho tiempo se consideró que el entrenamiento de baja precisión era demasiado arriesgado para algo más allá de la inferencia, porque se suponía que los errores de redondeo corrompían el aprendizaje. Un análisis cuidadoso etapa por etapa, como el que publicó Thinking Machines, es la forma de poner a prueba esa suposición y, cuando sea posible, revocarla.

De la publicación del blog a las pesas abiertas

Lo que hace notable la divulgación es que no es puramente teórica. La empresa vinculó la técnica directamente a un modelo que realmente envió. Inkling 2 Small se lanzó con pesas descargables a principios de noviembre y la nueva publicación explica la estrategia numérica detrás de su entrenamiento. Los profesionales que descargan el modelo obtienen, de hecho, un artefacto funcional de la metodología de baja precisión que describe la empresa.

Thinking Machines se ha mostrado inusualmente abierto para ser un laboratorio de escala fronteriza, publicando publicaciones técnicas en blogs junto con los lanzamientos de sus modelos. Esa transparencia ofrece a los investigadores externos algo poco común: un relato documentado y reproducible de cómo un entrenamiento moderno maneja las confusas realidades numéricas de la aritmética de precisión mixta.

Para la industria en general, el mensaje es que la formación en 4 bits ha pasado de la curiosidad por la investigación a la técnica de producción. A medida que más laboratorios adopten estrategias similares, la brecha entre el rendimiento máximo teórico del hardware y el rendimiento de capacitación realizado se reducirá, y el costo de entrenar modelos con capacidad seguirá cayendo.

Manténgase por delante de la IA

Las técnicas detrás de los modelos de frontera evolucionan semanalmente. Siga AI Buzz Wire para obtener informes claros y fundamentados sobre la investigación que da forma a este campo.

Leer más noticias sobre IA →