NVIDIA presenta una metodología de preentrenamiento de 4 bits utilizando NVFP4, validada en un híbrido Mamba-Transformer de 12B con un horizonte de 10T tokens.

El avance en el preentrenamiento de modelos de lenguaje a gran escala ha impulsado la búsqueda de formatos numéricos más eficientes que reduzcan el consumo de memoria y aceleren el cómputo sin sacrificar precisión. El formato FP8 se ha convertido en un estándar en la industria, pero la siguiente frontera, la cuantización a 4 bits, presenta desafíos importantes debido a la compresión del rango dinámico y la amplificación del error de cuantización en secuencias largas de tokens. NVIDIA ha abordado este problema con NVFP4, un formato de microescalado de 4 bits soportado de forma nativa por los Tensor Cores de Blackwell, y lo ha validado entrenando un modelo híbrido Mamba-Transformer de 12 mil millones de parámetros durante 10 billones de tokens, la ejecución de preentrenamiento en 4 bits más larga documentada públicamente. Los resultados muestran una precisión comparable a la línea base FP8 en benchmarks como MMLU-Pro, con una diferencia de apenas 0,04 puntos porcentuales. La clave del diseño de NVFP4 reside en bloques de 16 elementos con escalas E4M3 y una escala adicional por tensor en FP32, lo que permite que al menos un 6,25% de los valores en cada bloque se representen con una precisión cercana a FP8. Este formato se aplica únicamente a las operaciones GEMM dentro de las capas lineales, mientras que el resto de la red (atención, normalización, embeddings) se mantiene en BF16 o FP32. Para lograr la convergencia, el equipo de NVIDIA desarrolló una metodología de cuatro componentes: mantener alrededor del 16% de las capas lineales en BF16, aplicar transformadas aleatorias de Hadamard de 16x16 en los gradientes de pesos, usar escalado bidimensional de bloques para los pesos, y emplear redondeo estocástico exclusivamente en los gradientes. Todos estos ajustes están integrados en Transformer Engine y son necesarios para evitar la divergencia temprana. En términos de rendimiento, las GEMM en FP4 ofrecen un throughput 2x superior a FP8 en GB200 y 3x en GB300, reduciendo a la mitad la huella de memoria de los operandos. Desde una perspectiva empresarial, esta innovación permite que más organizaciones puedan entrenar modelos propios con recursos computacionales más accesibles. En Q2BSTUDIO, ofrecemos desarrollo de aplicaciones a medida que integran inteligencia artificial de última generación, permitiendo a nuestros clientes aprovechar técnicas como NVFP4 sin tener que gestionar la complejidad del hardware subyacente. Además, nuestros servicios de ia para empresas incluyen la implementación de agentes IA y la optimización de pipelines de entrenamiento mediante soluciones en la nube. Complementamos estas capacidades con servicios cloud AWS y Azure para desplegar sistemas escalables, servicios de inteligencia de negocio con Power BI para monitorizar el rendimiento de los modelos, y ciberseguridad para proteger los datos y la infraestructura. El trabajo de NVIDIA demuestra que el preentrenamiento en 4 bits a escala de billones de tokens es viable y reproducible, un hito que acelerará la adopción de la inteligencia artificial en sectores donde la eficiencia computacional es crítica. En Q2BSTUDIO, combinamos estas innovaciones con nuestra experiencia en software a medida para ofrecer soluciones completas que transforman los datos en ventajas competitivas.