MuLoCo: Muon como optimizador interno práctico para DiLoCo

El entrenamiento de modelos de lenguaje de gran escala (LLMs) se enfrenta a desafíos fundamentales de escalabilidad, especialmente cuando se utilizan múltiples aceleradores distribuidos en redes con ancho de banda limitado. En este contexto, el marco DiLoCo ha demostrado ser una herramienta eficaz para incrementar el tamaño óptimo de lote y mejorar la utilización de recursos, pero su rendimiento tiende a degradarse al aumentar el número de trabajadores. Investigaciones recientes apuntan a que la elección del optimizador interno —el que genera el pseudogradiente que luego utiliza el optimizador externo— es un factor crítico y frecuentemente subestimado. Aquí es donde Muon, un optimizador normalizado que ha ganado tracción en el entrenamiento paralelo de datos frente a AdamW, ofrece una mejora significativa. Al emplear Muon como optimizador interno dentro de DiLoCo —dando lugar a lo que se conoce como MuLoCo—, se obtienen pseudogradientes con una dirección más consistente a medida que crece el número de trabajadores, lo que se traduce en un rendimiento superior tanto en términos absolutos como relativos respecto a las líneas base de paralelismo de datos. Los experimentos realizados con modelos de entre 150 millones y 3.100 millones de parámetros, y su extrapolación hasta 15 mil millones, confirman que MuLoCo no solo iguala el rendimiento del estándar de paralelismo de datos con un solo trabajador, sino que permite utilizar lotes de hasta 16 millones de tokens sin pérdida de eficacia, manteniendo compatibilidad con técnicas de cuantización, streaming y largos intervalos de sincronización. Esta capacidad de escalar de forma robusta tiene implicaciones directas para empresas que buscan optimizar sus pipelines de inteligencia artificial, reduciendo costes computacionales y acelerando el tiempo de despliegue de modelos personalizados. En este sentido, contar con un socio tecnológico que integre estas innovaciones en soluciones concretas es clave. En IA para empresas, ofrecemos servicios que abarcan desde la arquitectura de infraestructura cloud hasta la implementación de agentes inteligentes, pasando por el desarrollo de aplicaciones a medida y la integración de sistemas de business intelligence con Power BI. La sinergia entre un optimizador como MuLoCo y una plataforma robusta de servicios cloud AWS y Azure permite a las organizaciones escalar sus cargas de trabajo de machine learning sin comprometer la precisión ni la eficiencia. Además, la experiencia en ciberseguridad y pentesting garantiza que estos sistemas entrenados en entornos distribuidos mantengan los más altos estándares de protección de datos. En definitiva, MuLoCo representa un avance práctico en el entrenamiento de LLMs que, combinado con el soporte técnico adecuado —como el que proporcionamos desde el desarrollo de software a medida y la automatización de procesos—, permite a las empresas aprovechar al máximo la inteligencia artificial generativa y los modelos fundacionales. Para conocer más sobre cómo estas tecnologías pueden aplicarse en tu organización, te invitamos a explorar nuestras soluciones de servicios cloud AWS y Azure, donde integramos optimización de entrenamiento, escalabilidad y seguridad en un mismo ecosistema.