CoX-MoE: Ejecución Coalescida de Expertos para Inferencia MoE de Alto Rendimiento con Co-Ejecución CPU-GPU habilitada por AMX

El rendimiento de los modelos basados en la arquitectura Mixture-of-Experts (MoE) ha supuesto un avance significativo en inteligencia artificial, permitiendo activar únicamente un subconjunto de parámetros por token. Sin embargo, durante la inferencia, el intercambio constante de datos entre GPU y CPU puede estrangular el throughput, especialmente cuando se aplican técnicas de offloading por micro-lotes. Ahí surge CoX-MoE, un enfoque que propone la ejecución coalescida de expertos junto con una orquestación inteligente de la carga de trabajo entre CPU y GPU, aprovechando las extensiones AMX (Advanced Matrix Extensions) para acelerar cómputos en CPU. Este sistema asigna dinámicamente los expertos más frecuentes a la GPU para minimizar transferencias PCIe, mientras que la CPU asume tareas de atención selectiva, logrando multiplicar el rendimiento frente a soluciones previas. Desde una perspectiva empresarial, optimizar la inferencia de modelos MoE es crítico para aplicaciones a medida que requieren respuestas en tiempo real. En Q2BSTUDIO, desarrollamos software a medida integrando inteligencia artificial para empresas, con capacidades de agentes IA que se benefician de arquitecturas eficientes. Además, nuestros servicios cloud AWS y Azure garantizan despliegues escalables, mientras que la ciberseguridad y los servicios inteligencia de negocio con Power BI completan un ecosistema robusto para la toma de decisiones. La propuesta CoX-MoE ejemplifica cómo la colaboración CPU-GPU puede superar cuellos de botella de memoria, un aspecto clave en la implementación de soluciones de IA de alto rendimiento. Para conocer más sobre estas tecnologías aplicadas a su organización, le invitamos a explorar nuestra oferta de ia para empresas y descubrir cómo transformamos datos en valor.