CrossPool: Servicio multi-LLM eficiente para modelos MoE fríos

El auge de los grandes modelos de lenguaje (LLM) ha traído consigo una nueva generación de arquitecturas basadas en mezclas de expertos (MoE), capaces de escalar el conocimiento manteniendo costes computacionales razonables. Sin embargo, cuando estos modelos se encuentran en despliegues multi-servicio con baja demanda —lo que se conoce como modelos 'fríos'— la gestión de la memoria en GPU se convierte en un cuello de botella crítico. Los pesos de los modelos son estáticos y determinados por la arquitectura, mientras que la caché de claves y valores (KV-cache) es dinámica y depende del tráfico de solicitudes. Reservar capacidad máxima para cada modelo desperdicia recursos, y la competencia entre pesos y KV-cache en un mismo pool de memoria limita la eficiencia y el soporte a contextos largos.

En este contexto surge CrossPool, un motor de servicio diseñado específicamente para modelos MoE fríos. Su propuesta rompe con el enfoque monolítico al separar físicamente los pesos de las capas feed-forward (FFN) en un pool exclusivo y la KV-cache en otro independiente. Esto permite consolidar los pesos de múltiples modelos en una misma región de memoria, mientras la KV-cache se asigna dinámicamente a las solicitudes activas. CrossPool incorpora un planificador y virtualizador de KV-cache, un scheduler pipeline por capas que oculta las transferencias de estado oculto, y kernels persistentes que reducen la sobrecarga de control entre CPU y GPU. Los resultados muestran reducciones de hasta 10,4 veces en el percentil 99 del tiempo entre tokens (TBT) respecto a sistemas multi-LLM basados únicamente en caché compartida.

Esta innovación tiene implicaciones directas para empresas que buscan explotar múltiples modelos de inteligencia artificial sin disparar los costes de infraestructura. En Q2BSTUDIO, entendemos la necesidad de adaptar la tecnología a las necesidades reales de cada negocio. Por eso ofrecemos aplicaciones a medida que integran modelos de IA de forma eficiente, así como soluciones de IA para empresas que optimizan la asignación de recursos en la nube. Nuestro equipo combina conocimiento profundo en arquitecturas de aprendizaje automático con experiencia en servicios cloud AWS y Azure, permitiendo diseñar sistemas que gestionan cargas de trabajo variables sin comprometer el rendimiento.

Además, la separación de memorias que propone CrossPool abre la puerta a enfoques más flexibles en ciberseguridad y en agentes IA, donde los modelos deben responder a peticiones impredecibles manteniendo latencias bajas. En el ámbito de la inteligencia de negocio, contar con infraestructuras que soporten contextos largos y burst de tráfico permite construir cuadros de mando en tiempo real con Power BI, alimentados por respuestas de modelos lingüísticos. Desde Q2BSTUDIO, ayudamos a las organizaciones a implementar estas capacidades mediante servicios inteligencia de negocio y software a medida que se adaptan a sus procesos. La clave está en no tratar a todos los modelos por igual: gestionar la memoria de forma inteligente es tan importante como elegir el algoritmo correcto, y ahí es donde el conocimiento técnico y la personalización marcan la diferencia.