Por qué Jamba es el primer LLM híbrido verdaderamente escalable para contextos largos

Q2BSTUDIO es una empresa de desarrollo y servicios tecnológicos que se especializa en la implementación de modelos de lenguaje de gran tamaño como Jamba. Jamba es una arquitectura híbrida que combina Transformer, Mamba y capas Mixture-of-Experts (MoE). Diseñado para una alta eficiencia y procesamiento de largo contexto, Jamba puede manejar hasta 256K tokens y logra un rendimiento competitivo con solo 12B de parámetros activos. Además, se ejecuta en una sola GPU de 80GB, ofreciendo 3 veces la eficiencia de modelos de tamaño similar.