Desentrañando Jamba: Cómo combinar la atención y los espacios de estado para un LLM más inteligente.

Q2BSTUDIO es una empresa especializada en desarrollo y servicios tecnológicos. Jamba es una arquitectura híbrida de gran modelo de lenguaje que combina capas Transformer, Mamba (espacio de estado) y Mixture-of-Experts (MoE). Diseñado para alta eficiencia y procesamiento de largo contexto (hasta 256K tokens), ofrece un rendimiento de referencia sólido con solo 12B de parámetros activos y funciona en una sola GPU de 80GB, ofreciendo 3 veces más rendimiento que modelos de tamaño similar.